どの言語でも、同じ精度。
ユーザーが日本語、中文、Español、English のいずれで書いても、リコール品質は同一です。保存言語とクエリ言語を掛け合わせた 70 組の格子で測り、その数値を公開しています。recall@5 95.2% です。
多言語が混ざるストアは、検索品質が誰にも気づかれないまま落ちていく場所です。同じ問いでも、その記憶がどの言語で書かれたかによって点数が変わります。私たちはそれを限界ではなく欠陥として扱い、言語ペアの格子全体で測定します。
ひとつのストアに 3 言語を同時に
ストアごとに言語を選ぶ必要はなく、自由に混在できます。以下では 1 人のユーザーの記憶に日本語・英語・スペイン語が同時に入っており、どの質問も言語に関係なく正しい記憶を見つけています。これは本番 API に対する実際のやり取りです:
# one user, three languages stored together mem.add("彼女はコーヒーより紅茶が好き", user_id="alice") # Japanese mem.add("she works at a design studio in Brooklyn", user_id="alice") # English mem.add("A ella le encanta hacer senderismo los sábados", user_id="alice") # Spanish
実際の結果 - 各質問はそれぞれ別の言語をまたいでいます
"¿Qué bebe ella?" -> 彼女はコーヒーより紅茶が好き "what does she do on weekends?" -> A ella le encanta hacer senderismo los sábados "彼女の仕事は?" -> she works at a design studio in Brooklyn
翻訳ステップも、言語検出も、言語ごとの設定もありません。記憶と質問は言語ではなく意味で配置されます - 意味が一致すれば、言語は関係ありません。
ここで 3 言語なのは、ページに収まる分だけだからです - 「対応言語リスト」というものは存在しません。同じライブテストは中文、Русский、العربية の記憶でも通過しており、すべて本番 API で検証済みです。
ある言語が別の言語に勝ってはいけない理由
他のどの調整よりも上に置いている規則がひとつあります。リコール品質が、記憶を書いた言語に左右されてはならない、というものです。70 の言語ペアで測定し、コードレビューで徹底します。ある言語を別の言語の犠牲の上に持ち上げるものは出しません。
LongMemEval は英語のみのベンチマークで、多言語リコールは測定しません。上のデモは、本番 API に対して直接検証できる方法です。