多言語

どの言語でも、同じ精度。

ユーザーが日本語、中文、Español、English のいずれで書いても、リコール品質は同一です。保存言語とクエリ言語を掛け合わせた 70 組の格子で測り、その数値を公開しています。recall@5 95.2% です。

多言語が混ざるストアは、検索品質が誰にも気づかれないまま落ちていく場所です。同じ問いでも、その記憶がどの言語で書かれたかによって点数が変わります。私たちはそれを限界ではなく欠陥として扱い、言語ペアの格子全体で測定します。

ひとつのストアに 3 言語を同時に

ストアごとに言語を選ぶ必要はなく、自由に混在できます。以下では 1 人のユーザーの記憶に日本語・英語・スペイン語が同時に入っており、どの質問も言語に関係なく正しい記憶を見つけています。これは本番 API に対する実際のやり取りです:

# one user, three languages stored together
mem.add("彼女はコーヒーより紅茶が好き", user_id="alice")                      # Japanese
mem.add("she works at a design studio in Brooklyn", user_id="alice")       # English
mem.add("A ella le encanta hacer senderismo los sábados", user_id="alice")  # Spanish
実際の結果 - 各質問はそれぞれ別の言語をまたいでいます
"¿Qué bebe ella?"               -> 彼女はコーヒーより紅茶が好き
"what does she do on weekends?" -> A ella le encanta hacer senderismo los sábados
"彼女の仕事は?"                  -> she works at a design studio in Brooklyn

翻訳ステップも、言語検出も、言語ごとの設定もありません。記憶と質問は言語ではなく意味で配置されます - 意味が一致すれば、言語は関係ありません。

ここで 3 言語なのは、ページに収まる分だけだからです - 「対応言語リスト」というものは存在しません。同じライブテストは中文、Русский、العربية の記憶でも通過しており、すべて本番 API で検証済みです。

ある言語が別の言語に勝ってはいけない理由

他のどの調整よりも上に置いている規則がひとつあります。リコール品質が、記憶を書いた言語に左右されてはならない、というものです。70 の言語ペアで測定し、コードレビューで徹底します。ある言語を別の言語の犠牲の上に持ち上げるものは出しません。

LongMemEval は英語のみのベンチマークで、多言語リコールは測定しません。上のデモは、本番 API に対して直接検証できる方法です。