How we benchmark.벤치마크 측정 방식.
On a memory benchmark, the same system can post very different numbers depending on the protocol - who grades the answers, how the prompt is written, and what the retrieval layer is allowed to do. A score means something only when you can see and reproduce the protocol behind it. That's what we publish.기억 벤치마크는 같은 시스템이라도 프로토콜에 따라 수치가 크게 달라집니다 - 누가 답을 채점하는지, 프롬프트를 어떻게 쓰는지, 검색 레이어에 무엇을 허용하는지에 따라서요. 점수는 그 뒤의 프로토콜을 보고 재현할 수 있을 때만 의미가 있습니다. 우리는 그 프로토콜을 함께 공개합니다.
Two parts of that protocol never change, and they are the parts that keep the numbers honest. The first is the judge: every answer, in every run, is graded by GPT-4o, a third party with no stake in the result. The second is how we report. We run the full benchmark five times and publish the mean alongside its standard deviation, never a single best run, and we keep the scoring scripts public so you can check our work.이 프로토콜에서 두 부분은 절대 바뀌지 않으며, 바로 그 두 부분이 수치를 정직하게 유지합니다. 첫째는 채점자입니다. 모든 회차의 모든 답변은 결과에 이해관계가 없는 제3자 GPT-4o가 채점합니다. 둘째는 보고 방식입니다. 벤치마크 전체를 다섯 번 돌려 평균과 표준편차를 함께 공개하며, 한 번의 베스트값을 고르지 않습니다. 채점 스크립트도 공개해 검증할 수 있게 합니다.
Everything else is allowed to move, and we say so in each model's report. The benchmark dataset itself improves over time; today we use LongMemEval-S, the strongest public test of long-term conversational memory, and we will adopt a better one when it appears. The reader model, which takes WOS's recalled memories and writes the answer, also changes as newer models arrive.나머지는 모두 바뀔 수 있고, 모델 리포트마다 그 사실을 밝힙니다. 벤치마크 데이터셋 자체가 시간이 지나며 좋아집니다. 현재는 장기 대화 기억을 가장 잘 검증하는 공개 테스트인 LongMemEval-S를 쓰고, 더 나은 것이 나오면 채택합니다. WOS가 회수한 기억을 받아 답을 쓰는 리더 모델 역시 새 모델이 나오면 바뀝니다.
We deliberately pair WOS with the strongest reader model available, and the reason matters. A weak reader muddies the result: when an answer is wrong, you cannot tell whether WOS failed to recall the right memory, or the model simply failed to use it. A strong reader removes that ambiguity. If the right memory is in front of it, a capable model will use it, so the score reflects how well WOS retrieved rather than how well the reader coped. The better the model, the more clearly the quality of the memory shows through.우리는 일부러 가장 강한 리더 모델과 WOS를 함께 씁니다. 이유가 중요합니다. 약한 리더는 결과를 흐립니다. 답이 틀렸을 때, WOS가 올바른 기억을 못 꺼낸 것인지 모델이 그 기억을 제대로 쓰지 못한 것인지 구분할 수 없기 때문입니다. 강한 리더는 그 모호함을 없앱니다. 올바른 기억이 눈앞에 있으면 유능한 모델은 그것을 활용하므로, 점수는 리더가 얼마나 버텼는지가 아니라 WOS가 얼마나 잘 검색했는지를 반영합니다. 모델이 좋을수록 기억의 품질이 더 선명하게 드러납니다.
The mechanics are simple. We load each conversation history into WOS, then for every question ask WOS to recall only the relevant memories, a bounded set of around 1,200 tokens no matter how large the history. The reader answers from those memories alone, and GPT-4o compares the answer to the reference and marks it right or wrong. Because retrieval is deterministic, the only thing that varies between runs is the reader.동작은 단순합니다. 각 대화 히스토리를 WOS에 적재하고, 문항마다 WOS에 관련 기억만 회수하도록 요청합니다. 히스토리가 아무리 커도 약 1,200 토큰으로 제한된 묶음입니다. 리더는 그 기억만으로 답하고, GPT-4o가 정답과 대조해 정·오를 매깁니다. 검색은 결정론적이라 회차 간에 달라지는 것은 리더뿐입니다.
A score here measures one thing: how well WOS surfaced the right memories for a reader to use. It is not a measure of your finished product, since your own prompt and model still shape the final answer, but it is comparable across languages, because retrieval is purely semantic and runs identically whatever language your users write in.여기서의 점수는 한 가지를 잽니다. WOS가 리더에게 줄 올바른 기억을 얼마나 잘 꺼냈는가입니다. 당신의 완성된 제품 품질은 아닙니다. 최종 답은 당신의 프롬프트와 모델이 좌우합니다. 다만 검색이 순수 의미 기반이라 사용자가 어떤 언어로 쓰든 동일하게 돌아가므로, 언어 간 비교가 가능합니다.
The model모델
Tablet is the WOS memory model — the lowest-cost way to give an agent long-term memory. Its full report is below.Tablet은 WOS의 기억 모델입니다 — 에이전트에 장기 기억을 주는 가장 저렴한 방법입니다. 전체 리포트는 아래에 있습니다.
Current results현재 결과
Each model has its own report, with every run shown.모델마다 모든 회차를 공개한 리포트가 있습니다.