What remains after retrieval saturates 검색이 포화된 뒤에 남는 것

Retrieval is solved. The answer still misses.검색은 풀렸습니다. 답은 여전히 틀립니다.

The engine surfaced the right memory 99.6% of the time, and that number barely moves whether it returns five candidates or twenty. Finding a memory in a long history is, for this benchmark, close to solved. 엔진은 올바른 기억을 99.6%의 경우에 끌어올렸고, 후보를 다섯 개 돌려주든 스무 개 돌려주든 이 수치는 거의 변하지 않습니다. 긴 기록 속에서 기억을 찾는 일은 이 벤치마크에서는 해결에 가깝습니다.

And yet end-to-end accuracy sits well below that. The memory was right there, and the answer still came out wrong 9 to 15 times in a hundred. We call that distance the delivery gap: the share of questions where the memory was found but never turned into a correct answer. The rest of this report is about what lives inside that gap. 그런데 끝에서 끝까지의 정답률은 그보다 한참 아래에 있습니다. 기억은 바로 거기 있었는데도 답은 백 번 중 아홉에서 열다섯 번 틀렸습니다. 우리는 그 거리를 전달 격차라 부릅니다. 기억은 찾았지만 올바른 답으로 바뀌지 못한 질문의 비율입니다. 이 리포트의 나머지는 그 격차 안에 무엇이 있는지에 관한 것입니다.

How we measured it어떻게 측정했는가

We used the full LongMemEval-S set, 500 questions, each carrying about 53 sessions of prior conversation (roughly 140,000 tokens). Every model ran five times and we report the mean, with no run dropped and no best result cherry-picked. Answers were graded by an independent model, never the one that wrote them. Two of our models share identical retrieval, so anything separating their scores happens after the memory is found. That makes them an instrument for isolating delivery, not a leaderboard. LongMemEval-S 전체 500개 질문을 썼고, 각 질문에는 약 53개 세션 분량의 이전 대화(약 140,000 토큰)가 딸려 있습니다. 각 모델을 다섯 번 실행해 평균을 보고하며, 버린 실행도 골라낸 최고 기록도 없습니다. 채점은 답을 쓴 모델이 아닌 독립된 모델이 맡았습니다. 우리 모델 둘은 동일한 검색을 공유하므로, 점수를 가르는 것은 모두 기억을 찾은 다음에 벌어집니다. 이 둘은 순위표가 아니라 전달을 분리해 보기 위한 도구입니다.

Where it goes wrong어디서 틀리는가

The wrong answers are not spread evenly. Where the answer sits in one session, the models are already near the ceiling. Almost everything that stays wrong is concentrated in two kinds of question: reasoning across many sessions, and reasoning about time. Together they hold roughly four out of every five remaining errors. 오답은 고르게 퍼져 있지 않습니다. 답이 한 세션 안에 있는 질문에서는 모델이 이미 천장에 가깝습니다. 여전히 틀리는 것의 거의 전부는 두 종류의 질문에 몰려 있습니다. 여러 세션에 걸친 추론, 그리고 시간에 대한 추론입니다. 이 둘이 남은 오류의 약 다섯 중 넷을 차지합니다.

Why it still misses when the memory is right there기억이 바로 거기 있는데도 왜 틀리는가

We read the wrong answers one by one. They fall into four kinds, and only one of them is really the model failing to use what it was handed. 오답을 하나씩 읽어 보았습니다. 네 가지로 나뉘고, 그 가운데 진짜로 모델이 받은 것을 못 쓴 경우는 하나뿐입니다.

1. A limit of the ruler, not the system.시스템이 아니라 자의 한계. A handful of answers were essentially correct, but the automatic grader marked them wrong. We keep the grading fixed and absorb that loss rather than nudge our own scores up. 일부 답은 사실상 맞았는데도 자동 채점기가 틀렸다고 표시했습니다. 우리는 점수를 올리려 채점을 손대지 않고 그 손실을 그대로 안고 갑니다.
2. A principle we keep on purpose.일부러 지키는 원칙. A few questions can only be reached by matching exact date strings. Our engine does not do keyword matching, so that memory works the same in every language. Those few stay unsolved as the price of that principle. 몇몇 질문은 정확한 날짜 문자열을 맞춰야만 닿을 수 있습니다. 우리 엔진은 어떤 언어에서도 기억이 똑같이 작동하도록 키워드 매칭을 쓰지 않습니다. 그 몇 질문은 이 원칙의 대가로 남겨 둡니다.
3. The hard core: putting the pieces together.진짜 벽: 조각을 맞추는 일. The largest block is questions that need counting, deduplicating, and summing facts spread across many sessions. Even with every piece in context, missing one instance breaks the whole total, and all-or-nothing grading gives no partial credit. This is not a formatting problem. It is the real limit of using long context. 가장 큰 덩어리는 여러 세션에 흩어진 사실을 세고, 중복을 걸러내고, 합쳐야 하는 질문입니다. 모든 조각이 맥락 안에 있어도 하나만 놓치면 총합 전체가 어긋나고, 전부 아니면 전무 채점은 부분 점수를 주지 않습니다. 이는 형식의 문제가 아니라 긴 맥락을 실제로 활용하는 일의 한계입니다.
4. Delivery truncation, already closing.전달 잘림, 이미 닫히는 중. The last kind is where the memory was found but a single pass left the neighboring pieces behind. Handing over more of what was found brings them along, and this is the part the fuller model already recovers. 마지막 유형은 기억은 찾았지만 한 번의 전달이 이웃 조각을 남겨 둔 경우입니다. 찾아낸 것을 더 많이 건네면 그것을 데려오며, 더 넉넉한 모델이 이미 회수하는 부분입니다.

So most of what remains is not the model failing to find. Retrieval found it 99.6% of the time. What is left is aggregation over what was delivered, and a grading method honest enough to give partial credit. That is where we point next. 그래서 남은 것의 대부분은 모델이 못 찾는 문제가 아닙니다. 검색은 99.6%의 경우에 찾아냈습니다. 남은 것은 전달된 것을 통합하는 일, 그리고 부분 점수를 줄 만큼 정직한 채점 방법입니다. 우리가 다음으로 향하는 지점입니다.

What actually moves the number실제로 점수를 움직이는 것

Between our two models, retrieval is identical, so the 85.2 to 90.7 difference is not a better search. It is a fuller delivery of the same search: the lighter model hands the reader about 1,200 tokens, the fuller one about 3,700, carrying the neighboring passages along. That closes the truncation channel above. What it does not close is the aggregation core, which is why a gap to the ceiling remains even for the fuller model. The next lever is not more retrieval or more delivery volume. It is reasoning over evidence that has already arrived. 우리 두 모델의 검색은 동일하므로, 85.2에서 90.7로의 차이는 더 나은 검색이 아닙니다. 같은 검색을 더 넉넉하게 전달한 것입니다. 가벼운 모델은 약 1,200 토큰을, 넉넉한 모델은 이웃 구절까지 담아 약 3,700 토큰을 건넵니다. 이것이 위의 전달 잘림 경로를 닫습니다. 닫지 못하는 것은 통합의 핵심이고, 그래서 넉넉한 모델에서도 천장까지의 격차가 남습니다. 다음 레버는 검색을 더 하거나 전달량을 더 늘리는 것이 아니라, 이미 도착한 근거를 두고 추론하는 일입니다.

The cost, and the conflict비용과 이해관계

Fuller delivery is not free. The fuller model reads about three times the tokens, so it costs more to run. That trade is deliberate: for questions where one missing piece flips the answer, completeness is worth the tokens; for questions already answered from a single session, the lighter model is enough. And one thing worth saying plainly: these systems are our own products, and this report was written by the person who builds them. That is a conflict of interest. We offset it by publishing every run, every prompt, and the full protocol, taking no best-of numbers, and leaving anyone free to re-run the same test and check us. 더 넉넉한 전달은 공짜가 아닙니다. 넉넉한 모델은 약 세 배의 토큰을 읽으므로 실행 비용이 더 듭니다. 이 맞바꿈은 의도한 것입니다. 빠진 한 조각이 답을 뒤집는 질문에서는 완결성이 토큰 값을 하고, 이미 한 세션에서 답이 나오는 질문에는 가벼운 모델로 충분합니다. 그리고 분명히 말해 둘 것이 있습니다. 이 시스템들은 우리 제품이고, 이 리포트는 그것을 만든 사람이 썼습니다. 이는 이해충돌입니다. 우리는 모든 실행과 모든 프롬프트, 전체 프로토콜을 공개하고, 골라낸 최고 기록을 쓰지 않으며, 누구든 같은 시험을 다시 돌려 우리를 검증하도록 열어 두는 것으로 이를 상쇄합니다.