Scroll 1 is the next WOS memory model after Tablet, built for the questions that a single, lean pass tends to leave half-answered. We publish it the same way we publish every model, laying out the full protocol, every run, and nothing cherry-picked. On LongMemEval-S, Scroll 1 scores a mean of 90.7% across five runs, with a standard deviation of 0.5%, a clear step up from Tablet 1's 85.2%. The individual runs were 90.4, 90.0, 91.6, 90.8, and 90.8, and all five of them landed at or above 90.Scroll 1은 Tablet 다음의 WOS 기억 모델로, 한 번의 단출한 검색으로는 절반만 답하게 되기 쉬운 질문들을 위해 만들었습니다. 다른 모든 모델과 같은 방식으로, 전체 프로토콜과 모든 회차를 체리피킹 없이 그대로 공개합니다. LongMemEval-S에서 Scroll 1은 5회 평균 90.7%, 표준편차 0.5%를 기록했는데, 이는 Tablet 1의 85.2%에서 한 걸음 올라선 값입니다. 각 회차 점수는 90.4, 90.0, 91.6, 90.8, 90.8이었고, 다섯 번 모두 90 이상이었습니다.
temperature 0, returning a plain yes / no under the official LongMemEval per-category rules. Both prompts are published below.강한 리더를 다섯 회차 내내 고정해, 검색된 기억만으로 답하게 했습니다. 각 답변은 독립 모델이 temperature 0으로 채점해, 공식 LongMemEval 카테고리별 규칙에 따라 yes / no만 반환했습니다. 두 프롬프트 모두 아래에 공개합니다.Same benchmark, same protocol. Where the fuller read changes the answer, and where it barely matters.같은 벤치마크, 같은 프로토콜. 더 넉넉한 읽기가 답을 바꾸는 자리와, 거의 차이 없는 자리.
| Category카테고리 | Tablet 1 | Scroll 1 | Δ |
|---|---|---|---|
| Single-session user단일 세션 사용자 | 98.9 | 99.2 | +0.3 |
| Single-session assistant단일 세션 어시스턴트 | 96.4 | 96.8 | +0.4 |
| Knowledge update지식 업데이트 | 91.3 | 94.1 | +2.8 |
| Preference inference선호 추론 | 86.0 | 97.3 | +11.3 |
| Temporal reasoning시간 추론 | 80.8 | 87.1 | +6.3 |
| Multi-session멀티 세션 | 73.8 | 83.9 | +10.1 |
| Overall전체 | 85.2 | 90.7 | +5.5 |
The largest gains are in preference inference (+11.3), multi-session (+10.1), and temporal reasoning (+6.3), which are exactly the cases where one missing piece changes the answer. On single-session recall, already near the ceiling, the two stay within half a point of each other.상승폭이 가장 큰 곳은 선호 추론(+11.3), 멀티 세션(+10.1), 시간 추론(+6.3)으로, 모두 한 조각만 놓쳐도 답이 바뀌는 자리입니다. 이미 천장에 가까운 단일 세션 회상에서는 둘의 차이가 반 점 안쪽에 머뭅니다.
The raw scores behind the 90.7%.90.7% 뒤의 원본 점수.
| Category카테고리 | Run 11회 | Run 22회 | Run 33회 | Run 44회 | Run 55회 | Average평균 |
|---|---|---|---|---|---|---|
| Single-session user단일 세션 사용자 | 98.6 | 98.6 | 98.6 | 100.0 | 100.0 | 99.2 |
| Single-session assistant단일 세션 어시스턴트 | 98.2 | 96.4 | 96.4 | 98.2 | 94.6 | 96.8 |
| Knowledge update지식 업데이트 | 92.3 | 93.6 | 94.9 | 92.3 | 97.4 | 94.1 |
| Preference inference선호 추론 | 96.7 | 100.0 | 96.7 | 100.0 | 93.3 | 97.3 |
| Temporal reasoning시간 추론 | 85.7 | 84.2 | 90.2 | 86.5 | 88.7 | 87.1 |
| Multi-session멀티 세션 | 85.0 | 84.2 | 84.2 | 84.2 | 82.0 | 83.9 |
| Overall전체 | 90.4 | 90.0 | 91.6 | 90.8 | 90.8 | 90.7 |
Mean 90.7% · standard deviation 0.5% · range 90.0–91.6 · all 5 runs published, 0 cherry-picks.평균 90.7% · 표준편차 0.5% · 범위 90.0–91.6 · 5회 전부 공개, 체리피킹 0.
Retrieval is a genuinely hard problem, and the field has earned real ground on it. WOS is no exception. A single semantic query, with no keyword matching, surfaces the right evidence in the top results 99.6% of the time. But finding the exact memory is only half of it. The harder half is feeding that memory to a model so it understands and answers correctly, and that half is not free. Tablet 1 reads from a single query and answers 85.2% of LongMemEval-S correctly. Scroll 1 delivers the same evidence more fully, about 3× the context, and answers 90.7%. The memory found is identical. The points between them are delivery, and that is the problem we take on.검색은 정말로 어려운 문제이고, 이 분야는 거기서 실제로 많은 걸 이뤄 왔습니다. WOS도 다르지 않습니다. 키워드 매칭 없이 의미만으로 던지는 단일 쿼리가 맞는 증거를 상위 결과에 올리는 비율이 99.6%입니다. 하지만 정확한 기억을 찾는 건 절반일 뿐입니다. 더 어려운 절반은 그 기억을 모델이 이해하고 정확히 답하도록 먹이는 일이고, 그 절반은 거저 오지 않습니다. Tablet 1은 단일 쿼리로 읽어 LongMemEval-S를 85.2% 맞힙니다. Scroll 1은 같은 증거를 더 온전히, 약 3배의 맥락으로 전달해 90.7%를 맞힙니다. 찾아온 기억은 똑같습니다. 그 사이의 점수가 전달이고, 우리가 책임지는 문제가 바로 그것입니다.
Both models surface the evidence 99.6–100% of the time, however the query is shaped. Retrieval is saturated.두 모델 모두 쿼리를 어떻게 던지든 증거를 99.6–100% 올려 옵니다. 검색은 포화 상태입니다.
The memory is right there at 99.6%, yet the model answers 85.2% (Tablet) to 90.7% (Scroll). The distance below the dotted line is the delivery problem.기억은 99.6%로 바로 거기 있는데, 모델이 실제로 맞히는 건 85.2%(Tablet)~90.7%(Scroll)입니다. 점선 아래의 거리가 전달 문제입니다.
Retrieval finds the gold evidence 99.6% of the time and holds there however the query is shaped. It is saturated. The answer score does not climb that high. Tablet 1 turns the found memory into a correct answer 85.2% of the time; Scroll 1's fuller read brings that to 90.7%. The roughly nine points still sitting between 90.7% and near-perfect retrieval are the honest size of the delivery problem: the memory is right there, and a model still does not always use it. That gap, not retrieval, is where the work and the value are. (Left: session-level retrieval recall at each top-k, y-axis zoomed to the 99–100% band. Right: delivered answer accuracy against the 99.6% retrieval ceiling. Answer accuracy: five-run mean on LongMemEval-S, graded by an independent model under the official rules. Retrieval: each question isolated to its own ~53-session history.)검색은 정답 증거를 99.6% 찾아오고, 쿼리를 어떻게 던지든 그 자리를 지킵니다. 포화 상태입니다. 답변 점수는 거기까지 따라 올라오지 못합니다. Tablet 1은 찾아온 기억을 85.2% 정답으로 바꾸고, Scroll 1의 더 넉넉한 읽기는 그걸 90.7%까지 올립니다. 90.7%와 거의 완벽한 검색 사이에 남은 약 9점이 전달 문제의 정직한 크기입니다. 기억은 바로 거기 있는데, 모델이 늘 쓰지는 못합니다. 일도 값어치도 있는 곳은 검색이 아니라 그 간극입니다. (왼쪽: top-k별 세션 단위 검색 recall, y축을 99–100% 구간으로 확대. 오른쪽: 99.6% 검색 천장 대비 전달된 답변 정확도. 답변 정확도: LongMemEval-S 5회 평균, 공식 규칙에 따라 독립 모델 채점. 검색: 각 질문을 자기 ~53세션 히스토리에 격리.)
Curves show the shape of the distribution around the measured median; exact spread varies by workload.곡선은 측정된 중앙값을 중심으로 한 분포의 형태이며, 정확한 퍼짐은 워크로드에 따라 달라집니다.
Some of what you remember does not live in any one place. A person's reasons, the direction they quietly lean, the shape a plan takes as it forms over time. Things like these are never set down all at once. They are laid a little at a time, across many days and many separate conversations, and no single moment ever holds the whole of them. To answer well about something like that, one memory is not enough. You have to gather the pieces that were scattered and hold them together at the same time. Tablet brings back the one piece that best fits the question, and little else beside it. Scroll was made for the other kind of question, the kind where that single piece was never going to be the whole answer.기억하는 것 가운데 어떤 것은 한자리에 살지 않습니다. 한 사람의 이유, 그가 조용히 기우는 방향, 시간을 두고 서서히 잡혀 가는 계획의 윤곽 같은 것들이 그렇습니다. 이런 것들은 결코 한꺼번에 놓이지 않습니다. 여러 날에 걸쳐, 서로 떨어진 여러 대화에 한 조각씩 놓이고, 그 전부를 담고 있는 순간은 어디에도 없습니다. 이런 것에 잘 답하려면 기억 하나로는 모자랍니다. 흩어져 있던 조각들을 모아, 같은 순간에 함께 쥐고 있어야 합니다. Tablet은 질문에 가장 잘 맞는 한 조각을 데려오고, 그 곁의 것은 거의 두고 옵니다. Scroll은 다른 종류의 질문을 위해 만들었습니다. 그 한 조각만으로는 애초에 답이 될 수 없던 질문들 말입니다.
So Scroll reaches wider on every call. Where Tablet finds the single closest memory and stops there, Scroll keeps following the grain outward, into the turns that were sitting next to it and the moments that stood beside the one it found, and it brings back a fuller stretch of context, roughly three times as much. The effect is that the scattered pieces arrive together, gathered into one hand, instead of arriving one short of a whole. This is not a looser search. It is a more complete reading. The judgment of what actually belongs to the question has not changed at all. What has changed is only how generously Scroll carries back the things it found.그래서 Scroll은 부를 때마다 더 넓게 닿습니다. Tablet이 가장 가까운 기억 하나를 찾고 거기서 멈추는 자리에서, Scroll은 그 결을 계속 따라 바깥으로 나아갑니다. 곁에 앉아 있던 주고받음과, 찾아낸 기억 옆에 서 있던 순간들까지 따라가, 더 넉넉한 길이의 맥락을 약 세 배쯤 데려옵니다. 그 결과 흩어져 있던 조각들이 하나 모자란 채로 도착하지 않고, 한 손에 모여 함께 도착합니다. 이것은 더 헐거운 검색이 아닙니다. 더 온전한 읽기입니다. 무엇이 정말로 그 질문에 속하는지를 가리는 판단은 조금도 달라지지 않았습니다. 달라진 것은 오직, 찾아낸 것을 얼마나 넉넉히 데려오느냐뿐입니다.
That wider reach has a price, and we would rather not hide it. Scroll hands the reader about 3,700 tokens at a time, which is close to three times what Tablet returns. More to carry means more to read, so each call does cost more than a lean one would. But the trade is a deliberate one, not something that slipped in by accident. There are questions where being complete matters more than being as cheap as possible, questions where a single missing piece would quietly bend the answer wrong without anyone noticing. For those, paying for the fuller read is not a tax you grudgingly accept on top of the model. It is the whole reason you would reach for Scroll in the first place.그렇게 더 넓게 닿는 데에는 값이 따르고, 우리는 그것을 감추고 싶지 않습니다. Scroll은 한 번에 약 3,700 토큰을 리더에게 건네는데, 이는 Tablet이 돌려주는 양의 세 배에 가깝습니다. 데려오는 것이 많다는 건 읽을 것이 많다는 뜻이라, 단출한 호출보다 비용이 더 드는 게 사실입니다. 하지만 이 맞바꿈은 실수로 끼어든 것이 아니라 처음부터 의도한 것입니다. 어떤 질문에서는 값이 싼 것보다 답이 온전한 것이 더 중요합니다. 한 조각이 빠지면 아무도 모르는 사이에 답이 조용히 어긋나 버리는 질문들이 그렇습니다. 그런 질문 앞에서 더 넉넉히 읽는 값을 치르는 일은 마지못해 받아들이는 세금이 아닙니다. 애초에 Scroll을 집어 드는 이유 그 자체입니다.
The gain turns up in exactly the place you would expect to find it. On single-session recall, which already sits close to the ceiling, Scroll and Tablet end up within half a point of each other, and that is because when a score is already near perfect there is almost no room left for the fuller read to add anything. It is on the harder ground that the difference truly opens up. Preference inference climbs from 86.0 to 97.3, gathering memory scattered across many sessions rises from 73.8 to 83.9, and reasoning about time moves from 80.8 to 87.1. These are the questions where a single memory left behind is enough to change the answer, and the fuller read is what goes back and brings that missing memory home. Beneath these numbers there is a quieter thing worth stating plainly. The engine had already found the evidence close to 99.6 percent of the time, and it found it for both models in equal measure. So the finding was never what set the two apart. What set them apart was how much of what had been found actually made it all the way to the model. That remaining distance is what we mean when we say delivery, and closing it is the work Scroll was built to do.이 상승은 예상하던 바로 그 자리에서 드러납니다. 이미 천장에 가까운 단일 세션 회상에서는 Scroll과 Tablet이 서로 반 점 안쪽으로 붙는데, 점수가 이미 완벽에 가까우면 더 넉넉히 읽어도 보탤 자리가 거의 남지 않기 때문입니다. 차이가 정말로 벌어지는 곳은 더 어려운 자리입니다. 선호 추론은 86.0에서 97.3으로 오르고, 여러 세션에 흩어진 기억을 모으는 일은 73.8에서 83.9로, 시간을 따져 보는 일은 80.8에서 87.1로 올라갑니다. 모두 기억 하나를 놓치는 것만으로 답이 바뀌어 버리는 질문들이고, 그 빠진 기억을 되찾아 데려오는 것이 바로 더 넉넉한 읽기입니다. 그리고 이 숫자들 밑에는, 분명히 말해 둘 만한 조용한 사실이 하나 있습니다. 엔진은 이미 증거를 99.6퍼센트에 가깝게 찾아 두었고, 그것을 두 모델 모두에게 똑같이 찾아 주었습니다. 그러니 둘을 가른 것은 애초에 '찾는 일'이 아니었습니다. 둘을 가른 것은, 찾아낸 것 가운데 얼마만큼이 실제로 모델에까지 닿았는가였습니다. 그 남은 거리가 우리가 '전달'이라 부르는 것이고, 그 거리를 좁히는 일이 Scroll이 하도록 만들어진 일입니다.
We measured all of this in the open, the same way we measured Tablet. We ran the full LongMemEval-S set five separate times, and every one of those runs is laid out just below. A single reader was held constant to answer from the retrieved memories, an independent model graded the answers under the official rules, and the exact prompts are published on this same page. The five runs came out at 90.4, 90.0, 91.6, 90.8, and 90.8, for a mean of 90.7% with a standard deviation of 0.5 percent, and all five of them landed at or above 90. We show where Scroll stands firm, and we show just as openly where the road is still long. Gathering memory across many sessions, at 83.9, remains the frontier, and we say so plainly rather than rounding it away. Scroll is the next model to be measured against Tablet 1, and it is held to the same honest measure that the first model set, because only honest numbers earn the kind of trust that lasts.이 모든 것을, Tablet을 쟀던 것과 똑같이 열어 둔 채로 쟀습니다. 전체 LongMemEval-S 세트를 다섯 번 따로 실행했고, 그 회차들은 하나도 빠짐없이 바로 아래에 펼쳐 두었습니다. 하나의 리더를 고정해 검색된 기억만으로 답하게 했고, 독립된 모델이 공식 규칙에 따라 그 답을 채점했으며, 사용한 프롬프트 원문은 바로 이 페이지에 그대로 공개했습니다. 다섯 번의 점수는 90.4, 90.0, 91.6, 90.8, 90.8로 나왔고, 평균은 90.7%, 표준편차는 0.5퍼센트였으며, 다섯 번 모두 90 이상에 내려앉았습니다. Scroll이 어디서 단단한지도 보여 드리고, 어디가 아직 더 갈 길인지도 그만큼 열어 보여 드립니다. 여러 세션에 걸쳐 기억을 모으는 일은 83.9로 여전히 가장 먼 자리이고, 우리는 그것을 반올림해 지우는 대신 그대로 말합니다. Scroll은 Tablet 1을 기준으로 재어지는 다음 모델이며, 첫 모델이 세운 그 정직한 자를 똑같이 씁니다. 오래 가는 신뢰는 정직한 숫자에서만 나오기 때문입니다.
Verbatim, with nothing paraphrased.원문 그대로, 일절 의역 없이 옮겼습니다.
Answer the question using ONLY the retrieved memories below (each
prefixed [date] (rel=relevance)). This question is asked on: {qdate}.
Apply whichever fits:
- 'how long ago' / 'how many days/weeks/months since': compute the
duration relative to the asking date using memory dates.
- If memories give CONFLICTING values for the same fact as of different
dates, give the MOST RECENT value (mention the prior only if asked).
- If the question asks for ADVICE/RECOMMENDATION, first identify this
user's relevant preferences from the memories, then tailor to them.
- For COUNT/TOTAL/LIST questions: ENUMERATE every candidate item in the
memories (including ones mentioned only once or in passing), MERGE
duplicates (same item on different dates = one), then count/sum the
distinct results and state the final number.
- BEFORE the final answer, write an explicit intermediate structure from
the memories: for COUNT/TOTAL/LIST, list every candidate item (incl.
ones mentioned once), merge duplicates (same item on different dates =
one), then count/sum the distinct items; for TEMPORAL /
values-changing-over-time, build a (value, date) timeline. Show the
structure, THEN give the final answer.
If the answer is not in the memories, say you don't know. Answer in the
SAME LANGUAGE as the question.
Memories:
{mems}
Question: {q}
Answer:I will give you a question, the correct answer, and a model's response.
{RULE} Respond with ONLY 'yes' or 'no'.
Question: {q}
Correct answer: {gt}
Model response: {ans}
Is the model response correct?{RULE} is the official LongMemEval rule applied per category:은 카테고리별로 적용되는 공식 LongMemEval 규칙입니다:
For temporal-reasoning, an answer is correct if it contains the correct answer or an equivalent, and off-by-one errors in the number of days, weeks, or months are not penalized. For knowledge-update, it is correct if it contains the correct updated answer, and mentioning previous or outdated information is fine as long as the updated answer is present. For single-session-preference, the response need not cover every point in a rubric; it counts as long as it recalls and uses the user's personal information or preference correctly. For all other categories, it is correct if it contains the correct answer, or an equivalent that includes all the intermediate steps to reach it; if it gives only a subset of the required information, it is marked wrong.시간 추론(temporal-reasoning)에서는 정답 또는 그에 준하는 내용이 포함되면 정답으로 보며, 일·주·월 수의 ±1 오차는 감점하지 않습니다. 지식 업데이트(knowledge-update)에서는 갱신된 정답이 포함되면 정답이며, 이전 정보나 오래된 정보를 언급하더라도 갱신된 답이 함께 있으면 괜찮습니다. 단일 세션 선호(single-session-preference)에서는 루브릭의 모든 항목을 다룰 필요는 없고, 사용자의 개인 정보나 선호를 올바르게 회상해 활용하면 정답입니다. 그 외 모든 카테고리에서는 정답, 또는 그에 도달하는 모든 중간 단계를 포함한 동등한 답이 있으면 정답이며, 필요한 정보 중 일부만 제시하면 오답으로 처리합니다.