When to deliver more 언제 더 많이 전달해야 하는가
Fuller delivery costs 2.2× more. Does it buy accuracy? It depends on how much memory the question carries. 더 넉넉한 전달은 2.2배 비쌉니다. 그만큼 정확도를 살 수 있을까요? 질문이 지고 있는 기억의 크기에 달려 있습니다.
The question is not which tier is better어느 모델이 더 나은가가 질문이 아닙니다
Both tiers share one retrieval core and differ only in delivery. Tablet 1 hands the reader a single-pass, bounded context. Scroll 1 expands the same retrieval hits with their session neighbors and delivers roughly 1.5× as many tokens, for about 2.2× the cost per query. So the useful question is not which is more accurate in the abstract. It is whether the extra delivery buys accuracy at a given memory size. 두 모델은 하나의 검색 코어를 공유하며 전달 방식만 다릅니다. Tablet 1은 한 번에 끝나는, 한정된 맥락을 건넵니다. Scroll 1은 같은 검색 결과를 이웃 세션까지 넓혀 약 1.5배의 토큰을 전달하고, 쿼리당 비용은 약 2.2배입니다. 그래서 쓸모 있는 질문은 어느 쪽이 추상적으로 더 정확한가가 아닙니다. 주어진 기억 크기에서 그 추가 전달이 정확도를 사는가입니다.
Small memory: it does not pay작은 기억: 값을 못 합니다
On LoCoMo, where each question carries about 20K tokens of history, we ran 1,986 questions under one shared reader. Tablet 1 answered 76.5% correctly and Scroll 1 76.7%: three questions apart out of 1,986, with a confidence interval comfortably spanning zero. The tiers are statistically indistinguishable, and Scroll 1 costs 2.19× more. At this record length retrieval already surfaces what the reader needs, so the extra session neighbors are redundant weight. Tablet 1 is the efficient choice. 각 질문이 약 20K 토큰의 이전 대화를 지고 있는 LoCoMo에서, 하나의 공유 리더로 1,986문항을 측정했습니다. Tablet 1은 76.5%, Scroll 1은 76.7%를 맞혔습니다. 1,986문항 중 세 문항 차이이고, 신뢰구간은 0을 넉넉히 포함합니다. 두 모델은 통계적으로 구별되지 않으며, Scroll 1은 2.19배 비쌉니다. 이 길이에서는 검색이 이미 리더에게 필요한 것을 올려주므로, 추가된 이웃 세션은 잉여 무게입니다. Tablet 1이 효율적인 선택입니다.
Large memory: it does, and we say how firmly큰 기억: 값을 합니다, 다만 어디까지 확실한지 밝힙니다
At about 140K tokens, on the 500-question benchmark we published earlier, Scroll 1 leads by 5.5 points (90.7% vs 85.2%). The gain is not spread evenly: it lands on preference inference (+11.3), multi-session synthesis (+10.1), and temporal reasoning (+6.3), exactly the questions where the answer is assembled from pieces laid down at different times. The two single-session categories stay within half a point, because a fuller delivery has nothing left to add when the answer already sits in one place. 약 140K 토큰에서, 앞서 공개한 500문항 벤치마크 기준으로 Scroll 1이 5.5점 앞섭니다(90.7% 대 85.2%). 이 이득은 고르게 퍼져 있지 않습니다. 선호 추론(+11.3), 다중 세션 종합(+10.1), 시간 추론(+6.3)에 몰려 있으며, 이는 서로 다른 시점에 놓인 조각들을 모아야 답이 되는 질문들입니다. 단일 세션 두 범주는 반 점 이내에 머뭅니다. 답이 이미 한곳에 있으면 더 넉넉한 전달이 보탤 것이 없기 때문입니다.
But that study used a different reader for each tier, so the 5.5 points cannot be cleanly attributed to delivery alone. An earlier delivery ablation points the same way, and the category structure is consistent with it, yet the honest statement is this: the small-memory side is a settled, same-reader result, and the large-memory side is directionally supported but reader-confounded. 다만 그 연구는 두 모델에 서로 다른 리더를 썼기에, 5.5점을 전달만의 몫으로 깨끗이 돌릴 수 없습니다. 앞선 전달 제거 실험도 같은 방향을 가리키고 범주 구조도 이와 일치하지만, 정직한 진술은 이렇습니다. 작은 기억 쪽은 동일 리더로 확정된 결과이고, 큰 기억 쪽은 방향성은 뒷받침되나 리더로 교란되어 있습니다.
Memory beats reading the whole record, on both axes기억은 전체 기록을 읽는 것을 두 축 모두에서 이깁니다
At about 102K tokens per question, we also measured what happens if you skip memory and hand the reader the entire record. It is not just more expensive. It is also less accurate. 질문당 약 102K 토큰 지점에서, 기억을 건너뛰고 리더에게 기록 전체를 넘기면 어떻게 되는지도 측정했습니다. 단지 더 비싼 정도가 아닙니다. 정확도까지 더 낮습니다.
The cost gap widens with every query비용 격차는 질문할수록 벌어집니다
A record is usually asked about more than once. Memory ingests the record once and then retrieves a bounded context; reading the full history pays to re-read everything on every single query. Memory is cheaper from the very first question, and the gap compounds from there. 하나의 기록에는 보통 여러 번 묻게 됩니다. 기억은 기록을 한 번 적재한 뒤 한정된 맥락만 꺼내오지만, 전체 기록 읽기는 매 쿼리마다 전부를 다시 읽는 값을 냅니다. 기억은 첫 질문부터 이미 더 싸고, 격차는 그 뒤로 누적됩니다.
| Queries질문 수 | Full record전체 기록 | Tablet 1 | Scroll 1 |
|---|---|---|---|
| 1 | $0.10 | $0.05 | $0.07 |
| 10 | $1.03 | $0.19 | $0.36 |
| 50 | $5.16 | $0.78 | $1.65 |
| 100 | $10.32 | $1.51 | $3.26 |
The rule규칙
The practical rule is not "Scroll is better." It is this: deliver more only when the record is large enough that fuller delivery buys accuracy, and stop paying for it when it does not. Where the gain is zero, pay less and choose Tablet 1. Where the record is long and the work is integration-heavy, Scroll 1's extra delivery earns its extra cost. That is why both tiers exist. 실무 규칙은 "Scroll이 더 낫다"가 아닙니다. 이것입니다. 기록이 충분히 커서 더 넉넉한 전달이 정확도를 살 때에만 더 많이 전달하고, 그렇지 않을 때는 그 값을 치르지 마십시오. 이득이 0인 곳에서는 더 적게 내고 Tablet 1을 고르면 됩니다. 기록이 길고 조각을 통합해야 하는 일에서는 Scroll 1의 추가 전달이 추가 비용을 벌어냅니다. 두 모델이 함께 존재하는 이유입니다.
What we have not proven아직 증명하지 못한 것
We state the limits with the same weight as the results. The new measurements are single-run, so run-to-run variation is not quantified here. The one well-powered, same-reader comparison we ran is a tie. The 24-question pilot at 102K is too small to separate the tiers. The large-memory advantage carries a reader confound. And two benchmarks at two sizes are two operating points, not a curve: proving the crossover needs a same-reader rerun at 140K, a controlled length sweep on one benchmark, and multi-run repetition. 한계를 결과와 같은 무게로 밝힙니다. 새 측정은 단일 실행이라 실행 간 변동을 여기서 정량화하지 않았습니다. 우리가 돌린 검정력 충분한 동일 리더 비교는 동점입니다. 102K의 24문항 파일럿은 두 모델을 가르기에 너무 작습니다. 큰 기억에서의 우위에는 리더 교란이 있습니다. 그리고 두 크기의 두 벤치마크는 곡선이 아니라 두 개의 작동점일 뿐입니다. 크로스오버를 증명하려면 140K에서 동일 리더 재실행, 하나의 벤치마크에서 통제된 길이 스윕, 그리고 다회 반복이 필요합니다.
One more thing to say plainly: these are our own products, and this report was written by the person who builds them. That is a conflict of interest. We offset it by publishing every per-question score, every prompt, and the full cost ledger, reporting no best-of numbers, and keeping a third-party re-verification path open. We treat the crossover as a hypothesis we find compelling but have not yet proven, and we invite the replication that would confirm or refute it. 한 가지 더 분명히 말해 둡니다. 이것들은 우리 제품이고, 이 리포트는 그것을 만든 사람이 썼습니다. 이는 이해충돌입니다. 우리는 문항별 점수 전부와 모든 프롬프트, 전체 비용 원장을 공개하고, 골라낸 최고 기록을 쓰지 않으며, 제3자 재검증 경로를 열어 두는 것으로 이를 상쇄합니다. 크로스오버는 우리가 설득력 있다고 보지만 아직 증명하지 못한 가설로 다루며, 이를 확인하거나 반박할 재현을 환영합니다.
The full paper has the per-condition scores, the cost ledger, the verbatim reader and judge prompts, and the raw per-question verdicts. 논문 전문에는 조건별 점수, 비용 원장, 리더와 판정자 프롬프트 원문, 그리고 문항별 원자료가 담겨 있습니다.
Read the full paper (PDF) →논문 전문 읽기 (PDF) →Was this report useful?이 리포트가 도움이 되었나요?
We publish every run and our own conflict of interest so this work can be checked. If something here is wrong, we would rather hear it. 이 작업이 검증받을 수 있도록 모든 실행과 이해충돌을 공개합니다. 여기 잘못된 것이 있다면, 듣는 편이 낫습니다.