Wontopos / Benchmark벤치마크
Benchmark · LongMemEval-S벤치마크 · LongMemEval-S

Tablet 1, our first model.Tablet 1, 첫 번째 모델.

Tablet 1 is the first publicly available WOS model — the memory engine you can call today. We publish its results the same way we intend to publish every model that follows it: the full protocol, every run, nothing cherry-picked. On LongMemEval-S, a long-context memory benchmark, Tablet 1 scores a mean of 85.2% across five runs, with a standard deviation of 1.1% — the individual runs were 86.2, 84.2, 85.0, 83.8, and 86.6.Tablet 1은 지금 바로 호출할 수 있는 WOS의 첫 공개 모델입니다. 그 성적은 앞으로 나올 모든 모델과 같은 방식으로 공개합니다 — 전체 프로토콜, 모든 회차, 체리피킹 없이. 장기 기억 벤치마크 LongMemEval-S에서 Tablet 1은 5회 측정 평균 85.2%를 기록했고, 표준편차는 1.1%이며, 각 회차 점수는 86.2, 84.2, 85.0, 83.8, 86.6이었습니다.

How it was measured측정 방법

Retrieval검색
Every LongMemEval-S question was retrieved with the WOS Memory Engine — semantic embeddings plus neural reranking, with no BM25 or keyword matching. Retrieval is the only component under test. Each query returned a bounded context of about 1,200 tokens — the measured figure for this run.모든 LongMemEval-S 질문은 WOS 메모리 엔진으로 검색했습니다 — 의미 임베딩과 신경망 리랭킹을 쓰며, BM25나 키워드 매칭은 사용하지 않습니다. 검색이 유일한 평가 대상입니다. 쿼리당 약 1,200 토큰으로 제한된 컨텍스트를 반환했습니다 — 이번 측정의 실제값입니다.
Reader & judge리더 & 평가자
Claude Opus 4.8 (via the Claude API) was held constant across all five runs as the reader, answering from the retrieved memories only. Each answer was then graded by GPT-4o at temperature 0, returning a plain yes / no under the official LongMemEval per-category rules.Claude Opus 4.8(Claude API)를 다섯 회차 내내 리더로 고정해, 검색된 기억만으로 답하게 했습니다. 각 답변은 GPT-4otemperature 0으로 채점해, 공식 LongMemEval 카테고리별 규칙에 따라 yes / no만 반환했습니다.
Protocol프로토콜
We ran the full LongMemEval-S set five independent times and report the average — every run published, no best-of selection and no cherry-picking.전체 LongMemEval-S 세트를 다섯 번 독립적으로 실행하고 평균을 보고합니다 — 모든 회차 공개, 베스트 선별이나 체리피킹 없음.

Every run, every category회차별, 카테고리별 전체

The raw scores behind the 85.2%.85.2% 뒤의 원본 점수.

Category카테고리Run 11회Run 22회Run 33회Run 44회Run 55회Average평균
Single-session user단일 세션 사용자98.6100.098.698.698.698.9
Single-session assistant단일 세션 어시스턴트94.696.496.496.498.296.4
Knowledge update지식 업데이트92.389.793.688.592.391.3
Preference inference선호 추론90.086.783.380.090.086.0
Temporal reasoning시간 추론82.078.981.278.982.780.8
Multi-session멀티 세션75.972.272.273.775.273.8
Overall전체86.284.285.083.886.685.2

Mean 85.2% · standard deviation 1.1% · all 5 runs published, 0 cherry-picks.평균 85.2% · 표준편차 1.1% · 5회 전부 공개, 체리피킹 0.

Tokens returned per query쿼리당 반환 토큰
~1,200low~1,700
Recall latency (p50)회수 지연 (p50)
~320 msfasterslower

Curves show the shape of the distribution around the measured median; exact spread varies by workload.곡선은 측정된 중앙값을 중심으로 한 분포의 형태이며, 정확한 퍼짐은 워크로드에 따라 달라집니다.

Remembering is a quiet thing. To remember well is not to recall a great deal, but to bring back the one thing that fits, quietly, at the moment it is needed. Human memory works that way. We do not unfold every day we have lived all at once; we surface the single piece this conversation needs and let the rest rest. Most systems do the opposite. As a conversation grows, they gather everything that came before and pour all of it in front of the model, every single time. The more that accumulates, the slower and costlier it becomes, and the focus blurs exactly where it matters most. Tablet 1 began from the other side. Not more, but enough.기억은 조용한 일입니다. 잘 기억한다는 것은 많은 것을 떠올리는 일이 아니라, 필요한 순간에 꼭 맞는 하나를 조용히 꺼내오는 일입니다. 사람의 기억이 그렇습니다. 우리는 살아온 모든 날을 한꺼번에 펼치지 않습니다. 지금 이 대화에 필요한 한 조각만 자연스럽게 떠올리고, 나머지는 가만히 둡니다. 그런데 대부분의 시스템은 그 반대로 움직입니다. 대화가 길어질수록 지나온 모든 것을 매번 처음부터 끝까지 끌어안아 모델 앞에 쏟아 놓습니다. 기록이 쌓일수록 느려지고, 비싸지고, 정작 중요한 대목에서 초점이 흐려집니다. Tablet 1은 그 반대편에서 시작했습니다. 더 많이가 아니라, 더 알맞게.

Tablet 1 does not look at whether words overlap. It looks at whether meaning meets. Matching by words is bound to the surface of language, so the moment the same idea is written in different words, or in a different language, recall quietly collapses. Searching by meaning removes that wall. Ask in English, ask in Japanese, ask in Chinese, and it remembers with the same depth, and it does not mind when a single person's memory holds several languages at once. To answer with the same weight for anyone, in any language. That is the promise this engine set out to keep from the start. It does this with embeddings, but the method we keep within. We will show you what it does; how it does it stays ours.Tablet 1은 단어가 겹치는지를 보지 않습니다. 의미가 닿는지를 봅니다. 단어를 맞대어 찾는 방식은 표현의 껍데기에 매여 있어서, 같은 뜻을 다른 낱말로 적거나 다른 언어로 옮겨 적는 순간 회상이 소리 없이 무너집니다. 의미로 더듬어 찾으면 그 벽이 사라집니다. 영어로 묻든 일본어로 묻든 중국어로 묻든 같은 깊이로 떠올리고, 한 사람의 기억 안에 여러 언어가 섞여 있어도 개의치 않습니다. 어떤 언어를 쓰는 사람에게나 같은 무게로 응답하는 것. 그것이 이 엔진이 처음부터 지키려 한 약속입니다. 임베딩으로 그렇게 하지만, 그 방법은 안으로 간직합니다. 무엇을 하는지는 보여 드리되, 어떻게 하는지는 저희의 것으로 둡니다.

What comes back is always small, and always the same. Whether you have kept a thousand memories or a million, a single call returns a handful of steady size. No language model sits in the path of retrieval. So the same records always return the same memories. Ask today and ask again tomorrow, and it does not waver. To entrust something is, in the end, to trust this constancy. Fast, light, and possible to anticipate. Past any flourish of words, it is this steadiness that lasts.돌아오는 답은 늘 작고, 늘 한결같습니다. 천 개를 담았든 백만 개를 담았든, 한 번의 부름에 돌아오는 것은 일정한 크기의 한 줌입니다. 회수의 길목에는 언어모델을 두지 않았습니다. 그래서 같은 기록에는 언제나 같은 기억이 돌아옵니다. 오늘 묻고 내일 다시 물어도 흔들리지 않습니다. 믿고 맡긴다는 것은 결국 이 한결같음을 믿는다는 뜻입니다. 빠르고, 가볍고, 미리 헤아릴 수 있다는 것. 화려한 말보다 이 단단함이 오래갑니다.

Even when the words differ, Tablet 1 follows the grain between one memory and the next and brings the surrounding context along with it. And when it is not sure, rather than offering a memory that is plausible but wrong, it stays quiet. An empty space can be filled again; a wrongly filled one only leads a person further astray. Not pretending to know what it does not. That is where trust begins. It reads time as well. It tells when something happened from when it was written down, returns things in order when asked, and conveys how long ago a thing was without handing the model an exact date to invent from.Tablet 1은 똑같은 단어가 아니어도 기억과 기억 사이의 결을 따라가, 곁에 머물던 맥락까지 함께 데려옵니다. 그러면서도 확신이 서지 않을 때는 그럴듯하지만 틀린 기억을 내미는 대신 가만히 침묵합니다. 비어 있는 자리는 다시 채울 수 있지만, 잘못 채워진 자리는 사람을 더 멀리 데려가니까요. 모르는 것을 아는 척하지 않는 것. 그것이 신뢰의 시작입니다. 시간도 함께 읽습니다. 일이 일어난 때와 그것을 적어 둔 때를 구분하고, 청하면 순서대로 돌려주며, 정확한 날짜를 모델에 떠넘겨 지어내게 하지 않고도 얼마나 오래된 일인지 그 결만 건넵니다.

All of this, we measured in the open. LongMemEval-S, a long-term memory benchmark, tests six kinds of remembering across 500 questions: facts within a single session, facts the assistant left behind, updating information that has changed, inferring preferences, reasoning about time, and gathering pieces scattered across many sessions. We ran it five times under the same conditions; the answers were read and written by Claude Opus 4.8, and the grading was done by GPT-4o. There is a reason we placed a strong reader at the end. It lets the quality of retrieval show plainly in the quality of the answer. Because the engine returns the same memories for the same records, the small movement between runs comes from the model writing the answer, not from retrieval.이 모든 말을 열어 둔 채로 쟀습니다. 장기 기억 벤치마크 LongMemEval-S는 500개의 질문으로 여섯 갈래의 기억을 시험합니다. 단일 세션 안의 사실, 어시스턴트가 남긴 사실, 바뀐 정보를 갱신하는 일, 취향을 미루어 아는 일, 시간을 따져 보는 일, 그리고 여러 세션에 흩어진 조각을 하나로 모으는 일입니다. 같은 조건으로 다섯 번을 반복했고, 답은 Claude Opus 4.8이 읽어 만들었으며, 채점은 GPT-4o가 맡았습니다. 굳이 강한 독자를 세운 데에는 이유가 있습니다. 검색이 얼마나 좋은 기억을 건넸는지를 답의 품질에 그대로 비치게 하기 위해서입니다. 엔진은 같은 기록에 같은 기억을 돌려주므로, 회차 사이의 작은 흔들림은 검색이 아니라 답을 쓰는 모델에서 옵니다.

The result was a mean of 85.2%, with a standard deviation of 1.1%. The five runs scored 86.2, 84.2, 85.0, 83.8, and 86.6, and rather than holding up the best of them, we laid all five out as they were. On the easier ground, like recall within a single session, it reaches close to 99%; on the hardest, gathering memory scattered across many sessions, it still holds near 74%. We hid neither where it stands firm nor where the road is still long. Only honest numbers earn trust that lasts.결과는 평균 85.2%, 표준편차는 1.1%였습니다. 다섯 번의 점수는 각각 86.2, 84.2, 85.0, 83.8, 86.6이었고, 그중 가장 좋은 하나를 골라 내세우는 대신 다섯 번을 모두 그대로 펼쳐 보였습니다. 단일 세션 안의 회상처럼 비교적 쉬운 자리에서는 99%에 가깝고, 여러 세션을 가로질러 흩어진 기억을 모으는 가장 어려운 자리에서도 74% 가까이를 지켰습니다. 어디가 단단하고 어디가 아직 더 갈 길인지까지 숨기지 않았습니다. 정직한 숫자만이 오래 신뢰받기 때문입니다.

The largest difference shows in the quietest place. The past conversation a single question carries averages around 140,000 tokens. Of that vast record, what Tablet 1 actually handed to the model was a median of about 1,200 tokens at a time, and never more than 1,700. Less than one percent of what had accumulated. The rest was not thrown away. It was kept whole, while only the piece needed in that moment was passed along. So even as memory swells into the millions, the size of the input going to the model stays nearly where it was. That cost does not balloon as memory grows is a rare virtue in a tool you mean to keep by your side for a long time. Retrieval time on the engine alone held at a median of 320 milliseconds, staying between 170 and 580 even as questions grew complex.가장 큰 차이는 가장 조용한 자리에서 드러납니다. 한 질문이 짊어진 과거 대화는 평균 14만 토큰에 이릅니다. 그 방대한 기록 가운데 Tablet 1이 모델에게 실제로 건넨 것은 한 번에 중앙값 약 1,200 토큰, 아무리 많아도 1,700 토큰을 넘지 않았습니다. 쌓인 기록의 1%에도 미치지 않는 양입니다. 나머지를 버린 것이 아닙니다. 고스란히 간직한 채, 그 순간에 필요한 조각만 골라 건넸을 뿐입니다. 그래서 기억이 백만 개로 불어나도 모델에 들어가는 입력의 크기는 거의 그 자리에 머뭅니다. 기억이 늘어난다고 비용이 함께 부풀지 않는다는 것. 오래 곁에 두고 쓰는 도구에게 이보다 귀한 미덕은 드뭅니다. 엔진만의 회수 시간은 중앙값 320밀리초였고, 질문이 복잡해도 170에서 580밀리초 사이에 한결같이 머물렀습니다.

And this is a beginning. Tablet is our first model, and every model that follows will be measured and weighed against this one, Tablet 1. Because the first model was honest, every promise that follows is held to the same measure.그리고 이것은 시작점입니다. Tablet은 첫 모델이며, 앞으로 나올 모든 모델은 바로 이 Tablet 1을 기준 삼아 재어지고 견주어집니다. 첫 모델이 정직했기에, 뒤따르는 모든 약속도 같은 자를 씁니다.

The exact prompts사용한 프롬프트 원문

Verbatim — nothing paraphrased.원문 그대로 — 일절 의역 없음.

Reader prompt — answer generation리더 프롬프트 — 답변 생성

readerused to generate every answer모든 답변 생성에 사용
Answer the question using ONLY the retrieved memories below (each is
prefixed with its [date]). This question is being asked on: {qdate}.
Apply whichever of these fits the question:
- For any 'how long ago' / 'how many days/weeks/months since' question,
  compute the duration relative to the asking date above (not any other
  today), using the memory dates.
- If the memories give CONFLICTING values for the same fact (different
  values as of different dates), mention BOTH and note which is more recent.
- If the question asks for ADVICE or a RECOMMENDATION, first identify this
  user's relevant preferences, interests, and past choices from the
  memories, then tailor your answer to them (not generic advice).
- Otherwise, answer the factual question concisely and directly.
If the answer is not in the memories, say you don't know. Answer in the
SAME LANGUAGE as the question.

Memories:
{mems}

Question: {q}

Answer:
{qdate}the date the question is asked질문이 던져진 날짜 {mems}retrieved memories, each prefixed with its date검색된 기억, 각 항목 앞에 날짜 표기 {q}the question질문

Judge prompt — grading (temp 0)평가자 프롬프트 — 채점 (temp 0)

judgeindependent · temperature 0 · yes / no only독립 · temperature 0 · yes / no만
I will give you a question, the correct answer, and a model's response.
{RULE} Respond with ONLY 'yes' or 'no'.

Question: {q}
Correct answer: {gt}
Model response: {ans}

Is the model response correct?

{RULE} is the official LongMemEval rule applied per category:은 카테고리별로 적용되는 공식 LongMemEval 규칙입니다:

For temporal-reasoning, an answer is correct if it contains the correct answer or an equivalent, and off-by-one errors in the number of days, weeks, or months are not penalized. For knowledge-update, it is correct if it contains the correct updated answer — mentioning previous or outdated info is fine as long as the updated answer is present. For single-session-preference, the response need not cover every point in a rubric; it counts as long as it recalls and uses the user's personal information or preference correctly. For all other categories, it is correct if it contains the correct answer, or an equivalent that includes all the intermediate steps to reach it; if it gives only a subset of the required information, it is marked wrong.시간 추론(temporal-reasoning)에서는 정답 또는 그에 준하는 내용이 포함되면 정답으로 보며, 일·주·월 수의 ±1 오차는 감점하지 않습니다. 지식 업데이트(knowledge-update)에서는 갱신된 정답이 포함되면 정답이며 — 이전 정보나 오래된 정보를 언급해도 갱신된 답이 있으면 괜찮습니다. 단일 세션 선호(single-session-preference)에서는 루브릭의 모든 항목을 다룰 필요는 없고, 사용자의 개인 정보나 선호를 올바르게 회상해 활용하면 정답입니다. 그 외 모든 카테고리에서는 정답, 또는 그에 도달하는 모든 중간 단계를 포함한 동등한 답이 있으면 정답이며, 필요한 정보 중 일부만 제시하면 오답으로 처리합니다.