67.5%, 재어서 나온 숫자입니다.

BEAM 1M 에서 67.5%입니다. 5회 독립 실행 평균이고(σ 0.22%, 고른 회차 없음), gpt-4.1-mini 가 벤치마크 자체의 판정 프롬프트로 채점했습니다.

같은 벤치마크라도 채점 방식에 따라 점수가 크게 갈립니다. 평가자, 프롬프트, 그리고 검색 계층에 무엇까지 허용하느냐입니다. 저희는 저자 저장소에 실려 있는 평가자로 채점하고, 저자의 판정 프롬프트를 적힌 그대로 쓰며, 시험에 맞추려고 무엇도 바꾸지 않습니다. 하네스와 채점 코드, 리더 프롬프트를 공개하므로 누구든 67.5%를 그대로 재현할 수 있습니다.

측정 프로토콜 한눈에

정직하게 유지하는 것: 제3자 채점자, 변경 없이 공개한 리더 프롬프트, 그리고 최고 회차가 아니라 전 회차 보고. 검색 엔진은 결정론적이라 다시 돌려도 같은 기억이 나옵니다.

더 어려운 벤치로 올라갑니다

우리는 아직 정복하지 못한 가장 어려운 표준 벤치마크 위에서 겨룹니다 - 적힌 점수는 모든 WOS 모델이 세운 최고 기록이고, 더 나은 모델이 나올 때마다 새로 쓰입니다. 94%를 넘기는 순간, 더 어려운 벤치마크로 졸업합니다.