우리에게 $2, LLM에선 그 몇 배를 아낍니다.

WOS는 매 프롬프트에 전체 히스토리를 욱여넣는 대신, 쿼리당 ~1,000개의 관련 토큰만 LLM에 전달합니다. 그 격차는 막대하고, 히스토리가 커질수록 더 벌어집니다.

절감이 나오는 곳

• WOS 없이는 매 프롬프트에 전체 히스토리를 넣습니다 - 100K 토큰 × $2.50/1M = $0.25, 매 쿼리마다 (GPT-4o 입력 단가 기준, Opus급 모델은 약 2배).
• WOS는 한 번만 적재($2/1M)하고, 이후 각 쿼리는 작은 검색($3/1M × 1,000)과 ~1,000 토큰에 대한 LLM 호출뿐입니다.
• LLM이 읽는 토큰이 적을수록 비용이 줄고, WOS는 기억이 커져도 그 수치를 일정하게 유지합니다.