맥락 윈도우의 거짓말: '100만 토큰을 처리한다'고 했는데, 정말로?

문제: 맥락 윈도우가 커도 성능은 따라오지 못한다

"1백만 토큰까지 처리할 수 있습니다"라는 광고가 이제 흔하다. Claude 3.5, GPT-4, Gemini 등 메이저 모델들이 앞다퉈 맥락 윈도우(= 한 번에 처리할 수 있는 텍스트량)를 늘렸다.
하지만 실제로는?

1. 길수록 성능이 떨어진다

최근 연구들에서 계속 나오는 결과: 맥락이 길어질수록 관련 정보를 놓치는 비율이 높아진다. 마치 긴 문서 중간에 중요한 정보가 있으면 모델이 그걸 무시하는 식이다.
예: 100쪽 문서에서 핵심 정보를 찾는 태스크에서, 정보가 처음에 있을 때는 90% 정확도, 중간에 있을 때는 60%, 끝에 있을 때는 40%처럼 떨어진다.

2. "처리할 수 있다" ≠ "잘 이해한다"

토큰을 받아들이는 것과 실제로 이해하는 것은 다르다. 긴 맥락에서 뉘앙스나 세부 정보를 놓치는 일이 빈번하다. RAG나 요약 기반 접근이 때때로 더 효과적이다.

3. 비용 함정

입출력 토큰 요금이 점점 내려가는 건 맞다. 하지만 "긴 문서 통째로 보내면 된다"고 가정하면, 실제로는 품질 문제 때문에 여러 번 실행하거나 에러 수정에 더 많은 토큰을 쓰게 된다.

현실적 접근

필요한 정보만 추출하기 (검색 → 추출 → 모델)

긴 문서는 청크 단위로 처리하기

짧은 맥락에서 정확도가 높은지 먼저 검증하기

맥락 윈도우는 "보험"이지, 마법이 아니다.