컨텍스트 윈도우의 역설: 100K를 준들 모델은 중간부분을 무시한다

약속된 미래

2024년 말부터 각 AI 회사들의 경쟁은 한 가지로 수렴했다. '더 긴 컨텍스트' — Claude는 200K, Gemini는 100만 토큰까지 지원한다. 개발자들의 반응은 단순했다. "이제 전체 문서를 한 번에 넣으면 되겠네!"

현실의 균열

하지만 실제 사용자들의 데이터는 다른 이야기를 한다.
1) Lost in the Middle 현상
MIT 연구팀(2023)이 발견한 문제: 긴 컨텍스트의 중간에 있는 정보를 모델이 체계적으로 무시한다. 예를 들어 100개 문서 중 중요한 정보가 50번째에 있으면, 모델은 1~20번째, 80~100번째는 주목하지만 중간부분은 스킵한다. 컨텍스트가 길수록 이 문제는 악화된다.
2) 비용은 지수함수, 성능은 선형
100K 컨텍스트를 사용하면 비용도 5배 증가한다. 하지만 실제 정확도 향상은 기껏해야 3~5%다. 벤치마크 점수는 올라가지만, 실무 쿼리에선 별 차이가 없다는 뜻이다.
3) 검색 + 순위 = 더 효율적
역설은 이것이다: 전체 100K를 던지는 것보다, 상위 10개 관련 문서만 검색해서 5K 컨텍스트로 처리하는 게 더 정확하고, 4배 저렴하다.

결론

긴 윈도우는 '보험'이지, '해결책'이 아니다. 실무에선 여전히 검색 + 랭킹 + 짧은 컨텍스트 조합이 압도적으로 효율적이다.