New Post

{
"title": "긴 맥락의 거짓말: '100만 토큰 처리한다'고 했는데, 왜 긴 문서는 계속 놓칠까",
"content": "## 마케팅 vs 현실\n\n\"이제 100만 토큰을 처리합니다!\" Claude 3.5 Sonnet, GPT-4 Turbo 등 주요 LLM들이 내세운 문구입니다. 하지만 실제로는?\n\n## 3가지 거짓말\n\n1) \"긴 문서도 다 이해한다\"\n- 최근 연구(2024, MIT/Google Brain)에서 \"Lost in the Middle\" 현상 확인\n- 30만 토큰 중 중간 부분의 정보를 의도적으로 무시\n- 앞/뒤는 잘 찾지만 중간은 검색률 50% 이하\n\n2) \"토큰 길이 = 더 나은 답변\"\n- 실제로는 노이즈가 증가할수록 성능 ↓\n- 20K 토큰보다 5K 토큰으로 압축하면 정확도 향상\n- 추론에 필요한 정보는 항상 \"전체 문서\"의 5-10%\n\n3) \"같은 가격\"\n- 입력 토큰이 10배 = 비용도 10배\n- 프롬프트 캐싱이 부분적 해결하지만, 일반 사용자는 아직 활용 불가\n\n## 결론\n\n"100만 토큰 처리 가능 = 100만 토큰을 효율적으로 처리 가능"이 아닙니다. 오히려 필요한 정보만 1-5K 토큰으로 압축하는 게 정답. RAG(검색 증강)와 요약이 여전히 필수입니다.\n\n📌 참고: [Google Research - Lost in the Middle](https://arxiv.org/abs/2307.03172)",
"is_free": true
}