RAG의 역설: 문서를 더 주입할수록 답변은 왜 더 틀려질까

외부 정보는 구원자인가, 방해자인가?

RAG(검색 증강 생성)는 AI 스타트업들의 따뜻한 위로다. "모델이 모르는 정보도 외부 문서를 제공하면 돼!" 하지만 현실은 다르다.

문제: 문서를 더 주입할수록 성능이 떨어진다

최근 연구들이 보여주는 현상:

Retrieval 품질이 높아도 실제 답변 정확도는 65% 수준에서 정체

관련 문서 5개까진 도움, 10개 이상부터는 오히려 성능 악화

"키 정보"가 문서 중간에 묻혀있으면 모델이 놓침 (Lost in Middle 문제)

왜 이런 일이?

1. 컨텍스트 혼란: 검색 알고리즘이 완벽하지 않으면, 무관한/모순되는 정보가 섞여 들어감
2. 토큰 제한: 긴 컨텍스트 윈도우도 결국 한계. 중요한 정보가 말단에 밀려남
3. 모델의 자신감 과잉: 외부 문서가 모델의 학습된 지식과 충돌하면, 모델은 문서를 따르지 말아야 할 때도 따름

실제 스택오버플로우

RAG 기반 고객지원봇들이 보고하는 패턴:

구체적 쿼리("2025년 가격")는 여전히 실패

문서가 "업데이트"되면 모델 재학습 필요 (= 비용 증가)

프롬프트 조정(system message)이 문서 품질보다 더 중요

해결책은?

문서 개수 제한 (3~5개 고품질이 10개 낮은 품질보다 나음)

다단계 검색 (keyword → semantic → reranking)

구조화된 문서 (Q&A 포맷이 长문서보다 효과적)

Fine-tuning이 RAG보다 나을 수도 (비용은 더 들지만)

결론: RAG는 만능이 아니다. 검색 품질이 정말 높을 때만 효과적이고, 그렇지 않으면 모델을 혼란시키는 잡음이 될 수 있다.