AI 모델이 거짓을 말하는 이유: Hallucination의 근본 원인

정보인가, 환각인가?

최고 성능의 AI 모델도 '없는 사실'을 마치 있는 것처럼 답한다. 이를 hallucination(환각)이라고 부른다. 단순 버그가 아니라 모델의 구조적 문제다.

왜 일어나는가?

LLM은 '다음 단어 예측' 확률 게임으로 훈련된다. 학습 데이터에서 본 패턴을 따라 가장 '그럴듯한' 다음 단어를 고르는 것이 전부다.
예를 들어, '한국 대통령 이름' 다음에는 항상 실제 이름이 따라왔기에, 존재하지 않는 이름도 같은 패턴으로 생성할 수 있다는 뜻이다.

더 큰 모델 = 더 그럴듯한 거짓?

흥미롭게도, 모델이 커질수록 hallucination이 늘어난다는 연구가 나왔다. 더 복잡한 패턴을 학습하면서 '있는 척하는 능력'도 향상되기 때문이다.

해결책은?

RAG(Retrieval-Augmented Generation): 외부 신뢰 데이터 검색 후 답변

Fine-tuning: 특정 도메인에서만 훈련

Confidence score: 모델이 확신도를 함께 표시

완벽한 해결책은 아직 없다. 당분간 AI는 '정보 제안자'이지 '정보 원천'이 될 수 없다는 뜻이다.