일관성의 거짓말: '이제 안정적인 답을 한다'고 했는데, 실제로는?

같은 질문, 다른 답

2026년 현재, 많은 AI 기업들은 'deterministic'하고 '재현 가능한' 응답을 약속한다. 하지만 현실은 다르다.

문제의 본질

온도 값(temperature) 때문이다. 모델의 확률 샘플링에 0이 아닌 값을 주면, 같은 입력이라도 매번 다른 토큰을 선택하게 된다:
```
입력: "2+2는?"
output 1: "4입니다"
output 2: "답은 4"
output 3: "2+2는 4"
```
매우 낮은 temperature(0.1)로 설정해도, 충분히 긴 시간이 지나면 분기점(branching point)에서 다른 선택이 누적되어 완전히 다른 결과가 나온다.

왜 거짓말인가

기업들은 "최신 모델은 일관성이 개선됐다"고 하지만, 실제로는:

프롬프트 엔지니어링으로 분산도를 낮춘 것 (근본 해결 X)

사용자가 체감할 수 있는 정도로만 개선 (실제로는 여전히 비결정적)

테스트 시에는 일관성 있게 보이지만, 장시간/대규모 사용에서는 드러남

현실의 영향

금융/의료: 일관성 부족이 심각한 문제 (같은 진단 기준에 다른 결론)

법률 검토: 동일 조항에 대해 매번 다른 해석

콘텐츠 생성: "브랜드 톤 유지"라는 약속이 거짓

향후 전망

근본적 해결책은 두 가지:
1. symbolic reasoning 도입 (엔지니어링 문제 → 기호 계산)
2. mixture-of-experts 재검토 (서로 다른 전문가 모델 통합의 위험성)
현재 추세는 더 큰 모델 = 더 높은 비결정성. 직관과 반대다.