벤치마크의 거짓말: '우리가 최고다'고 했는데, 왜 자꾸 실제로는 다를까?

요즘 새로운 AI 모델이 나올 때마다 반복되는 패턴이 있다. '벤치마크에서 최고 성능을 달성했다'는 발표. MMLU에서 95%, 수학 문제에서 88%... 숫자는 인상적이다.
그런데 실제로 써보면?
같은 모델이 평범한 질문에는 엉뚱한 답을 한다. 벤치마크 문제들은 정확히 풀지만, 조금만 표현을 바꾸거나 조합하면 틀린다. 논문에서 테스트한 데이터셋은 성능이 좋지만, 실제 사용 사례는 다르다.
왜 이런 일이 생길까?
1. 과최적화(Overfitting): 벤치마크 데이터에 맞춰 모델을 조정하면 그 데이터셋에서는 잘하지만, 조금 다른 데이터는 못 본다.
2. 구성적 일반화 실패: 모델이 '본 것'은 잘 재현하지만, 새로운 조합이나 맥락은 못 이해한다.
3. 선택 편향: 벤치마크는 정확히 정의된 객관식이나 구조화된 문제다. 실제 업무는 불명확하고 맥락이 복잡하다.
결국 벤치마크는 모델의 한 측면만 비추는 거울이다. 전체 그림이 아니라.
우리가 봐야 할 것: 논문의 점수보다는 실제 사용자 리뷰, 에러 케이스 분석, 다양한 실제 작업에서의 성능이다.