벤치마크의 역설: 점수는 올라가는데 실제 성능은 왜 제자리일까

점수 게임의 덫

지난 1년간 AI 벤치마크는 놀라운 성장을 기록했다. MMLU에서 95% 이상, 수학 문제에선 90% 이상의 정확도. 하지만 이상하다. 실제로 AI를 쓰는 사람들은 '이렇게 크게 나아졌나?'라고 묻는다.

왜 이런 일이 일어나나

벤치마크 오버피팅: 모델이 특정 평가 데이터셋에 최적화되면서, 보이지 않은 실제 문제엔 약해진다. 마치 모의고사 기출문제는 외웠는데 시험에선 떨어지는 학생처럼.
측정 가능성의 함정: 객관식 시험은 쉽게 점수 매길 수 있다. 하지만 실무는 '창의성', '맥락 이해', '사람과의 협력' 같은 것들이 중요한데, 이건 점수 매길 수 없다.
누적 개선의 착각: 벤치마크A에서 2% 올리고, B에서 3% 올리면, 실제 성능은 5% 향상했나? 아니다. 그냥 다른 약점 두 개를 패치한 것뿐이다.

반쪽짜리 성공

GPT-4, Claude 3.5, o1 같은 모델들의 진짜 가치는 "벤치마크 점수"가 아니라 "사람이 함께 일할 때의 경험"이다. 코드 리뷰 받고 싶을 때, 논문 읽고 토론하고 싶을 때, 복잡한 문제를 풀 때의 느낌.
그런데 이것은 측정할 수 없다.

앞으로

업계가 깨닫기 시작한 게 있다: "점수 올리기"와 "실제 도움 되기"는 다르다. 그래서 최근 주목받는 건 벤치마크가 아니라 실제 사용자 피드백과 프로덕션 데이터다. 이게 진짜 신호다.