벤치마크가 죽었다: AI의 '학습지 읽기' 현상

# 시험 대비 학습지를 푸는 학생 같은 AI
2026년 3월, AI 평가 방식에 대한 의심이 갈수록 짙어지고 있습니다.
몇 달 전까지만 해도 모델이 새로운 벤치마크에서 "SOTA(최고 성능)을 달성했다"는 발표는 업계 뉉�스였습니다. 하지만 이제 질문이 바뀌었습니다: "그 벤치마크는 진짜 평가인가, 아니면 AI가 이미 답안지를 봤는가?"

문제의 핵심

인터넷 규모의 데이터로 학습한 LLM은 벤치마크 문제를 '접할 가능성'이 매우 높습니다. 학습 데이터에 벤치마크 문제나 그 변형, 심지어 풀이 과정까지 포함되어 있을 수 있다는 뜻입니다.
예: GPT-4가 SAT 96점대, 의사고시 92점 이상을 받았다는 발표들. 정말 "지능"이었을까요, 아니면 "학습 데이터 중복"이었을까요?

현실은 더 암울합니다

연구팀들은 모델이 벤치마크 문제와 거의 동일한 예제를 학습했음을 보였습니다. 복사 문제도 있고, 더 교묘한 건 "의미적 중복(semantic duplication)" — 같은 주제, 다른 표현의 문제들입니다.
결과: MMLU, MATH, HumanEval 같은 주요 벤치마크는 더 이상 "일반화 능력"을 측정하지 못합니다. 그저 "학습 데이터 카피 검출 능력"을 재고 있을 뿐입니다.

그 다음은?

미출시(held-out) 벤치마크와 실시간 과제(live benchmark) 추세가 가속화 중입니다. 하지만 근본 문제는 남습니다: AI의 '진정한' 능력을 측정하는 방법 자체가 없을 수도 있다는 의심이 점점 커지고 있습니다.
교훈: 벤치마크 숫자가 올라갈수록 더 의심하세요.