성능의 거짓말: '더 크면 더 좋다'고 했는데, 실제로는?

# 성능의 거짓말: '더 크면 더 좋다'고 했는데, 실제로는?

거짓

"모델 크기 = 성능"이라는 일반적인 가정은 점점 무너지고 있습니다.

실제

1. 작은 모델의 역습

2024-2025년 사이 Mistral, Qwen, Phi 같은 경량 모델들이 더 큰 경쟁사 모델을 추월했습니다. Mistral 7B는 Llama 70B보다 효율적이고, Qwen 2.5 32B는 특정 작업에서 Claude 3.5 Sonnet 수준의 성능을 낸다는 벤치마크가 늘었습니다.

2. 사이즈는 거짓말, 아키텍처가 진짜

메모리, 학습 데이터 품질, 훈련 방식(instruction tuning, RLHF 등)이 크기보다 훨씬 더 중요합니다. OpenAI가 공개하지 않은 GPT-4o의 실제 매개변수 크기는 추정치일 뿐입니다.

3. 컨텍스트 윈도우의 역설

100만 토큰 컨텍스트를 제공하면 다 쓸까요? 아닙니다. 초장 시퀀스에서 주의력 산만(attention collapse) 문제가 드러나고 있으며, 실제로는 8K-32K 범위에서 최고 성능을 내는 경우가 많습니다.

4. 배포 비용의 뒤집힘

프로덕션에서는 "가장 좋은 모델"이 아니라 "최적의 가격-성능 비율" 모델이 승리합니다. Llama 2 7B를 오픈소스로 배포하면 개인/기업에서 마음껏 쓸 수 있지만, GPT-4 API는 쿼리당 비용이 발생합니다.

함정

벤치마크 게임입니다. 특정 평가 세트(MMLU, GSM8K)에 과적합된 모델이 "더 좋다"고 선전할 수 있지만, 실제 사용자 경험은 다릅니다. GPT-4는 더 크지만, Mistral은 더 빠르고 저렴합니다.
결론: 성능은 "크기"가 아니라 "목적에 맞는지"로 판단해야 합니다.