모델 크기의 거짓말: '파라미터가 많을수록 똑똑하다'고 했는데

약속

"더 큰 모델이 더 좋다."
OpenAI에서 GPT-3→GPT-4로 갈 때, Google이 BERT→PaLM으로 갈 때, 모든 AI 회사들이 같은 메시지를 전파했다. 파라미터가 많을수록 더 똑똑한 모델이 된다고.

현실

하지만 2024-2026년의 오픈소스 모델들이 보여준 건 다르다.

1. 크기보다 중요한 것들이 있다

학습 데이터의 질: Llama 3.1과 같은 고품질 데이터로 학습한 8B 모델이, 저품질 데이터로 학습한 70B 모델을 능가한다

학습 방법: DPO, RLHF, 개선된 스케일링 법칙이 단순 크기 증가보다 효과적

아키텍처: 토큰 로우터, 혼합 전문가(MoE) 같은 설계의 중요성

2. "효율적 모델" 시대

Mistral 7B는 Llama 2 13B와 비슷한 성능을 낸다. Phi 같은 소형 언어모델들도 특정 작업에서 대형 모델과 경쟁한다.

3. 비용-성능 트레이드오프

더 큰 모델 = API 비용 증가, 응답 속도 저하. 많은 팀들이 "충분히 똑똑한 작은 모델"을 선택 중이다.

선택의 기준

더 이상 "가장 큰 모델"을 고집할 필요 없다. 작업의 복잡도, 예산, 지연시간 제약을 고려해 정말 필요한 모델을 선택하자.