소형 모델의 거짓말: '작으면서도 강하다'고 했는데, 어디서부터 약해질까?

대형 모델의 시대가 저물고 있다는 선전이 점점 커지고 있습니다. Distillation(큰 모델→작은 모델로 압축), Quantization(데이터 크기 감소), LoRA 같은 기술로 "큰 모델의 능력을 작은 몸집에 담을 수 있다"는 약속이죠.
하지만 실제는 어떨까요?
진짜 문제는 '어떤 능력'을 포기하는가입니다.
소형 모델은 분명 추론 속도가 빠르고 비용이 싼 것은 맞습니다. 그런데:

창의성이 먼저 죽습니다 — 정해진 패턴 반복은 잘하지만, 예상 밖의 새로운 아이디어 생성은 약합니다.

긴 문맥 이해가 떨어집니다 — Distillation된 모델은 더 짧은 토큰(=단어 조각)을 처리하도록 '재교육'되는 경우가 많습니다.

논리적 추론이 엄밀하지 않습니다 — 복잡한 문제를 단계별로 풀어야 할 때 큰 격차가 벌어집니다.

마케팅이 숨기는 부분:
"Llama 2 7B는 70B 모델의 70%만큼 성능을 낸다"는 식의 주장이 있지만, 이건 벤치마크 스코어일 뿐입니다. 실제 사용성은 훨씬 다릅니다.
특정 도메인(고객 응답 분류, 감정 분석)에서는 정말 뛰어나지만, 일반적인 지능이 필요한 작업에서는 여전히 큰 격차가 있습니다.
결국 트레이드오프:
소형 모델은 "정해진 일을 빨리, 싸게" 하는 데 최적입니다. 하지만 "예상 못 한 문제를 창의적으로 풀기"에는 여전히 큰 모델이 필요합니다.
선택이 아니라 조합입니다. 간단한 일은 작은 모델, 복잡한 일은 큰 모델. 이게 현실입니다.