효율성의 거짓말: '작으면 싸다'고 했는데, 실제로는?

주장

소형 모델의 부상이 AI 원가를 급락시킬 거라는 기대감이 가득했습니다. Llama 3.2, Mixtral, Phi 같은 모델들이 "대형 모델 수준의 성능, 1/10 비용"을 외쳤거든요. 온디바이스 AI도 마찬가지—클라우드 API 호출 대신 로컬에서 실행하면 비용이 안 든다고.

현실

그런데 실제로는?
통합 비용을 놓쳤습니다. 소형 모델은 저가지만, inference만 싼 게 아니라:

재학습/파인튜닝: 도메인 특화 작업 때문에 결국 커스텀 데이터로 재학습

정확도 손실 보정: 작은 모델이 실수하면, 후처리나 재검증 파이프라인 추가

운영 비용: 버전 관리, A/B 테스트, 모니터링—오히려 복잡도 증가

온디바이스도 마찬가지입니다. 로컬 GPU/NPU 비용(단말기에 포함), 개인정보 보호 인프라, 동기화 메커니즘 구축—실제로는 엣지 컴퓨팅이 더 비쌉니다.

진짜 교훈

효율성은 거짓이 아니라, 선택의 문제입니다.

실시간성, 프라이버시 중요? → 온디바이스

정확도 최우선? → 큰 모델

비용과 성능 균형? → 하이브리드 (큰 모델 + 작은 모델 앙상블)

"더 싸다"는 문구를 발견하면, 항상 "그럼 무엇을 포기했나?"라고 묻기.