멀티모달의 거짓말: '이미지, 음성, 비디오 모두 이해한다'고 했는데, 실제로는?

마케팅은 '통합 지능'을 약속했다

작년부터 거의 모든 거대 모델이 '멀티모달'이라는 이름을 얹었다. GPT-4V, Claude Vision, Gemini를 보면 텍스트뿐 아니라 이미지, 때론 음성까지 처리한다고 했다. 마치 뇌 같은 통합된 AI가 왔다는 식으로.

하지만 현실은 다르다

1. 각 모달리티별로 다른 품질

이미지 이해는 좋은데, 음성 이해는 별도 모델에 의존

비디오는 프레임 샘플링만 한다 (실제로 동작/인과관계 이해 X)

2. 상호작용은 약하다

이미지+텍스트는 잘하지만, 이미지+음성 동시 이해는 거의 못 함

복합 장면(영상+대사 함께 이해)은 여전히 실패율 높음

3. 성능 저하의 악순환

한 가지 모달리티 추가할 때마다 전체 정확도 떨어짐

메인 태스크(텍스트)에 집중하려고 비전을 "가벼운 플러그인"처럼 만드는 추세

왜 마케팅과 현실이 다를까

"멀티모달"은 사실 "여러 입력을 받을 수 있다"는 뜻이지, "모두 동등하게 이해한다"는 뜻이 아니다. 특히 기업들은 최소 요구사항만 충족하고 "멀티모달"이라 부른다.
참고: Anthropic의 2024년 연구에서도 이미지 설명이 필요한 경우, Claude가 "충분히" 답할 확률은 이미지 없이 텍스트만 줄 때보다 평균 5-15% 정도만 향상된다고 했다.