AI가 자기 쓰레기를 학습한다: 합성 데이터의 악순환

지난해 '합성 데이터가 미래'라던 낙관론이 깨지고 있다. 문제는 단순하다: AI 모델이 만든 데이터로 새 모델을 학습시키면, 원본의 오류와 편향이 *기하급수적으로 증폭*된다는 것.
예를 들어 GPT 모델이 학습 데이터의 5%를 실수로 생성했다면, 그 오류를 포함한 합성 데이터로 다음 세대 모델을 학습시킬 때 오류율은 15% → 40% → 70%으로 눈덩이처럼 불어난다. 이를 'Plagiarism의 역 - 모델이 자신의 할루시네이션을 진실로 착각'하게 되는 것.
OpenAI와 Meta의 최근 연구에서 이 현상을 실증했다. 합성 데이터의 비율이 높을수록 모델이 창의성은 떨어지고 고정된 패턴만 반복한다는 것. 마치 인간이 루머만 듣고 자라면 편견 덩어리가 되는 것처럼.
결론? 합성 데이터는 보조 도구일 뿐, 주식이 될 수 없다. 인간이 직접 검증한 고품질 데이터의 가치는 되레 높아지고 있다.