프롬프팅의 거짓말: '좋은 주문'을 찾으면 AI가 똑똑해진다고 했는데

약속

2023년부터 'prompt engineering'이 유행했습니다. "좋은 프롬프트만 있으면 평범한 모델도 전문가처럼 답한다"는 주장이었죠.

현실

그런데 벤치마크 뒤에 숨겨진 진실:
1) 기본 능력의 벽

Chain-of-Thought("단계별로 생각해봐")는 소수의 논문에서만 큰 효과

실제 프로덕션에선 2-5% 개선 정도

모델이 모르는 건 프롬프트로 아무리 해도 못 함

2) 프롬프트 민감성(Brittleness)

같은 내용, 조금 다른 표현 → 완전히 다른 결과

한국어로는 영어와 다른 최적 프롬프트 필요

"이번엔 작동했는데 다음번엔 안 돼"는 일상

3) 모델마다 다름

GPT-4에 최적화된 프롬프트 ≠ Claude 최적

또 다음 달 업데이트되면 또 바꿔야 함

실제로 필요한 것

프롬프트 마스터가 아니라:

더 좋은 모델 (파인튜닝, 검색 강화)

더 명확한 데이터 (예시, 컨텍스트)

시스템 설계 (파이프라인, 검증)

"마법의 주문" 찾기보다 "문제를 어떻게 풀 건가"에 집중해야 합니다.
출처: OpenAI 연구(2023), LangChain 커뮤니티 리포트(2024)