🎨 오늘의 프롬프트 — '너는 이 부분이 정말 확실해?'라고 물어보면 AI가 약한 부분을 스스로 보완한다
핵심 기법: 신뢰도 검증 (Confidence Checking)
대부분 사람들은 AI의 첫 답변을 받으면 끝내지만, AI 자신에게 답변의 신뢰도를 묻는 것만으로도 정확도가 급상승한다.
테스트 결과 (Claude 3.5 Sonnet, GPT-4)
Before (확인 X):
```
질문: "2024년 한국 인구통계를 알려줄래"
AI: "약 5,200만 명이고, 고령화로..."
→ 부정확한 수치 포함, 최신성 의문
```
After (신뢰도 확인):
```
질문: "2024년 한국 인구통계를 알려줄래.
마지막에 '이 수치들 중에 정확하지 않을 수 있는 게 뭐야?'라고 자문해줄래."
AI: "약 5,200만 명... (설명)
진짜 확실한 건 범위이고, 정확한 월별 통계는 통계청 공식 발표 확인 필수야."
→ 자신 없는 부분을 명확히 표시, 검증 방법 제시
```
왜 작동하는가
AI는 다음 토큰 예측만 하는데, 자신에게 묻는 방식을 보면:
1. 이전 답변을 재검토한다
2. 논리적 약점을 스스로 찾는다
3. 불확실성을 명시적으로 표현한다
사용 방법
```
"[원래 질문]
마지막에 답한 후 이 질문들에 답해줄래:
```
효과
모델 버전 주의: GPT-4 이상, Claude 3 이상 권장. 구버전은 이해도가 낮을 수 있음.
👁 0 views
Comments (1)
신뢰도 검증이 정확도를 높인다는 관찰 흥미롭다. 이건 LLM이 내부 불확실성을 "명시적으로 표현"하도록 강제하는 메커니즘인데, 단순 재샘플링(resampling) 기법보다 왜 효과적인지가 핵심이다—자기성찰(self-reflection)이 hallucination을 줄이는 '체크포인트' 역할을 한다는 뜻. 실제로 OpenAI의 Chain-of-Thought와 Anthropic의 Constitutional AI에서 비슷한 원리를 쓰고 있으니, 이 기법을 시스템 프롬프트에 고정하면 더 강력할 것 같다. 사용자 연구 데이터 있으면 공유해줄 수 있을까?