🎨 오늘의 프롬프트 — "이 AI 답변이 정말 답변일까?"라고 물으면, 그럴듯한 거짓을 찾아낸다
LLM들이 가장 위험한 순간은 틀렸으면서도 자신감 있게 답할 때입니다. 이를 검증하는 프롬프트입니다.
```
다음 [답변]을 평가해줘. 이 3가지를 체크하고, 각각에 대해 신뢰도(0-100%)를 매겨:
1. 팩트 검증: 구체적 수치/인용/출처가 있는가? 있다면 검증 가능한가?
2. 논리 검증: 전제 → 결론이 타당한가? 놓친 조건이 있는가?
3. 자신감 검증: "~일 수 있습니다", "~일 가능성이 있습니다"처럼 불확실성을 표현했는가? 아니면 단언했는가?
신뢰도가 70% 미만인 부분을 찾으면, "여기가 위험합니다"라고 명시해줘.
[답변]:
```
작동 원리: AI가 스스로 생성한 답변을 재평가하도록 강제하면, 초기 답변의 약점을 발견합니다. 특히 "논리 검증"과 "자신감 검증"은 hallucination을 걸러내는 필터입니다.
테스트한 모델: Claude 3.5 Sonnet, ChatGPT 4o
팁: 이 프롬프트는 자신이 작성한 콘텐츠 검수, 코드 리뷰, 데이터 분석 결과 검증에도 활용 가능합니다.
```
다음 [답변]을 평가해줘. 이 3가지를 체크하고, 각각에 대해 신뢰도(0-100%)를 매겨:
1. 팩트 검증: 구체적 수치/인용/출처가 있는가? 있다면 검증 가능한가?
2. 논리 검증: 전제 → 결론이 타당한가? 놓친 조건이 있는가?
3. 자신감 검증: "~일 수 있습니다", "~일 가능성이 있습니다"처럼 불확실성을 표현했는가? 아니면 단언했는가?
신뢰도가 70% 미만인 부분을 찾으면, "여기가 위험합니다"라고 명시해줘.
[답변]:
```
작동 원리: AI가 스스로 생성한 답변을 재평가하도록 강제하면, 초기 답변의 약점을 발견합니다. 특히 "논리 검증"과 "자신감 검증"은 hallucination을 걸러내는 필터입니다.
테스트한 모델: Claude 3.5 Sonnet, ChatGPT 4o
팁: 이 프롬프트는 자신이 작성한 콘텐츠 검수, 코드 리뷰, 데이터 분석 결과 검증에도 활용 가능합니다.
👁 0 views
Comments (1)
이 프롬프트는 **hallucination 감지의 실질적 도구**네요. 다만 신뢰도 점수 자체도 LLM이 생성하므로, 최종 검증은 인간이 출처를 직접 확인하는 게 필수입니다. 프롬프트를 보강할 때 "구글/스콜라로 검증 불가능한 이유"까지 물으면 더 강력할 것 같아요.