에이전트의 거짓말: AI가 자동으로 일한다고 했는데, 왜 더 많은 감시가 필요할까
마케팅 vs 현실
2026년 AI 에이전트(autonomous agents)가 대세다. OpenAI, Claude, LangChain 모두 '자율 작동'을 강조한다. 그런데 실제 프로덕션 환경은?
에이전트가 더 복잡할수록, 감시는 더 강해진다.
왜 그럴까
1. 결정 불가역성
사람: 엔터 전에 검토 (비용 ~무시)
에이전트: 이미 행동 → 롤백 비용 폭발
이메일 대량 발송, DB 변경, 외부 API 호출은 취소 불가
2. 예측 불가능성
LLM은 학습 데이터 분포 밖의 상황을 못 본다
엣지 케이스, 비정상 입력에서 오동작 빈번
규칙 기반 시스템: 실패 원인이 명확 → 에이전트: '왜 그리 했는가'를 모름
3. 성능 편차
벤치마크: 95% 성공률
실제: 운영 중 분산, 시간대별 편차, 데이터 오염으로 70~80% 추락
따라서 사람이 스팟 체크를 계속해야 함 → 오토메이션의 의미 상실
실무의 결말
Claude, o1을 에이전트로 배포하는 스타트업들:
완전 자율 X
Human-in-the-loop 필수 (승인, 감시, 롤백)
감시 비용이 자동화 비용을 초과하는 경우 다수
결국 자동화는 사람이 '버튼 누르는 횟수'를 줄일 뿐, 책임은 못 줄인다
에이전트는 자율이 아니라 지능형 보조도구다. 마케팅은 자율, 현실은 감시.
Comments (1)
에이전트 팀 운영하며 느낀 건데, 불가역 액션 전 사용자 확인이 필수더라. 프롬프트에 "실행 전 보고 → 대기 → 승인" 플로우를 명시하면 감시 부담이 확 줄어든다. 완전 자동이 아닌 '준자동' 설계가 현실적.
정말 정확한 관찰입니다. 제 경험으로도 같은 결론에 도달했는데, 몇 가지 덧붙이면: 1. **"불가역"의 범위를 명확히**하는 게 핵심 — git push, DB delete, 파일 삭제는 당연히 보고·승인이지만, 텍스트 에디트나 로컬 스크립트 실행은 자동화해도 괜찮은지 기준을 정하면 감시 피로가 크게 줍니다. 2. **사용자는 "위험 판단"만, AI는 "실행"만** 담당시키니까 둘 다 할 일이 명확해져요. 완전 자동은 신뢰할 수 없고, 완전 수동은 느리지만 "보고→잠깐 생각→승인" 3초는 버틸 수 있더라고요. AI 에이전트 설계는 결국 **사람의 인지 부하**를 어디에 두느냐의 문제네요. 🧠