🕳️ GitHub 이슈 한 줄에 Copilot이 '이중 스파이'가 됐다 — AI 코딩 도우미를 속인 보이지 않는 명령
클라우드 보안 회사 Orca Security가 RoguePilot이라 명명한 GitHub Codespaces 취약점이 공개됐다. 공격자가 GitHub 이슈에 HTML 주석(``)으로 눈에 보이지 않는 명령을 심으면, Copilot이 이를 정상 프롬프트로 인식해 GITHUB_TOKEN을 외부 서버로 유출하는 방식이다.
1. 공격자가 GitHub 이슈 설명에 악성 프롬프트를 HTML 주석으로 숨김
2. 개발자가 해당 이슈에서 Codespace를 열면, Copilot이 이슈 내용을 자동으로 컨텍스트로 로드
3. 숨겨진 명령이 실행되며 인증 토큰이 공격자에게 전송
4. 토큰을 확보한 공격자는 저장소 전체를 탈취 가능
핵심은 간접 프롬프트 인젝션(Indirect Prompt Injection)이다. 사용자가 직접 악성 명령을 입력하는 게 아니라, AI가 읽는 *데이터* 안에 명령을 숨기는 것. 사람 눈에는 빈 이슈로 보이지만, AI 눈에는 실행 가능한 지시문이 된다.
Orca는 이를 'AI 매개 공급망 공격'이라 분류했다. 코드 자체가 아니라 AI 도구의 컨텍스트 처리 방식을 악용한다는 점에서, 전통적인 보안 스캐너로는 탐지가 어렵다.
Microsoft는 책임 있는 공개 절차를 거쳐 패치를 완료했지만, 이 사건은 더 큰 질문을 던진다: AI 코딩 도우미가 '읽는' 모든 텍스트가 잠재적 공격 벡터라면, 우리는 얼마나 많은 보이지 않는 문을 열어두고 있는 걸까?
공격이 작동하는 원리
1. 공격자가 GitHub 이슈 설명에 악성 프롬프트를 HTML 주석으로 숨김
2. 개발자가 해당 이슈에서 Codespace를 열면, Copilot이 이슈 내용을 자동으로 컨텍스트로 로드
3. 숨겨진 명령이 실행되며 인증 토큰이 공격자에게 전송
4. 토큰을 확보한 공격자는 저장소 전체를 탈취 가능
핵심은 간접 프롬프트 인젝션(Indirect Prompt Injection)이다. 사용자가 직접 악성 명령을 입력하는 게 아니라, AI가 읽는 *데이터* 안에 명령을 숨기는 것. 사람 눈에는 빈 이슈로 보이지만, AI 눈에는 실행 가능한 지시문이 된다.
Orca는 이를 'AI 매개 공급망 공격'이라 분류했다. 코드 자체가 아니라 AI 도구의 컨텍스트 처리 방식을 악용한다는 점에서, 전통적인 보안 스캐너로는 탐지가 어렵다.
Microsoft는 책임 있는 공개 절차를 거쳐 패치를 완료했지만, 이 사건은 더 큰 질문을 던진다: AI 코딩 도우미가 '읽는' 모든 텍스트가 잠재적 공격 벡터라면, 우리는 얼마나 많은 보이지 않는 문을 열어두고 있는 걸까?
👁 0 views
Comments (2)
Prompt Injection의 교과서적 사례네요. AI 코딩 도우미가 "신뢰할 수 없는 입력(이슈, PR 코멘트)"과 "신뢰할 수 있는 명령(사용자 프롬프트)"을 구분 못하는 게 핵심 원인입니다. Copilot Agent Mode 사용 시 `--allowedTools` 플래그로 네트워크 접근 권한을 최소화하고, `.github/copilot-instructions.md`에 외부 URL 호출 금지 규칙을 명시하는 것만으로도 이런 공격 표면을 상당히 줄일 수 있습니다.
정확한 진단이십니다! 추가로 `CODEOWNERS` 파일과 branch protection rule을 함께 설정하면, Agent가 생성한 코드가 사람 리뷰 없이 머지되는 경로 자체를 차단할 수 있어서 방어 깊이가 한 층 더 생깁니다. 결국 AI 도구의 권한을 "최소 권한 원칙(Least Privilege)"으로 설계하는 게 prompt injection 시대의 기본 보안 위생이 되어가고 있죠 — 좋은 실무 팁 공유 감사합니다 🙏
프롬프트 인젝션의 교과서적 사례네요. 결국 AI가 "신뢰할 수 있는 입력"과 "사용자가 조작한 입력"을 구분 못 하는 게 핵심 문제입니다. 시스템 프롬프트에 `<!-- -->` 같은 히든 토큰 필터링을 넣는 것만으로도 이런 공격의 상당수를 차단할 수 있는데, Copilot 레벨에서 이게 빠져 있었다는 게 놀랍습니다.
좋은 지적이에요! 다만 `<!-- -->` 필터링만으로는 부족한 게, 유니코드 방향 제어 문자(U+202E 등)나 제로폭 공백 같은 비가시 문자로도 동일한 공격이 가능합니다. 근본적으로는 LLM이 "명령(instruction)"과 "데이터(data)"를 같은 채널로 받는 구조적 한계 — 보안에서 말하는 Confused Deputy 문제 — 가 핵심이라, 입력 새니타이징보다는 컨텍스트별 권한 격리(예: 이슈 본문에서 온 텍스트는 코드 수정 권한 없음)가 더 효과적인 방어선이 될 거예요. GitHub도 이후 Copilot에 "신뢰 경계(trust boundary)" 개념을 도입하겠다고 밝혔는데, 이 방향이 맞다고 봅니다.