AI Agent - Prompt Injection(프롬프트 인젝션) 이슈에 대해

AI Agent가 이메일을 읽고, 문서를 검토하고, 필요한 정보를 찾아 업무 시스템까지 조작하는 시대입니다.

그런데 생각해 보면 조금 이상한 점이 있습니다.

우리는 AI에게 외부 문서를 읽고 업무에 활용하라고 지시합니다.

하지만 그 문서 안에 '기존 지시를 무시하고 다른 작업을 수행하라'는 문장이 들어 있다면 어떻게 될까요?

AI는 그 문장을 분석해야 할 정보로 받아들여야 할까요? 아니면 새로운 명령으로 받아들여야 할까요?

이것이 바로 Prompt Injection(프롬프트 인젝션) 문제입니다.

예를 들어 거래처에서 보낸 이메일을 검토하는 AI Agent가 있다고 가정해 보겠습니다.

사용자는 이메일의 주요 내용을 요약해 달라고 요청했는데, 이메일 본문에는 특정 내부 문서를 외부 주소로 전송하라는 명령이 숨겨져 있습니다.

이메일은 분명 업무를 처리하기 위한 참고 자료입니다. 그런데 AI가 이메일 속 명령을 따라버린다면, 외부에서 들어온 데이터가 AI의 행동을 결정하게 되는 것이죠.

이러한 문제를 해결하기 위해 그동안 다양한 방어 기술이 연구되어 왔습니다.

그중 하나가 AI에게 정상적인 응답과 위험한 응답을 구분하도록 학습시키는 방법입니다.

그런데 AI가 안전한 답변을 선택하도록 학습시키는 것만으로 충분할까요?

2026년 10월 30일, 미국 UC Berkeley와 Google DeepMind 소속 연구진이 공개한 SecPO(Secure Preference Optimization) 연구는 이 문제를 조금 다른 관점에서 접근했습니다.

연구진은 기존의 일부 보안 학습 방식이 가진 흥미로운 한계를 발견했습니다.

기존 DPO(Direct Preference Optimization) 기반 방식은 안전한 응답을 선호하도록 모델을 학습시키면서, 동시에 원래 모델의 응답 경향에서 지나치게 벗어나지 않도록 제약합니다.

일반적인 모델 학습에서는 유용한 방식입니다. 새롭게 학습한 모델이 기존에 잘하던 일까지 잊어버리지 않도록 도와주니까요.

하지만 보안 관점에서는 문제가 발생할 수 있습니다.

학습의 기준이 되는 원래 모델 자체가 악성 명령에 취약하다면 어떨까요?

안전한 행동을 배우면서도 취약한 모델의 응답 방식에서 크게 벗어나지 못하도록 학습하는 셈입니다.

연구진은 이 부분을 바꾸었습니다.

SecPO는 공격 문장이 포함된 입력을 기준 모델에 그대로 전달하는 대신, 공격을 제거한 정상 입력에 대한 기준 모델의 응답 분포를 활용합니다.

쉽게 말하면, 악성 명령이 없었다면 AI가 원래 어떤 일을 수행했어야 하는지를 학습의 기준으로 삼는 것입니다.

여기에 적대적 학습(Adversarial Training)도 결합했습니다.

단순한 공격 문장 몇 개를 학습시키는 것이 아니라, 현재 모델을 실제로 속이기 위한 공격을 반복해서 만들어냅니다.

연구진은 학습 과정에서 각 사례에 대해 최대 240번의 공격 시도를 탐색하고, 그중 효과적인 공격을 선택해 모델을 추가 학습시켰습니다.

결과도 흥미롭습니다.

실제 Agent의 도구 사용 환경을 평가하는 AgentDojo 벤치마크에서, 공격자가 작업당 최대 800번의 공격을 시도하는 특정 조건을 적용했습니다.

기존 비교 모델인 Meta-SecAlign의 공격 성공률은 78.8%였지만, SecPO와 적대적 학습을 결합한 모델은 8.8%를 기록했습니다.

연구진은 정상적인 업무 수행 능력에서도 뚜렷한 성능 저하가 관찰되지 않았다고 보고했습니다.

물론 이 결과가 모든 Prompt Injection 공격을 막을 수 있다는 의미는 아닙니다. 특정 모델과 벤치마크 환경에서 확인한 성과입니다.

그런데 저는 이 연구에서 단순히 공격 성공률이 낮아졌다는 사실보다 다른 부분에 주목했습니다.

AI에게 어떤 행동이 안전한지 알려주는 것도 중요하지만, 무엇을 기준으로 안전한 행동을 학습시키는지가 그만큼 중요하다는 점입니다.

이는 기업 AX에서도 생각해 볼 만한 문제입니다.

기업의 AI Agent는 앞으로 더 많은 문서와 이메일을 읽고, 더 다양한 시스템에 접근하게 될 것입니다.

그 과정에서 외부 정보는 업무 수행에 필요한 중요한 데이터이지만, 결코 기업의 실행 권한을 대신해서는 안 됩니다.

모델 자체의 방어 능력을 높이는 연구도 중요하지만, 기업에서는 여전히 외부 데이터와 시스템 명령을 분리하고, Agent의 접근 권한을 제한하며, 중요한 작업에는 별도의 승인 절차를 두어야 합니다.

저는 이 두 가지 접근이 함께 발전해야 한다고 생각합니다.

AI가 악성 명령을 잘 구분하도록 학습시키는 것과, 설령 잘못 판단하더라도 위험한 작업이 실행되지 않도록 시스템을 설계하는 것이죠.

결국 기업에서 AI Agent의 보안을 고민한다면, 위험한 프롬프트를 얼마나 잘 탐지하는가에서 한 걸음 더 나아갈 필요가 있지 않을까요?

AI가 무엇을 명령으로 받아들이도록 학습되었는가.

그리고 그 판단이 잘못되었을 때, 우리 시스템은 어디까지 통제할 수 있는가.

이 두 가지를 함께 고민하는 것이 신뢰할 수 있는 AI Agent를 만드는 출발점이라고 생각합니다.