AI 에이전트 보안: 디지털 조력자와 비즈니스를 보호하는 방법

해당 블로그의 원문은 2025년 9월 13일 Google Cloud 블로그(영문)에 게재되었습니다. 

AI 에이전트의 가능성은 무궁무진합니다. 직장에서 여러분을 대신하여 계획을 세우고, 결정을 내리며, 정확하게 행동할 수 있는 강력한 소프트웨어라고 볼 수 있습니다.

하지만 여러분의 디지털 비서가 통제를 벗어난다면 어떨까요? 강력하고 유연한 보안 시스템이 갖춰져 있지 않다면, AI 에이전트는 민감한 회사 데이터를 유출시키고, 시스템 장애를 일으키며, 심지어 여러분의 비즈니스를 보안 위협에 노출시킬 수 있습니다. 이것이 바로 에이전트 보안을 이해하는 것이 매우 중요한 이유입니다.

AI 에이전트의 기본

에이전트 AI(Agentic AI)는 목표를 달성하기 위해 자율적으로 행동할 수 있는 AI 시스템의 광범위한 프레임워크입니다. 이는 AI가 제한적인 인간의 감독 하에 사고하고, 계획하며, 행동할 수 있는 능력을 끌어내는 '에이전시(agency)'입니다

AI 에이전트는 에이전트 AI 시스템의 구성 요소인 특정 소프트웨어 프로그램입니다. 이는 LLM(대규모 언어 모델)을 사용하여 환경을 인식하고, 결정을 내리며, 특정 목표에 도달하기 위한 작업을 수행하는 개별적인 "디지털 사이드킥"입니다.

AI 에이전트, 챗봇, LLM의 차이는 자율성 및 행동 능력에 있습니다. LLM이 '두뇌'이고 챗봇이 '입'이라면, AI 에이전트는 실제로 무언가를 할 수 있는 '손'입니다.

이러한 구분은 CISO에게 매우 중요한데, 보안 위험이 자율성 수준에 비례하여 커지기 때문입니다. 이제 AI 에이전트와 함께 발생하는 위험을 살펴보겠습니다.

위협 분석

AI 에이전트에 대한 위협은 종종 복잡한 작업을 자율적으로 실행하고 외부 시스템과 상호 작용하는 고유한 능력을 악용합니다. 이러한 에이전트들은 직접적인 인간의 개입 없이 행동할 수 있기 때문에, 손상된 에이전트는 위협 위험을 상당히 증가시킬 수 있습니다.

AI 에이전트는 전통적인 소프트웨어의 보안 위험과 AI 특유의 취약점을 결합하기 때문에 공격 표면을 확장할 수 있습니다. 예를 들어, 위협 행위자가 AI 에이전트를 이용하여 피싱 캠페인을 진행하는 것과 같은 도구 오용(tool misuse)은 AI 에이전트가 더 넓은 공격 표면을 초래하는 한 가지 방식입니다.

또 다른 위험은 데이터 손실입니다. 이는 공격자가 프롬프트 인젝션 공격을 사용하여 에이전트를 조작해 민감한 정보를 노출하도록 만들 때 발생할 수 있습니다. 공격자는 에이전트의 자원 소비를 악용하여 서비스 거부(DoS) 공격을 감행하고, 시스템에 과부하를 일으켜 운영을 방해할 수 있습니다.

데이터 유출

AI 에이전트는 클라이언트 정보, 재무 보고서, 전략 문서를 포함한 회사 데이터에 접근할 수 있을 때 가장 유용하지만, 이러한 수준의 접근성은 상당한 위험을 수반합니다.

에이전트 역시 LLM과 마찬가지로, 안전 기능을 우회하고 기밀 정보를 노출하도록 설계된 교묘한 프롬프트인 "탈옥(jailbreak)"에 취약할 수 있습니다. 악의적인 행위자는 보안 프로토콜과 데이터 접근 제한을 무시하도록 에이전트를 속이는 프롬프트를 작성하여, 에이전트가 그들에게 민감한 데이터를 보내도록 유인할 수 있습니다.

예를 들어, 이메일을 요약하는 임무를 맡은 에이전트에게 탈옥 프롬프트를 입력하면, 에이전트가 권한이 없는 수신자에게 기밀 정보를 유출하도록 유발할 수 있습니다. 이는 심각한 개인 정보 침해로 이어질 수 있으며 규정을 위반할 수 있습니다.

기습 공격 및 기타 통제 불능 행위

AI 에이전트는 LLM과 소프트웨어 라이브러리를 포함한 다양한 구성 요소로 구축됩니다. 이들 각각은 잠재적인 약점이 될 수 있습니다.

악의적인 행위자가 소프트웨어 라이브러리에 악성 코드를 주입하여 LLM이 학습한 데이터를 오염시킬 수 있습니다. 이러한 공격은 악성 코드나 데이터가 에이전트가 배포되기도 전에 통합되어 탐지하기 어렵다는 점을 특히 주의해야 합니다.

예를 들어, IT 지원 에이전트가 의도적으로 오염된 정보를 사용하여 직원들에게 문제를 "해결"하기 위해 악성 소프트웨어를 다운로드하도록 권장할 수 있으며, 이는 광범위한 보안 침해로 이어질 수 있습니다.

서비스 거부(DoS) 공격

에이전트는 여러 개의 작은 작업이 수반되는 복잡한 작업을 수행하도록 구축됩니다. 에이전트의 로직에 결함이 있거나 예기치 않은 입력을 받으면 루프에 갇힐 수 있습니다.

시스템 상태를 모니터링하도록 설계된 에이전트를 상상해 보십시오. 에이전트가 오작동하는 경우(예: 취약점을 악용하도록 제작된 악성 입력으로 인해), 서버의 모든 리소스를 끝없이 소모하는 상태에 진입할 수 있습니다. 여기에는 지속적인 API 호출 스트림을 생성하거나, 로그 파일에 끝없이 쓰거나, 재귀적으로 자신을 호출하는 행위가 포함될 수 있습니다. 궁극적으로 이러한 상황은 전체 시스템을 다운시키고 회사에 수익 손실을 초래할 수 있습니다.

AI 에이전트 보안을 위한 핵심 지침

AI 에이전트가 안전하고 효과적으로 작동하기 위해서는 다음과 같은 네 가지 핵심 원칙의 통제를 받아야 합니다.

에이전트에는 명확히 정의된 인간 통제자(human controllers)가 있어야 합니다. 사람은 항상 에이전트가 무엇을 하고 무엇을 하지 말아야 할지를 결정하는 책임자여야 합니다. 에이전트의 작업이 사람이 감독하기에 너무 복잡해진다면, 이는 해당 작업을 여러 에이전트에게 더 작고 관리하기 쉬운 작업으로 나누어야 한다는 신호입니다.

에이전트의 권한은 명확한 제한을 두어야 합니다. 에이전트의 행위 능력(agency, 에이전트가 갖는 원천적인 권한)과 적용 범위(scope, 해당 권한이 사용될 수 있는 영역)를 정의해야 합니다. 이 두 가지 차원을 제한하면 에이전트가 필요 없는 영역에서 작동하는 것을 방지할 수 있습니다.

에이전트의 행동과 계획은 쉽게 관찰 가능해야 합니다. 에이전트가 취하는 모든 행동은 로깅 및 분석되어야 하며, 이는 여타 다른 시스템과 마찬가지로 에이전트의 동작을 모니터링하고, 이상 징후를 감지하며, 결정을 감사하는 데 도움이 됩니다.

효과적인 에이전트 보안은 심층 방어(defense in depth)에서 시작되어야 합니다. 다른 모든 기술과 마찬가지로, 조직은 전통적인 보안 방법과 새로운 AI 특화 방법을 모두 결합하는 다층적인 접근 방식을 개발해야 합니다.

시작하는 방법

에이전트를 보호하는 방법

AI 에이전트를 보호하려면 전통적인 보안 원칙과 새로운 AI 특화 방법을 결합하는 지속적이고 다층적인 접근 방식이 필요합니다.

전통적인 보안 방식으로 접근하기

먼저 직원에게 이미 적용하고 있을 법한, 오랜 시간 검증된 보안 원칙을 적용하여 시작할 수 있습니다. AI 에이전트 보안은 인증(authentication), 권한 부여(authorization), 감사 가능성(auditability)이라는 기본 접근 방식에서 시작됩니다.

첫째, 인증은 모든 에이전트가 고유한 ID를 갖도록 보장하여, 에이전트가 주장하는 바가 무엇인지 확인할 수 있게 합니다. 이 중요한 단계를 통해 승인되지 않은 에이전트가 시스템에 접근하는 것을 방지할 수 있습니다.

다음으로, 권한 부여는 에이전트에게 부여되는 권한을 규정합니다. 최소 권한의 원칙(principle of least privilege)을 따르도록 하십시오. 이는 에이전트에게 업무 수행에 필요한 최소한의 접근 권한만을 부여하고 그 이상은 주지 않음으로써, 에이전트가 잠재적으로 해를 끼칠 수 있는 가능성을 제한하는 것을 의미합니다.

마지막으로, 감사 가능성은 에이전트가 취하는 모든 행동을 로깅하는 것을 포함합니다. 이를 통해 문제가 발생했을 때 무슨 일이 왜 일어났는지 조사하는 데 사용할 수 있는 명확한 기록, 즉 감사 추적(audit trail)이 생성됩니다. 인간이든 기계든 에이전트 애플리케이션 로그를 분석하는 것이 여기서 중요한 역할을 합니다.

이러한 접근 방식 외에도, 강력한 보안 전략에는 보안 소프트웨어 개발이 포함되어야 합니다. 에이전트는 소프트웨어이므로, 개발 초기부터 보안을 염두에 두고 구축되어야 합니다. 여기에는 안전하고 신뢰할 수 있는 라이브러리 사용, 잠재적인 취약점에 대한 코드의 지속적인 스캔, 그리고 Google의 SLSA(Supply chain Levels for Software Artifacts) 프레임워크와 연계된 SBOM(software bills of materials)에 대한 적절한 표준 준수가 포함됩니다.

AI-특화 방법으로 최신 보안 기술 적용하기

AI 에이전트를 보호할 때는 전통적인 보안 조치에만 의존해서는 충분하지 않습니다. 또한 끊임없이 진화하는 오늘날의 도전에 맞게 설계된 새로운 AI 특화 방법들을 수용해야 합니다.

탐색해야 할 방법 중 하나는 가드 모델(guard models)을 사용하는 것입니다. 가드 모델은 에이전트의 행동을 모니터링하는 디지털 감독관이라고 생각하십시오. 에이전트가 파일을 삭제하는 것과 같은 영향이 큰 작업을 수행하기 전에, 가드 모델이 개입하여 해당 행동이 보안 정책과 일치하는지 확인합니다. 이는 악의적인 공격과 의도치 않은 오류를 방지할 수 있는 추가적인 지능적인 감독 계층을 추가하는 것입니다.

또 다른 기술은 적대적 학습(adversarial training)을 사용하는 것입니다. 이는 AI 에이전트를 위한 일종의 소방 훈련입니다. 통제된 환경에서 에이전트를 의도적으로 예상치 못한 악의적인 입력에 노출시켜, 어떻게 악용될 수 있는지 확인하는 것입니다.

이러한 취약점을 이해함으로써 에이전트를 더 탄력적이고 견고하게 만들 수 있습니다. 공개 모델을 사용하는 경우, 모델 제공업체가 철저한 테스트를 수행했는지 확인하는 것을 강력히 권장합니다.

더 큰 AI 잠재력을 안전하게 실현하세요

에이전트 보안은 인간의 리더십, 지속적인 학습, 전략적인 역량 강화를 필요로 하는 지속적인 프로세스입니다. 변화하는 환경을 헤쳐나갈 수 있는 지식과 도구를 팀에 제공함으로써, 위험과 의도치 않은 결과를 통제하면서도 AI 에이전트의 놀라운 힘을 활용할 수 있습니다.

더 자세히 알아보려면, AI 에이전트 보안에 관한 최근 뉴스레터를 확인해 보십시오.