Cloud CISO Perspectives: Google의 AI 에이전트 보안 방법

해당 블로그의 원문은 2025년 6월 13일 Google Cloud 블로그(영문)에 게재되었습니다.

2025년 6월의 첫 번째 Cloud CISO Perspectives에 오신 것을 환영합니다. 오늘 Google Cloud CISO 사무실의 보안 자문인 Anton Chuvakin이 Google의 새로운 AI 에이전트 보안 보고서와, 이들이 요구하는 새로운 보안 패러다임에 대해 논합니다.

다른 모든 Cloud CISO Perspectives와 마찬가지로, 이 뉴스레터의 내용은 Google Cloud 블로그에도 게시됩니다. 웹사이트에서 이 글을 읽고 계시며 이메일 버전을 받아보시려면 여기에서 구독할 수 있습니다.

구글의 AI Agents 보안 접근 방식

Anton Chuvakin, security advisor, Office of the CISO

저희는 핵심 문제라고 생각하는 것들을 자세히 설명하기 위해, AI 에이전트 개발자와 보안 실무자 모두를 위한 가이드를 발간했습니다. 이 가이드는 AI 에이전트 보안에 대한 저희의 접근 방식을 담고 있으며, 사회에 이익을 가져다주는 안전하고 신뢰할 수 있는 AI 에이전트 시스템을 구축하기 위한 명확하고 실행 가능한 기반을 제공하는 것이 목표입니다.

이 가이드에서는 에이전트 아키텍처의 보안 과제, 무단 행동 및 민감한 데이터 노출과 관련된 특정 위험을 다루고, 세 가지 근본적인 에이전트 보안 원칙을 자세히 설명합니다. 이 세 가지 원칙은 명확하게 정의된 인간 제어, 제한된 에이전트 권한, 관찰 가능한 에이전트 행동입니다.

1. 에이전트는 명확하게 정의된 인간 제어 하에 있어야 합니다: 에이전트는 명확한 인간 감독 하에서 작동해야 하며, 승인된 사용자 지시와 기타 입력을 구별할 수 있어야 합니다.
2. 에이전트 권한은 제한되어야 합니다: 에이전트의 행동과 리소스 접근은 의도된 목적 및 사용자 위험 감수 수준에 따라 신중하게 제한되고 동적으로 조정되어야 합니다. 이는 최소 권한 원칙(least-privilege principle)을 강조합니다.
3. 에이전트의 행동 및 계획은 관찰 가능해야 합니다: 에이전트의 활동은 강력한 로깅 및 명확한 행동 특성화를 통해 투명하고 감사 가능해야 합니다.

Google의 하이브리드 접근 방식: 에이전트 심층 방어(Agentic defense-in-depth)

Google은 전통적인 결정론적(deterministic) 보안 조치와 추론 기반(reasoning-based) 보안 조치의 장점을 결합한 '하이브리드 심층 방어(hybrid defense-in-depth)' 접근 방식을 제안합니다. 이는 에이전트의 유용성을 유지하면서도 치명적인 결과를 막을 수 있는 다층적인 방어 체계를 구축합니다.

저희는 가장 효과적이고 효율적인 심층 방어 경로는 고전적인 제어와 AI 제어를 모두 활용하여 에이전트를 보호하는 것이라고 믿습니다. 저희의 접근 방식은 다음과 같이 두 가지 뚜렷한 계층을 권장합니다.

• 1단계: 런타임 정책 강제화와 같은 전통적이고 결정론적인 조치를 사용합니다. 런타임 정책 엔진은 사전 정의된 규칙에 따라 실행 전에 에이전트 행동을 모니터링하고 제어하는 외부 보호막 역할을 합니다. 이 엔진은 **액션 매니페스트(action manifests)**를 사용하여 종속성 유형, 효과, 인증 및 데이터 유형과 같은 에이전트 행동의 보안 속성을 캡처합니다.
• 2단계: 추론 기반 방어 전략을 배포합니다. 이 계층은 AI 모델 자체의 추론을 사용하여 보안을 강화합니다. 적대적 훈련(adversarial training) 및 특화된 모델을 보안 분석가로 활용하는 기술은 에이전트가 합법적인 명령과 악의적인 명령을 구별하도록 돕습니다. 이는 공격, 데이터 절도, 심지어 모델 절도에 대한 복원력을 높입니다.

물론, 위 두 계층 각각은 자체적인 방어 계층을 가져야 합니다. 예를 들어, 모델 기반 입력 필터링을 적대적 훈련 및 기타 기술과 결합하면 프롬프트 주입(prompt injection)의 위험을 줄일 수 있지만, 완전히 제거할 수는 없습니다. 마찬가지로, 이러한 방어 조치는 데이터 절도를 더 어렵게 만들겠지만, 규칙 기반 및 알고리즘 기반 위협 탐지와 같은 전통적인 제어로 강화될 필요가 있습니다.

주요 위험, 한계 및 과제

정적 소프트웨어 또는 일반 AI를 위해 설계된 전통적인 보안 패러다임은 AI 에이전트에 충분하지 않습니다. 이들은 에이전트가 무엇을 추론하고 있는지 파악하는 데 필요한 맥락적 인식이 부족하여 에이전트의 유용성을 지나치게 제한할 수 있습니다.

마찬가지로, 보안을 위해 전적으로 모델의 판단에 의존하는 것도 부적절합니다. 프롬프트 주입과 같은 취약점은 시간이 지남에 따라 에이전트의 무결성 및 기능에 영향을 미칠 수 있기 때문입니다.

AI에 대한 광범위한 위험들 중, AI 에이전트와 관련된 두 가지 위험이 발생 가능성이 높고 무시했을 때 더 큰 피해를 줄 수 있어 특히 두드러집니다.

무단 행동(Rogue actions)은 에이전트가 의도하지 않게 수행하는 해롭고 정책을 위반하는 행동입니다. 이는 기본 모델의 무작위성, 예상치 못한 행동의 출현, 그리고 에이전트 행동을 사용자 의도와 일치시키는 데 따르는 어려움을 포함한 여러 요인에서 비롯될 수 있습니다. 프롬프트 주입은 무단 행동을 유도하는 중요한 벡터입니다.

예를 들어, 클라우드 환경에서 작업을 자동화하도록 설계된 에이전트를 상상해 보세요. 사용자는 에이전트를 사용해 가상 머신을 배포하려고 합니다. 하지만 프롬프트 주입 공격으로 인해 에이전트는 대신 모든 데이터베이스를 삭제하려고 시도합니다. 이때 보호막 역할을 하는 런타임 정책 엔진은 '모든 데이터베이스 삭제' 행동을 감지하고, 미리 정의된 규칙을 위반했기 때문에 이를 차단합니다.

민감한 데이터 노출은 에이전트에 의해 개인 또는 기밀 정보가 무단으로 드러나는 것입니다. 보안 조치는 민감한 데이터에 대한 접근이 엄격하게 제어되도록 보장하는 데 도움이 됩니다.

예를 들어, 클라우드의 한 에이전트가 보고서 생성을 위해 고객 데이터에 접근할 수 있다고 가정해 봅시다. 만약 제대로 보호되지 않으면, 에이전트가 이 민감한 데이터를 보존하고 있다가 노출되도록 유도될 수 있습니다. 악의적인 사용자가 후속 질문을 통해 에이전트가 보존된 데이터의 일부를 부주의하게 노출하도록 유도할 수 있습니다.

하지만, AI 에이전트를 보호하는 것은 다음 네 가지 요인 때문에 본질적으로 어렵습니다.

• 예측 불가능성 (비결정론적 특성)
• 새로운 행동의 출현
• 자율적 의사 결정
• 정렬 문제 (행동이 사용자 의도와 일치하는지 보장하는 것)

실용적인 보안 고려 사항

저희가 권장하는 하이브리드 접근 방식은 여러 중요한 영역을 다룹니다.

• 에이전트/플러그인 사용자 제어: 중요하고 돌이킬 수 없는 행동에 대한 인간의 확인, 사용자 입력과 다른 데이터 간의 명확한 구분, 에이전트 구성의 검증 가능한 공유를 강조합니다.
• 에이전트 권한: 최소 권한 원칙 준수, 에이전트 행동을 그 역할에 국한시키고, 권한을 제한하며, 사용자 권한을 취소할 수 있도록 합니다. 이러한 세밀한 제어는 전통적인 1980년대 방식의 보안 제어가 2020년대 AI 에이전트를 보호하는 데 높은 가치를 제공한다는 점에서 보안 리더들을 놀라게 할 때가 많습니다.
• 오케스트레이션 및 도구 호출: AI 에이전트와 오케스트레이션에 사용하는 외부 도구 및 서비스 간의 복잡한 관계는 특히 **"Actions as Code"**와 관련하여 고유한 보안 위험을 초래할 수 있습니다. 강력한 인증, 권한 부여, 그리고 의미론적 도구 정의가 여기에서 중요한 위험 완화 조치입니다.
• 에이전트 메모리: 에이전트 메모리에 저장된 데이터는 지속적인 프롬프트 주입 및 정보 유출로 이어질 수 있습니다.
• 응답 렌더링: AI 에이전트의 출력을 사용자 친화적인 콘텐츠로 안전하게 렌더링하는 것은 고전적인 웹 취약점을 방지하는 데 필수적입니다.

보증 및 미래 방향

에이전트 보안을 검증하기 위해서는 지속적인 보증 노력이 필수적입니다. 여기에는 회귀 테스트, 변형 분석, 레드팀 활동, 사용자 피드백, 그리고 진화하는 위협에 대한 보안 조치의 효과를 보장하기 위한 외부 연구 프로그램이 포함됩니다.

AI 에이전트를 보호하려면 이러한 시스템의 유용성과 내재된 위험을 완화해야 한다는 필수 요건 사이의 균형을 신중하게 맞추는 다면적인 하이브리드 접근 방식이 필요합니다. Google Cloud는 이러한 지침을 따르는 Agentspace의 제어를 제공하며, 여기에는 인증 및 권한 부여, 모델 안전 장치, 태세 평가, 그리고 물론 로깅 및 탐지 기능이 포함됩니다.

Google이 AI 에이전트 보안에 어떻게 접근하고 있는지 더 자세히 알아보려면 저희 연구 논문을 읽어보세요.

Google Cloud Security 최신 소식

• 역대 최대 규모의 DDoS 공격, 프로젝트 실드가 방어에 성공한 방법: 위험에 처한 웹사이트를 DDoS 공격으로부터 보호하는 구글의 무료 서비스인 프로젝트 실드(Project Shield)가 최근 발생한 대규모 공격으로부터 KrebsOnSecurity 웹사이트를 안전하게 지켜냈습니다. 무슨 일이 있었는지 알아보세요. Read more.
• 실제 환경에서 테스트하지 마세요. 디지털 트윈으로 더 안전하고 스마트한 복원력 확보하기: 디지털 트윈은 실시간 데이터를 사용해 물리 시스템의 복제본을 만들어 안전한 테스트 환경을 제공합니다. 이 기술이 비즈니스 및 보안 리더들에게 어떻게 도움이 되는지 확인해 보세요. Read more.
• Google Cloud에서 디지털 트윈(Digital Twin) 구축 방법: 디지털 트윈은 실제 물리 시스템을 클라우드에 복제해 테스트하는 가상 시스템입니다. Google Cloud에서 디지털 트윈을 구축하는 방법을 배워보세요. Read more.
• Google Cloud 보안 강화: Security Command Center의 4가지 새로운 기능: Google Cloud에 직접 내장되어 있는 Security Command Center(SCC)는 클라우드 환경을 보호하는 독점적인 시각을 제공합니다. SCC의 새로운 기능 4가지를 소개합니다. Read more.

이번 달에 발행된 더 많은 보안 관련 소식은 Google Cloud 블로그에서 확인하실 수 있습니다.

위협 인텔리전스 소식

• 전화 한 통의 대가, 보이스피싱부터 데이터 갈취까지: Google Threat Intelligence Group (GTIG)은 대규모 데이터 절도와 금전적 갈취를 목적으로 Salesforce 인스턴스를 침해하기 위해 보이스피싱(vishing) 캠페인에 특화된 위협 행위자들을 추적하고 있습니다. 이러한 위협에 대비하기 위한 몇 가지 방어 조치를 소개합니다. Read more.
• 보이스피싱 위협에 대한 기술적 분석: 금전적 동기를 가진 위협 행위자들은 초기 침투 경로로 음성 기반의 사회 공학 기법, 즉, 보이스피싱(vishing)을 점점 더 많이 채택하고 있습니다. 이들의 구체적인 방법과 최종 목표는 상당히 다양합니다. 이들이 어떻게 공격하는지, 그리고 이를 막기 위해 무엇을 할 수 있는지 알아보세요. Read more.

이번 달에 발행된 더 많은 위협 인텔리전스 소식은 Google Cloud 블로그에서 확인하실 수 있습니다.

최신 팟캐스트

• 클라우드 침해에 대한 오해 해소 (그리고 DBIR이 지금 말하는 것): 클라우드 침해에 대해 궁금했지만 (당연히) 물어보지 못했던 모든 것. Verizon 데이터 침해 보고서(Data Breach Report) 리더인 Alex Pinto가 진행자 Anton Chuvakin, Tim Peacock와 함께 클라우드 침해에 대한 흥미로운 대화를 나눕니다. Listen here.
• 2025년에도 SIEM은 여전히 어려운가: RunReveal의 공동 설립자 겸 CTO인 Alan Braithwaite가 Anton 및 Tim과 함께 SIEM과 보안 원격 측정(telemetry) 데이터의 미래에 대해 논합니다. Listen here.
• Cyber-Savvy Boardroom: Jamie Collier가 말하는 오늘날의 위협 환경: Google Threat Intelligence Group (GTIG)의 유럽 수석 자문인 Jamie Collier가 CISO 사무실의 David Homovich 및 Anton Chuvakin과 함께 이사회가 오늘날의 위협 행위자들에 대해 알아야 할 점을 이야기합니다. Listen here.
• Defender’s Advantage: 북한 IT 인력 사건에 대한 대응: Mandiant 컨설팅의 Nick Guttilla와 Emily Astranova가 Luke McNamara와 함께 AI 기반의 보이스피싱(vishing) 활용 방법과, 레드팀(red team) 활동에 이를 어떻게 사용하는지에 대해 이야기합니다. Listen here.
• Behind the Binary: 소프트웨어 지적 재산 보호: Emproof의 수석 과학자 겸 엔지니어링 책임자인 Tim Blazytko가 진행자 Josh Stroschein과 함께 소프트웨어 지적 재산을 보호하기 위한 필수 전략에 대해 이야기합니다. Listen here.

Cloud CISO Perspectives 게시물을 한 달에 두 번 이메일로 받아보려면 뉴스레터를 신청하세요. 몇 주 후에 더 많은 Google Cloud의 보안 관련 소식으로 돌아오겠습니다.