AI 위험과 복원력
Mandiant 스페셜 리포트
2026년 3월 9일
소개
2025년에는 공격자가 AI의 실험적 사용에서 완전한 운영으로 전환하면서 사이버 보안 환경이 변화했습니다. 공격자는 피싱 콘텐츠를 작성하기 위해 대규모 언어 모델을 단순하게 사용하는 데 그치지 않고 이제 코드를 다시 작성할 수 있는 적응형 도구를 배포하고 최소한의 인간 감독으로 시스템을 탐색하는 AI 에이전트를 사용하고 있습니다. 이러한 기능은 공격의 속도와 규모를 근본적으로 변화시켜 방어 전략의 변화를 요구하는 뚜렷한 진화를 나타냅니다.
동시에 AI를 구현하기 위한 경쟁으로 인해 보안 제어를 능가하는 위험 영역이 노출되었습니다. 가장 시급한 과제는 모델 도용과 같은 새로운 'AI 전용' 공격이 아니라 거버넌스와 IT 위생의 근본적인 격차입니다. 감독 없이 배포된 도구인 '섀도 AI'의 확산과 AI 자산 가시성의 부족은 여전히 중요한 방해 요소이며, 모델 자체뿐만 아니라 AI 애플리케이션과 도구의 구현을 보호하는 데 새롭게 초점을 맞춰야 합니다. 이러한 확장되는 공격 표면을 진정으로 보호하려면 조직은 AI 사용에 대한 강력한 거버넌스를 구축하여 섀도 AI 문제를 해결하고 정기적인 AI 레드팀 조직을 수용하여 시스템을 적극적으로 스트레스 테스트하여 취약점이 악용되기 전에 식별해야 합니다.
동시에 에이전트 AI의 부상은 보안팀의 역량을 강화하고 있습니다. AI는 조사와 분석을 가속화하여 분명한 이점을 제공함으로써 보안 운영의 역량을 배가시키는 데 효과적인 것으로 입증되었습니다. 앞으로 1년 동안 AI 기반 보안 도구를 사용하여 AI 기반 위협에 앞서 대응하고, 테스트와 검증을 통해 격차와 취약점을 해소하며, 팀이 대응 능력에 자신감을 가질 수 있도록 해야 합니다.

AI의 적대적 사용
2025년 초 Google Threat Intelligence Group(GTIG)은 공격자가 생성형 AI를 주로 생산성 증대 도구, 즉 '바이브 코딩', 다국어 피싱 미끼 작성, 공격 수명 주기의 다양한 단계 지원 도구로 사용하고 있음을 확인했으며, 이는 GTIG의 2025년 1월 분석인 생성형 AI의 적대적 오용에 자세히 설명되어 있습니다. 이 분석에 따르면 중국, 러시아, 북한, 이란과 연계된 그룹을 포함한 국가 후원 그룹이 Gemini와 같은 대규모 언어 모델(LLM)을 실험하여 코드 문제를 해결하고, 취약점을 조사하고, 도구를 개발하고 있었습니다. 그러나 안전 가드레일을 우회하거나 새로운 공격 역량을 달성하는 데는 대부분 성공하지 못했습니다.
이후 몇 달 동안의 중요한 진화는 주로 정적이고 인간 참여형 사용에서 벗어나 고도로 자율적이고 적응력이 뛰어난 공격을 통합하는 방향으로 나아갔다는 점입니다. 2025년 말까지 공격자는 LLM API를 멀웨어에 직접 통합하여 '적시' 코드 생성을 수행하고, 탐지 및 속성 파악이 기하급수적으로 더 어려워지는 새로운 종류의 위협을 잠재적으로 생성하고 있었습니다.
이러한 기술적 변화의 한 예로 적응형 멀웨어의 등장을 들 수 있습니다. PROMPTFLUX 및 PROMPTSTEAL과 같은 멀웨어 패밀리는 LLM API를 사용하여 실행 중에 악성 코드 또는 명령어를 주문형으로 생성합니다. 이 런타임 기능을 통해 멀웨어는 다형성을 띠고 시그니처와 동작을 끊임없이 변경하여 기존의 시그니처 기반 탐지 시스템을 회피할 수 있습니다. LLM은 외부 C2 역할을 하며, 발견된 환경을 기반으로 멀웨어에 '목표 중심' 안내를 제공합니다. 이는 기존의 하드 코딩된 로직으로는 달성할 수 없는 기능입니다.
2025년 주목할 만한 적대적 발전의 타임라인
2025년 초: 증강 및 실험
올해 상반기에 공격자는 공격 작전의 역량 수준을 높이는 데 주력했습니다. 공격자는 AI를 사용하여 수동 작업을 가속화하는 한편, 기술력이 낮은 행위자는 AI를 사용하여 기술적 격차를 해소했습니다.
2025년 중반: 운영 및 통합
올해 중반을 기점으로 AI를 사용하는 것에서 AI를 통합하는 것으로 전환되었습니다. 행위자는 소셜 엔지니어링 및 초기 액세스와 같은 동적 태스크를 처리하기 위해 공격 체인에 LLM API를 직접 연결하기 시작했습니다.
2025년 말: 자율 에이전트 및 네이티브 AI 위협
마지막 분기에는 에이전트 AI 기능에 대한 관심이 높아지고 AI 기반 공격 도구가 상용화되는 등 더욱 발전된 진화가 이루어졌습니다.
2025년 AI 위협 환경의 진화는 사이버 공격의 본질을 변화시켰습니다. 1월에 시작된 낮은 수준의 증강은 11월에 AI가 조정한 스파이 활동과 LLM 지원 적응형 멀웨어로 확대되었습니다. 실시간 작업에서 PROMPTSTEAL 및 FRUITSHELL과 같은 도구를 사용했다는 보고는 AI가 최신 공격 체인의 핵심 구성요소라는 개념을 확고히 했습니다. 이제 방어자는 공격이 확장 가능하고, 코드가 동적으로 난독화되며, 합법적인 생성형 AI 도구가 악의적인 작업을 가속화하는 데 사용되는 위협 생태계에 직면해 있습니다. 이러한 패러다임의 변화로 인해 정적 보안 제어에서 벗어나 행동 분석, API 수준 모니터링, 적대적 AI의 인텔리전스와 행위에 대응할 수 있는 방어적 AI 모델 개발로 전환해야 합니다.

AI 시스템 보안
AI를 사용하여 큰 발전을 이룬 것은 공격자만이 아니었습니다. 기업 역시 계속해서 운영에 AI를 통합하고 AI 기반 솔루션으로 방어자의 역량을 강화했습니다. 지난 12개월 동안 Mandiant는 전 세계적으로 수많은 AI 시스템 평가, AI 위협 모델링 연습, 탐지 워크숍을 진행했습니다. 이러한 참여에서 몇 가지 트렌드가 나타나기 시작했습니다.
조직은 일반적으로 AI 사용에 따라 세 가지 카테고리로 나뉩니다.
현재 Mandiant는 대부분의 조직이 '소비자' 및 '통합자' 버킷에 속하는 것으로 파악하고 있습니다. 그러나 '트레이너' 카테고리에 속한 조직의 수는 점차 증가하고 있습니다.
복잡성 수준은 달랐지만 Mandiant의 참여 전반에 걸쳐 한 가지 주제가 일관되게 나타났습니다. 이전 IT 혁신 시대에 존재했던 보안 과제가 여전히 존재한다는 것입니다. 즉, 과거의 문제가 새로운 문제로 다시 등장하고 있습니다.
고무적인 점은 Mandiant가 조직이 기본적인 거버넌스를 수립하고 정기적인 위협 모델링을 수행하면 기본적인 보호 수준을 넘어 위험 가시성을 크게 개선할 수 있다는 사실을 발견했다는 것입니다. 이러한 선제적 태도를 통해 팀은 현재의 기술적 또는 절차적 한계로 인해 제거할 수 없는 위험을 식별할 수 있습니다. 이러한 제약조건을 식별함으로써 리더십은 위험을 수용하거나 필요한 보상 제어의 개발에 우선순위를 둘 수 있습니다.
인프라 격차: 기본 보안 관리 누락
가장 일관되게 나타난 결과 중 하나는 조직이 AI 파이프라인에서 전체 인프라 보안에서와 유사한 보안 문제를 겪고 있다는 것입니다.
최근 평가에서 Mandiant는 AI 이니셔티브에서 기본적인 보안 관리 요소가 자주 누락되는 것을 발견했습니다. 이러한 과제는 다음과 같은 네 가지 주요 카테고리로 나뉩니다.
거버넌스 격차: 섀도 AI
조직은 환경을 보호하기 위해 AI 거버넌스와 AI를 위한 거버넌스를 구분해야 합니다. 전자는 기술적 아티팩트에 중점을 두어 모델이 공정하고 안전하며 보안이 유지되고 성능이 우수한지 확인합니다. 후자는 조직의 프레임워크에 중점을 두어 비즈니스에서 AI를 도입하는 방식에 대한 정책, 조달 채널, 승인 워크플로를 정의합니다. 보안팀은 AI 기반 애플리케이션의 모니터링 및 평가('Of')에 집중할 수 있지만, 더 광범위한 비즈니스에서 이러한 도구나 기술 역량을 조달하고 도입하는 방식('For')을 관리할 권한이 없는 경우가 많습니다.
Mandiant는 AI 파이프라인에서 중요한 사각지대를 발견했습니다. 일부 비즈니스 부서는 '전권'을 가진 것처럼 운영하며 IT 검토 없이 임시로 AI 애플리케이션과 도구를 배포합니다. 이러한 경우 인프라팀과 보안팀은 위험한 조치를 줄일 수 있는 능력이 제한적인 경우가 많습니다.
이러한 단절은 섀도 AI의 비옥한 토양이 됩니다. 섀도 AI는 승인되지 않은 AI 도구와 애플리케이션이 감독 없이 배포되고, 표준 보안 검토를 우회하며, 조직이 그로 인해 발생하는 위험을 알지 못하게 만드는 상황을 말합니다.
AI 위협 모델링: 인지된 위험과 실제 위험
Mandiant는 고객을 위해 AI 위협 모델링을 수행하는 동안 인지된 위협과 실제 위협 사이에 불일치가 있는 경우가 많다는 것을 확인했습니다. 예를 들어 Mandiant는 보안 리더가 복잡한 이론적 위험에 우선순위를 두는 경우가 많지만 실제 취약점은 기본적인 구현 결함에서 비롯된다는 사실을 발견했습니다.
외부 LLM 플랫폼에 대한 호출을 사용하는 API 기반 애플리케이션과 관련된 한 예에서 조직의 리더십은 모델 도용과 학습 데이터 포이즈닝에 대해 우려했습니다. 이에 따라 보안팀은 이러한 특정 위험에 대한 완화 조치를 개발하는 임무를 맡게 되었습니다. 하지만 현실은 달랐습니다. 애플리케이션이 외부 API에 의존했기 때문에 환경 내에서 도용할 모델도, 포이즈닝할 학습 데이터도 없었습니다.
반면 실제 취약점은 제품 설계 결함인 경우가 많았습니다. 한 사례에서는 개발자가 AI 챗봇 기록을 브라우저 기록에 직접 캐싱하는 보안 결함이 발견되었습니다. 그 결과 백엔드 인프라가 손상되지 않아도 사용자 엔드포인트에서 데이터 도용 및 데이터 포이즈닝이 발생할 수 있습니다.
탐지 및 대응: 출발선
Mandiant는 여러 워크숍과 탐지 개발 참여에서 공통적인 트렌드를 발견했습니다. 보안팀은 AI 보안을 어디서부터 시작해야 할지 몰랐습니다. AI 구성요소와 모니터링할 특정 동작에 대한 기본적인 이해가 부족한 경우가 많았습니다.
보안팀은 에이전트형 애플리케이션에 데이터 액세스 권한이 부여되는 방식과 엔터프라이즈 도구에 통합되는 방식, 특히 모델 컨텍스트 프로토콜(MCP) 서버를 통한 통합 방식을 이해하기 위해 범위를 확장해야 합니다. 팀은 조직의 구체적인 사용 사례를 기반으로 전략을 수립해야 합니다. 이러한 컨텍스트가 없으면 팀은 특정 아키텍처가 직면한 위협의 현실이 아닌 이론적이고 인지된 위험에 사이클을 낭비하는 경우가 많습니다.
또한 이러한 동적 환경에서는 정적 서명에 의존하는 것만으로는 충분하지 않습니다. Mandiant는 팀에 침해 지표(IOC)에서 활동 지표(IOA)로 전환하여 알려진 악성 파일 해시가 아닌 동작의 이상 징후를 찾을 것을 권장합니다. 이를 달성하기 위해 보안팀은 개발자에게 다음과 같은 특정 원격 분석을 요청해야 합니다.
보안팀은 이러한 동작을 실제 사용 사례에 매핑하여 인지 기반 탐지에서 현실 기반 탐지로 전환할 수 있습니다.
AI를 위한 Mandiant 레드팀 조직의 인사이트
애플리케이션에 AI를 통합하면 새로운 공격 표면이 노출될 수 있습니다. 여전히 중요한 요구사항이긴 하지만 애플리케이션을 보호하는 기존의 접근 방식은 더 이상 충분하지 않습니다. 이제는 데이터, 에이전트의 지침, 액세스할 수 있는 도구의 보안까지 포함해야 합니다.
Mandiant AI 레드팀 평가를 통해 적절한 가드레일, 제어, 강화가 없는 일부 AI 구성요소는 조작되어 시스템의 의도된 기능을 시스템 자체에 반하는 방향으로 전환할 수 있다는 사실이 반복적으로 입증되었습니다. AI 애플리케이션을 배포하는 조직의 경우 이러한 유형의 평가는 AI 구현이 애플리케이션이 제공하는 데이터와 비즈니스 프로세스의 보안에 어떤 영향을 미치는지 테스트하는 데 매우 중요합니다. 선제적이고 정기적인 공격적 보안 테스트는 새롭게 등장하는 관련 위협에 대한 방어를 검증할 수 있으며, AI 시대에 자산 보안에 대한 최고 수준의 보증을 제공합니다.
2025년 내내 Mandiant Consulting에서 수행한 공격적 보안 평가에서는 고객의 요구에 따라 전 세계적으로 다양한 산업에 걸쳐 AI 기반 애플리케이션을 대상으로 삼았습니다. 테스트한 애플리케이션의 종류는 다음과 같습니다.
이 작업은 조직이 AI 애플리케이션이 에이전트의 기능, 공격 표면의 변화, 민감한 정보가 노출될 수 있는 위치 등 새로운 위험을 어떻게 야기할 수 있는지 이해하는 데 매우 중요했습니다.
새로운 AI 관련 취약점 카테고리
Mandiant는 AI 애플리케이션에 특정한 공격 벡터와 함께 AI 컨텍스트 내에서 새로운 방식으로 나타나는 기존 취약점의 조합을 발견했습니다.
AI 신뢰를 무너뜨리는 프롬프트 인젝션
프롬프트 인젝션은 여전히 주요 공격 벡터입니다. 레드팀 평가 중에 Mandiant는 프롬프트와 기타 입력이 숨겨져 있는 경우에도 AI의 프롬프트 및 기타 입력 처리 및 조치 능력을 악용하는 고급 기술을 실행했습니다. 이는 애플리케이션에 프롬프트 및 대답의 스크리닝을 포함한 심층 방어가 부족하다는 것을 나타낼 수 있습니다. 한 예시에서 팀은 이미지 파일에 포함된 텍스트를 사용하여 프롬프트 인젝션을 성공적으로 수행했습니다. 이 이미지는 1x1 픽셀 크기로 렌더링되어 인간 사용자에게는 사실상 보이지 않지만 AI 모델에서는 여전히 파싱되고 실행됩니다.
AI 워크플로에서 증폭되는 기존 취약점
일반적인 애플리케이션 보안 결함은 AI 기능과 연결될 때 그 결과를 증폭시킬 수 있습니다.
정보를 노출하는 AI 에이전트 설계 및 구현 문제
AI 에이전트는 내부 도구에 액세스하도록 설계되어 있으므로 정찰에 대한 새로운 위험을 야기합니다. Mandiant의 공격 보안팀은 참여 과정에서 이러한 위험의 여러 사례를 확인했습니다.
이러한 참여 기간 동안 Mandiant 레드팀 전문가들은 전 세계 고객과 협력하여 AI 시스템을 보호하는 방어 체계를 검증했습니다. Mandiant는 Google의 자체 내부 연구를 바탕으로 실제 공격을 에뮬레이션하여 제어를 테스트하고, 공격 표면을 매핑하고, 고객이 AI 시스템과 관련된 보안 취약점을 식별하고 해결할 수 있도록 했습니다.
오늘날의 환경에서 보안 테스트와 검증은 비즈니스에 필수적입니다.

AI 기반 방어
지난 한 해 동안 Mandiant 컨설턴트는 조직이 일상적인 사이버 방어 및 보안 운영에서 Gemini와 같은 대규모 언어 모델을 포함한 AI를 사용하는 방식에 상당한 변화가 있음을 확인했습니다. AI는 더 이상 대화의 주제에 그치지 않고 실험 단계에서 운영으로 전환되고 있으며, Google Cloud가 평가하고 방어하는 환경에서 보안을 담당하고 있습니다. Mandiant는 지난 12개월 동안 조직에서 구체적인 사이버 방어 사용 사례가 인기를 얻으면서 AI가 실용적인 애플리케이션으로 빠르게 전환되는 것을 직접 확인했습니다.
소급 사고 분석
Mandiant는 조직에서 AI를 사용하여 사고 티켓 백로그에 대한 소급 분석을 수행하는 것을 확인했습니다. 보안 운영 센터(SOC)팀은 이제 모든 알림을 격리된 이벤트로 취급하는 대신 AI에 지난 30일 이상의 종결된 사고 티켓을 검토하여 일일 대기열에 묻혀 있는 인간 분석가가 놓칠 수 있는 패턴을 식별하도록 요청하고 있습니다. 이 데이터가 수집되면 분석가는 AI에 더 깊은 아키텍처 및 엔드포인트 문제를 나타내는 미묘한 공통점을 찾도록 프롬프트를 작성합니다.
Mandiant는 분석가들이 '이 500건의 사고의 근본 원인을 바탕으로 가장 자주 실패하거나 누락되는 특정 보안 제어는 뭐야?' 또는 '사고를 초기 액세스 벡터별로 그룹화하고 다음 달 발생량을 줄이기 위해 우선순위가 높은 3개의 엔지니어링 프로젝트를 추천해 줘.'와 같은 구체적이고 수준 높은 질문을 하는 것을 확인했습니다. AI 모델은 계정 잠김과 의심스러운 PowerShell 실행 조합과 같이 겉보기에는 서로 다른 알림이 실제로 동일한 기본 구성 오류 또는 누락된 패치와 관련되어 있음을 식별할 수 있습니다. 이러한 방식으로 AI를 사용하면 SOC는 한 달 동안의 대응 티켓을 환경 강화를 위한 선제적 로드맵으로 효과적으로 전환할 수 있습니다.
번역 레이어로서의 AI
Mandiant 전문가들은 통합 AI가 인간의 질문과 복잡한 EDR 쿼리 언어 사이의 번역 레이어 역할을 하는 엔드포인트 원격 측정과 보안 운영 센터(SOC)가 상호작용하는 방식에 변화가 있음을 감지하고 있습니다. 전통적으로 파일의 발생률을 파악하려면 분석가가 SPL 또는 KQL과 같은 특정 쿼리 문법을 숙달하여 수천 개의 엔드포인트에서 검색을 구성해야 했습니다. 이제는 '이 악성 파일이 네트워크에 얼마나 널리 퍼져 있는지 보여줘'와 같은 자연어 프롬프트를 입력하기만 하면 AI가 필요한 쿼리를 즉시 생성하고 실행합니다. 이를 통해 분석가는 도구의 기술적 제약이 아닌 조사 질문에 집중할 수 있으므로 복잡한 위협 헌팅에 대한 진입 장벽이 효과적으로 낮아지고 주니어 분석가도 이전에는 시니어 엔지니어링 지원이 필요했던 검색을 수행할 수 있습니다.
SOC 분석가를 위한 문서를 만들 때 Mandiant는 플레이북이 기술적인 '안내' 가이드에서 코딩 기술 격차를 해소하기 위해 설계된 '프롬프트' 저장소로 전환되는 진화를 목격하고 있습니다. 전통적으로 Jupyter 노트북을 사용하여 고급 위협 헌팅을 수행하려면 Python과 Pandas 같은 라이브러리에 대한 실무 지식이 필요했기 때문에 프로그래밍 장벽 뒤에 강력한 도구가 효과적으로 숨겨져 있었습니다. 이 문제를 해결하기 위해 이제 시니어 보안 분석가는 기능 코드를 생성하는 데 필요한 특정 자연어 프롬프트를 표준 운영 플레이북에 코드화하고 있습니다.
플레이북은 Python 문법을 나열하는 대신 분석가에게 AI에 무엇을 요청해야 하는지 알려줍니다. 예를 들어 '이 CSV를 수집하고, 타임스탬프 열을 정리하고, 지리적 위치별로 로그인 이상치를 시각화해 줘'와 같은 표준화된 프롬프트 구조를 제공하면 코딩 경험이 거의 없는 분석가도 프롬프트를 복사하여 붙여넣는 것만으로 복잡한 데이터 분석을 실행할 수 있습니다. 이 접근방식은 AI 모델을 SOC의 번역기로 효과적으로 전환하지만 신뢰성을 보장하기 위해서는 엄격한 표준화가 필요합니다. 이렇게 하면 생성된 코드에서 할루시네이션이나 로직 오류가 발생할 위험이 줄어들고 전체 팀이 시니어 위협 헌터 수준으로 운영할 수 있습니다.
위협 헌팅의 발전
위협 헌팅 시 헌터는 복잡한 정규 표현식이나 특정 필터링 로직을 포함하는 복잡한 쿼리를 구성하여 테라바이트 규모의 로그 데이터를 검토하는 경우가 많습니다. Mandiant는 SOC에서 AI 어시스턴스가 기본 제공되지 않는 경우 AI를 사용하여 실행 전에 이 코드의 품질을 확인하는 것을 보았습니다. 예를 들어 AI 모델에 KQL 또는 SPL 쿼리가 구조적으로 효율적이고 논리적으로 건전한지 검증해 달라고 요청하는 것입니다. AI는 지나치게 공격적인 허용 목록 또는 시간대 불일치와 같이 관련 데이터를 의도치 않게 제외할 수 있는 일반적인 오류를 확인합니다. AI를 두 번째 눈으로 취급함으로써 헌터는 쿼리 생성 단계에서 사람의 실수로 인한 위험을 줄여 검색 문자열이 손상되지 않도록 할 수 있습니다.
AI는 코드 검증 외에도 헌팅 가설 자체의 개념적 격차를 식별하는 데 매우 유용하다는 것이 입증되고 있습니다. 숙련된 헌터는 AI를 사용하여 조사 범위를 넓히고 있습니다. 예를 들어 'WMI를 사용하여 측면 이동을 추적하는 경우, 내가 간과하고 있는 다른 인접한 행동 지표나 고유한 로그 소스는 뭐야?'와 같은 질문을 던질 수 있습니다. 모델은 헌터의 현재 범위를 MITRE ATT&CK와 같은 프레임워크와 교차 참조하여 누락된 범위를 강조 표시하거나 헌터가 고려하지 않았을 수 있는 기법의 변형을 제안할 수 있습니다. 이를 통해 헌팅은 알려진 지표에 대한 정적 검색에서 AI가 인간 분석가에게 주요 공격 벡터와 함께 나타나는 미묘한 이상 징후나 누락된 로그를 찾도록 유도하는 동적 브레인스토밍 세션으로 바뀝니다.
포렌식 분석 가속화
사고 대응이라는 부담이 큰 환경에서 AI는 지루한 포렌식 타임라인 작성 프로세스를 가속화하는 데 없어서는 안 될 도구가 되었습니다. 전통적으로 분석가는 여러 시스템에서 타임스탬프를 수동으로 정규화하고, UTC 서버 로그를 변환하여 로컬 워크스테이션 이벤트와 일치시키고, 방화벽 트래픽을 상호 참조하는 데 시간을 할애했습니다. 이제 AI 기반 도구는 SIEM 및 EDR 플랫폼에서 이러한 원시 원격 측 스트림을 수집하여 공격에 대한 일관된 시간순 내러티브를 즉시 구성합니다. AI는 특정 PowerShell 실행을 몇 초 전에 발생한 의심스러운 로그인과 연결하는 등 겉보기에 관련이 없는 이벤트 간의 관계를 식별하여 분석가에게 미리 구성된 침해 '스토리'를 제공합니다. 따라서 응답자는 데이터 입력 및 서식 지정에 시간을 낭비하는 대신 타임라인의 영향을 분석하는 데 집중할 수 있습니다.
기술 및 요약 보고서 생성
Mandiant는 즉각적인 위협이 차단된 후 분석가들이 AI를 사용하여 문서화 단계를 간소화하고 원시 포렌식 아티팩트와 메모를 세련되고 구조화된 결과물로 변환하는 것을 확인했습니다. 이러한 도구의 도입은 효율성뿐만 아니라 놀라운 수준의 결과물 품질 개선에도 기인합니다. 독자들이 인간이 작성한 보고서보다 AI가 작성한 보고서를 선호하기 시작했기 때문입니다. 이러한 선호는 AI가 사고 발생 후 인간 응답자에게 영향을 미치는 피로감 없이도 정리되지 않은 데이터를 일관된 내러티브로 변환할 수 있는 능력에서 비롯됩니다. 이러한 모델의 핵심 강점은 대상에 따라 초점을 전환할 수 있다는 점입니다. 즉, 최고 책임자를 위한 '핵심 요약'을 생성하는 동시에 보안 엔지니어링팀을 위한 고도의 기술적 문서를 몇 초 만에 작성하여 조직 전체에 걸쳐 명확한 커뮤니케이션을 보장할 수 있습니다.
에이전트형 SOC의 진화
앞으로 단순한 AI 챗봇에서 상호 연결된 에이전트 시스템으로 전환하면 조직은 에이전트형 보안 운영 센터(SOC)로 발전할 수 있습니다. 에이전트형 SOC에서는 에이전트가 특정 목표를 달성하기 위해 작업을 동적으로 추론하고 실행하며 복잡한 워크플로를 자동화하여 분석가가 인간의 전문성이 필요한 전략적 과제와 조사에 우선순위를 둘 수 있습니다. 예를 들어 Google Threat Intelligence 내에서 Gemini로 구동되는 에이전트는 파일을 리버스 엔지니어링하여 멀웨어를 식별하고 새로운 위협을 추적할 수 있습니다. 마찬가지로 Google Security Operations에서 Gemini 에이전트는 컨텍스트를 자율적으로 수집하고 판정을 내림으로써 동적 알림 분류 및 조사를 수행합니다. 이러한 프로세스 전반에 걸쳐 인간은 에이전트의 증거, 추론, 의사 결정을 자세히 설명하는 투명한 감사 로그에 액세스할 수 있는 루프에 남아 있습니다.
결론
공격자가 적응형 멀웨어와 자율 에이전트로 작업 규모를 확장함에 따라 자체 환경에서 오류가 발생할 여지가 줄었습니다. 그러나 가장 큰 위험은 항상 외부 위협에서 비롯되는 것이 아니라 AI 시스템 무결성의 내부 격차에서 비롯됩니다. 여기서 섀도 AI와 확인되지 않은 구현이 숨겨진 취약점을 만듭니다.
이러한 내부 위험을 완화한다고 해서 혁신을 억제하는 것은 아닙니다. Cloud Security Alliance와 Google Cloud의 최근 연구에 따르면 포괄적인 거버넌스가 성숙도 승수 역할을 하는 것으로 확인되었습니다. 명확한 가이드라인을 갖춘 조직은 고급 에이전트 AI를 도입하고 직원을 효과적으로 교육할 가능성이 거의 두 배 더 높습니다. 팀이 정해진 가드레일 내에서 운영되면 자신감과 속도를 가지고 혁신할 수 있으며, 섀도 AI에 대한 인센티브를 효과적으로 줄일 수 있습니다.
이러한 기반을 토대로 보안 상황을 강화하려면 조직은 적극적인 검증과 운영 준비 태세 전략을 채택해야 합니다. 즉, 수동적인 거버넌스를 넘어 지속적인 레드팀 조직, 모델 및 에이전트 스트레스 테스트를 통해 결함이 악용되기 전에 노출해야 합니다. 동시에 새로운 도구의 속도와 분석력을 활용하여 위협을 더 잘 감지하고 대응할 수 있도록 AI 기반 방어를 완전히 수용해야 합니다.
사이버 보안에서 복잡성은 피할 수 없는 문제입니다. 모든 기술 및 위협의 진화를 예측할 수는 없지만, 인식과 가시성을 행동으로 전환함으로써 공격자와 방어자 간의 격차를 좁힐 수 있습니다.