GTIG AI 위협 분석: AI로 무장한 해커들, 취약점 악용부터 초기 침투까지 전방위 공격 가속화

해당 블로그의 원문은 2026년 5월 12일 Google Cloud 블로그(영문)에 게재되었습니다. 

요약

AI 관련 위협 활동을 다룬 2026년 2월 보고서 이후, 구글 위협 인텔리전스 그룹(GTIG)은 위협 행위자들의 워크플로우 내에서 초창기 수준이었던 AI 활용이 생성형 모델의 산업적 규모(Industrial-scale) 적용 단계로 성숙해가는 과정을 지속적으로 추적해 왔습니다. Mandiant의 침해 사고 대응(IR) 참여, Gemini, 그리고 GTIG의 선제적 연구에서 도출된 인사이트를 바탕으로 작성된 이 보고서는 현재의 위협 환경이 가진 양면성, 즉 AI가 공격 운영을 위한 정교한 엔진으로 기능하는 동시에 고부가가치 타깃이 되는 현실을 조명합니다. 본 보고서에서 다루는 주요 동향은 다음과 같습니다.

• 취약점 탐색 및 익스플로잇(Exploit) 생성: GTIG는 최초로 AI를 통해 개발된 것으로 추정되는 제로데이 익스플로잇을 사용하는 위협 행위자를 식별했습니다. 해당 사이버 범죄 조직은 이를 대규모 익스플로잇 공격에 사용할 계획이었으나, 당사의 선제적인 대응 탐지를 통해 실제 사용을 차단할 수 있었습니다. 중국(PRC) 및 북한(DPRK)과 연계된 위협 행위자들 역시 취약점 탐색을 위해 AI를 활용하는 데 큰 관심을 보이고 있습니다.

• 방어 회피를 위한 AI 기반 개발 고도화: AI 기반 코딩은 위협 행위자들의 인프라 제품군 및 다형성(Polymorphic) 멀웨어 개발을 가속화했습니다. 이러한 AI 기반 개발 주기는 난독화 네트워크(Obfuscation networks)의 생성을 가능하게 하고, 러시아 연계 위협 행위자로 의심되는 조직의 멀웨어에 AI가 생성한 미끼 로직(Decoy logic)을 통합함으로써 방어 회피를 용이하게 합니다.

• 자율형 멀웨어 운영: PROMPTSPY와 같은 AI 기반 멀웨어는 자율적인 공격 오케스트레이션(Orchestration)으로의 전환을 시사합니다. 이러한 모델은 시스템 상태를 해석하여 동적으로 명령을 생성하고 피해자의 환경을 조작합니다. 이 멀웨어에 대한 분석은 AI 통합과 관련하여 이전에 보고되지 않았던 새로운 기능과 사용 사례를 보여줍니다. 이러한 접근 방식을 통해 위협 행위자는 공격 운영 작업을 AI에 오프로드(Offload)하여 확장 가능하고 적응력 있는 활동을 수행할 수 있습니다.

• AI 기반 리서치 및 정보 작전(IO) 고도화: 위협 행위자들은 공격 수명 주기를 지원하는 초고속 연구 어시스턴트로 AI를 지속 활용하는 한편, 자율 공격 프레임워크를 운영하기 위해 에이전틱 워크플로우(Agentic workflows)로 전환하고 있습니다. 친러시아 정보 작전(IO) 캠페인인 "오퍼레이션 오버로드(Operation Overload)"에서 볼 수 있듯, 이러한 도구들은 합성 미디어(Synthetic media)와 딥페이크 콘텐츠를 대규모로 생성하여 조작된 디지털 여론(Digital consensus)을 형성하는 데 기여합니다.

• 난독화된 LLM 액세스: 이제 위협 행위자들은 전문화된 미들웨어 및 자동화된 등록 파이프라인을 통해 사용량 제한을 불법적으로 우회하여 프리미엄 등급 모델에 대한 익명화된 액세스를 추구합니다. 이 인프라는 서비스의 대규모 남용을 가능하게 하는 동시에 무료 평가판 악용 및 프로그래밍 방식의 계정 교체(Account cycling)를 통해 공격 비용을 충당합니다.

• 공급망 공격: "TeamPCP"(또는 UNC6780)와 같은 위협 행위자들은 AI 환경과 소프트웨어 종속성을 초기 침투 벡터로 삼기 시작했습니다. 이러한 공급망 공격은 Secure AI Framework (SAIF) 분류 체계에 명시된 여러 유형의 머신러닝(ML) 중심 위험, 특히 불안전하게 통합된 구성요소(IIC, Insecure Integrated Component) 및 악성 작업(RA, Rogue Actions)을 초래합니다. 이러한 공격과 관련된 포렌식 데이터를 분석한 결과, 위협 행위자들이 침해된 AI 소프트웨어에서 초기 침투를 위해 더 넓은 네트워크 환경으로 이동(Pivot)하고 랜섬웨어 배포 및 갈취와 같은 파괴적인 활동을 시도하는 것으로 나타났습니다.

공격자들은 실험과 혁신을 주저하지 않지만, 구글 또한 마찬가지입니다. 광범위한 보안 및 AI 커뮤니티와 연구 결과 및 완화 방안을 공유하는 것 외에도, 구글은 이처럼 끊임없이 변화하는 위협에 한발 앞서 대응하기 위해 선제적인 조치를 취하고 있습니다. 구글은 확장된 보호 기능을 제공하기 위해 자사 제품의 안전장치를 강화합니다. Gemini의 경우, 악성 계정을 비활성화하여 모델 남용을 완화합니다. 또한, 소프트웨어 취약점을 식별하기 위해 Big Sleep과 같은 AI 에이전트를 활용하고, 취약점을 자동으로 수정하기 위해 CodeMender와 같은 도구를 통해 Gemini의 추론 능력을 사용함으로써, AI가 방어자에게도 강력한 도구가 될 수 있음을 증명하고 있습니다.

도구로서의 AI 

위협 행위자들은 공격 수명 주기의 다양한 단계를 고도화하기 위해 AI를 활용하고 있습니다. 여기에는 취약점 익스플로잇 및 멀웨어 개발 지원, 자율적인 명령 실행 촉진, 보다 표적화되고 심층적인 정찰(Reconnaissance) 활동, 그리고 소셜 엔지니어링 및 정보 작전(IO)의 효과 향상 등이 포함됩니다.

AI 기반 취약점 탐색 및 익스플로잇 개발

AI 모델의 코딩 능력이 발전함에 따라, 위협 행위자들이 제로데이 취약점을 포함한 취약점 연구 및 익스플로잇 개발을 위해 이러한 도구를 전문가 수준의 전력 승수(Force multipliers)로 점점 더 많이 활용하는 추세가 지속적으로 관찰되고 있습니다. 이러한 도구는 방어자의 연구 역량을 강화하기도 하지만, 반대로 공격자가 애플리케이션을 리버스 엔지니어링하고 정교한 AI 생성 익스플로잇을 개발하는 데 필요한 진입 장벽을 낮추는 역할도 합니다.

국가 지원 위협 행위자들의 AI를 활용한 정교한 취약점 연구 접근 방식

다양한 위협 행위자들이 취약점 연구에 AI를 활용하는 모습이 관찰되는 가운데, 특히 중국(PRC) 및 북한(DPRK)과 연계된 여러 위협 활동 클러스터에서 각별한 관심이 포착되었습니다. 이들은 가상의 인물(Persona)을 내세운 탈옥(Jailbreaking) 시도와 전문적이고 충실도 높은 보안 데이터셋의 통합을 시작으로, 취약점 탐색 및 익스플로잇 워크플로우를 고도화하기 위해 정교한 AI 활용 접근 방식을 취하고 있습니다.

• 이전 블로그 게시물에서 강조했듯이, 위협 행위자들은 Gemini에 프롬프트를 입력하기 위한 구조화된 기법으로 사이버 보안 전문가 페르소나를 종종 활용합니다. 예를 들어, 최근 UNC2814 그룹이 AI 모델에게 '수석 보안 감사자(Senior security auditor)' 또는 'C/C++ 바이너리 보안 전문가'로 행동하도록 지시함으로써 이러한 형태의 전문가 페르소나 프롬프팅을 사용하는 것이 관찰되었습니다. 이렇게 정교하게 조작된 시나리오는 TP-Link 펌웨어 및 OFTP(Odette File Transfer Protocol) 구현을 비롯한 다양한 임베디드 디바이스 타깃에 대한 취약점 연구를 지원하는 데 사용되었습니다.

그림 1: 프롬프트 인젝션의 단순한 형태인 페르소나 기반 탈옥(Jailbreaking)을 지원하기 위해 사용된 가상 시나리오 예시

• 보다 정교한 사용 사례로, 위협 행위자들이 "wooyun-legacy"로 알려진 GitHub 호스팅 전문 취약점 저장소를 실험하는 것이 관찰되었습니다. 이 프로젝트는 2010년부터 2016년까지 중국의 버그 바운티 플랫폼인 WooYun(우윈)이 수집한 85,000개 이상의 실제 취약점 사례의 정제된 지식 기반(Knowledge base)을 통합한 Claude 코드 스킬 플러그인(Code skill plugin)으로 설계되었습니다. 모델에 취약점 데이터를 미리 주입(Priming)함으로써 인컨텍스트 러닝(In-context learning)을 촉진하고, 모델이 숙련된 전문가처럼 코드 분석에 접근하여 기본 모델이라면 우선순위를 두지 못할 수 있는 로직 결함을 식별하도록 유도합니다.

이러한 취약점 연구 과정에서 자동화 및 대규모 리서치의 명확한 징후가 나타납니다. 실시간 문제 해결을 위해 개별 프롬프트를 활용하는 것 외에도, APT45 그룹이 다양한 CVE(알려진 취약점)를 재귀적으로 분석하고 개념 증명(PoC, Proof of Concept) 익스플로잇을 검증하는 수천 개의 반복적인 프롬프트를 전송하는 것이 관찰되었습니다. 결과적으로 AI의 지원 없이는 관리하기 사실상 불가능한 더욱 강력한 익스플로잇 무기고(Arsenal)를 갖추게 됩니다.

이러한 활동을 촉진하기 위해 위협 행위자들은 의도적으로 취약하게 만든 테스트 환경과 함께 OpenClaw 및 OneClaw와 같은 에이전틱 툴(Agentic tools)을 실험하고 있습니다. 취약점 연구와 병행하여 이러한 도구를 사용한다는 것은 실제 배포 전에 통제된 환경에서 AI가 생성한 페이로드를 정교하게 다듬어 익스플로잇의 신뢰성을 높이는 데 관심이 있음을 시사합니다.

사이버 범죄 조직, AI를 활용하여 제로데이 탐색 및 무기화

사이버 범죄 성향의 위협 행위자들 역시 취약점 개발에 AI를 활용하는 데 큰 관심을 유지하고 있습니다. 한 가지 주목할 만한 사례로, 유명 사이버 범죄 조직들이 파트너십을 맺고 대규모 취약점 익스플로잇 공격을 계획한 정황이 포착되었습니다. 이 캠페인과 관련된 익스플로잇을 분석한 결과, 널리 사용되는 오픈소스 웹 기반 시스템 관리 도구에서 사용자가 이중 인증(2FA)을 우회할 수 있도록 하는 제로데이 취약점이 파이썬(Python) 스크립트로 구현되어 있음을 확인했습니다. GTIG는 해당 위협 활동을 차단하고, 영향을 받는 공급업체와 협력하여 이 취약점을 책임감 있게 공개(Responsible disclosure)했습니다.

Gemini가 사용되지는 않은 것으로 보이나, 이러한 익스플로잇의 구조와 내용을 바탕으로 분석할 때 위협 행위자가 취약점 탐색 및 무기화 과정에 AI 모델을 활용했을 가능성이 매우 높다고 확신합니다. 예를 들어, 해당 스크립트에는 할루시네이션(Hallucination, 환각)으로 생성된 CVSS 점수를 포함하여 교육 목적의 독스트링(Docstrings)이 풍부하게 포함되어 있으며, LLM 학습 데이터의 매우 특징적인 구조화되고 교과서적인 파이썬 형식(예: 상세한 도움말 메뉴 및 깔끔한 _C ANSI 색상 클래스)을 사용하고 있습니다.

이 취약점은 유효한 사용자 자격 증명이 선행되어야 함에도 불구하고 이중 인증(2FA) 우회로 분류됩니다. 이는 메모리 오염이나 입력값 검증 미흡과 같은 일반적인 구현 오류가 아니라, 개발자가 신뢰 가정을 하드코딩한 고수준의 시맨틱 로직 결함(Semantic logic flaw)에서 기인합니다.

퍼저(Fuzzer)나 정적 분석 도구는 주로 싱크(Sink)와 크래시(Crash) 탐지에 최적화되어 있는 반면, 최신 대규모 언어 모델(LLM)은 이러한 고수준 결함 및 하드코딩된 정적 이상 징후를 식별하는 데 탁월합니다. 복잡한 기업용 권한 로직을 완전히 파악하는 데는 한계가 있을 수 있지만, 문맥적 추론(Contextual reasoning) 능력은 점점 고도화되고 있습니다. 즉, 개발자의 의도를 읽고 2FA 강제 로직과 하드코딩된 예외 사항 간의 모순을 연관 지어 분석할 수 있습니다. 이러한 능력 덕분에 모델은 기존 스캐너에는 기능적으로 정상인 것처럼 보이지만 보안상 전략적인 허점이 있는 잠재적 로직 오류를 효과적으로 찾아낼 수 있습니다.

AI 기반 난독화: 회피 및 다형성

GTIG는 위협 행위자들이 AI 모델을 활용하여 난독화(Obfuscation) 역량을 강화하기 위한 멀웨어 및 작전 지원 도구들을 개발하고 실험 중임을 식별했습니다. 여기에는 소스 코드의 적시(Just-in-time) 동적 수정, 동적 페이로드 생성 기능 구현, ORB(Operational Relay Box) 네트워크 관리 도구 개발 지원, 그리고 기만용 미끼(Decoy) 코드 생성과 같은 혁신적인 AI 응용 사례가 포함됩니다(표 1 참조). 이러한 시도들은 아직 실험적인 성격이 짙으나, 회피(Evasive) 기능을 갖춘 AI 기반 소프트웨어 체계로의 전환을 명확히 보여줍니다.

이전 보고서에서 우리는 코드를 생성하기 위해 Gemini API를 실험적으로 사용한 PROMPTFLUX와, 시그니처 기반 정적 탐지를 우회하기 위해 VBScript 난독화 및 회피 기법을 Gemini API에 요청하여 적시(JIT, Just-In-Time) 자가 수정(Self-modification)을 수행하는 HONESTCUE 등의 멀웨어 제품군을 강조한 바 있습니다. 이번 보고서에서는 난독화 및 방어 회피를 지원하기 위해 AI의 도움을 받아 제작된 추가적인 도구 및 멀웨어 제품군을 소개합니다.

우리는 중국 연계 위협 행위자인 APT27과 관련된 활동을 관찰했는데, 이 그룹은 Gemini를 활용하여 ORB(Operational Relay Box) 네트워크 관리를 지원할 가능성이 높은 장비 관리(Fleet management) 애플리케이션의 개발을 가속화했습니다. 해당 도구를 분석한 결과 "maxHops" 매개변수가 3홉(Hops)으로 하드코딩되어 있었는데, VPN은 일반적으로 1홉으로 설정된다는 점을 고려할 때 이는 해당 도구가 익명화 네트워크 개발과 관련이 있음을 나타내는 지표입니다. 또한 이 도구는 지원되는 기기 유형으로 MOBILE_WIFI와 ROUTER를 나열하고 있어, 4G 또는 5G SIM 카드를 사용하여 가정용(Residential) IP 주소를 제공함으로써 침투 활동의 실제 출발지를 숨기려 할 가능성을 시사합니다.

아울러 GTIG는 우크라이나 조직을 표적으로 삼고 공격 작전의 일환으로 AI 기반 멀웨어를 배포하는 러시아 연계 침투 활동을 지속적으로 관찰해 왔습니다. 분석 결과, 이들은 악의적인 기능을 난독화하기 위해 LLM이 생성한 미끼 코드(Decoy code)를 활용하는 CANFAIL 및 LONGSTREAM 멀웨어를 사용하는 것으로 확인되었습니다.

• 우리는 CANFAIL의 소스 코드 전반에서 다수의 개발자(즉, LLM) 주석을 발견했습니다. 이 주석들은 사용되지 않는 특정 코드 블록을 명시적으로 지칭하고 있으며, 이는 악성 활동을 난독화하기 위해 설계된 채우기용(Filler) 콘텐츠로 통합되었을 가능성이 높습니다. 미끼 로직을 둘러싼 이러한 주석의 설명적 특성은, 위협 행위자가 난독화를 목적으로 의도적으로 대량의 비활성(Inert) 코드를 포함하도록 LLM에 출력을 요청했음을 나타냅니다(그림 4 참조).

• 이와 유사하게 LONGSTREAM 코드 제품군에 대한 조사 결과, 코드의 악성 성격을 위장하기 위해 대량의 미끼 로직이 생성되었을 가능성이 높은 것으로 나타났습니다. LONGSTREAM은 다운로더의 주요 목적과는 무관한 관리 작업 관련 코드 블록들을 포함하고 있는데, 이들은 논리적으로 정합성을 갖추고 있으나 실제로 활성화되지는 않습니다. 예를 들어, 시스템의 일광 절약 시간(Daylight saving) 상태를 쿼리하는 코드가 32회나 발견되었습니다. 이러한 반복적인 쿼리는 스크립트가 정상적인 활동을 수행하는 것처럼 보이게 하여 내부를 채우기 위해 존재합니다(그림 5 참조).

AI 기반 공격 오케스트레이션: PROMPTSPY

위협 행위자들은 단순히 콘텐츠를 생성하거나 도구를 개발하는 단계를 넘어, 멀웨어 명령 실행을 위한 보다 정교하고 자율적인 공격 오케스트레이션(Orchestration) 단계로 AI 도구 활용 방식을 진화시키고 있습니다. 이제 공격자들은 상호작용형 시스템 탐색과 실시간 의사결정을 위해 LLM에 의존하기 시작했습니다. 멀웨어 운영에 LLM을 통합함으로써, 공격자는 페이로드가 사람의 감독 없이도 피해 환경이나 기기와 독립적으로 상호작용하고, 시스템 상태를 종합하며, 정밀한 명령을 실행하는 자율적인 활동을 가능하게 합니다.

이러한 진화의 대표적인 사례가 바로 ESET에 의해 최초로 식별된 안드로이드 백도어인 PROMPTSPY입니다. 초기 공개 보고서에서는 PROMPTSPY가 구글 Gemini API를 활용하여 지속성(Persistence)을 확보하는 과정, 구체적으로는 안드로이드 UI를 조작하여 악성 애플리케이션을 '최근 앱' 목록에 고정하는 방식을 강조했습니다. 그러나 GTIG가 이 백도어를 분석한 결과, AI 통합을 통한 추가적인 기능과 사용 사례가 확인되었습니다. 우리는 이 멀웨어의 LLM 구성 요소가 안드로이드 UI 탐색뿐만 아니라, 후속 조치를 위해 실시간 사용자 활동을 자율적으로 해석하는 등 광범위한 목표를 지원하도록 확장 가능하게 설계되었다고 평가합니다.

PROMPTSPY에는 "GeminiAutomationAgent"라는 이름의 자율 에이전트 모듈이 포함되어 있으며, 이는 하드코딩된 프롬프트를 사용하여 표적 기기와의 자동화된 상호작용을 촉진합니다.

• 프롬프트는 LLM의 안전 필터를 우회하기 위해 무해한 페르소나를 할당한 뒤, 표적 UI 영역(Bounds)의 지오메트리 계산을 지시함으로써 복잡한 공간 수학 분석을 요청합니다. 이는 환각 방지 조치를 구현한 '핵심 판단 규칙(Core Judgment Rules)' 및 별도의 루틴을 통해 프롬프트에 결합되는 '사용자 목표(User Goal)'와 짝을 이룹니다(그림 6 참조).

• 그 후 모듈은 접근성(Accessibility) API를 통해 기기에 표시되는 UI 계층 구조를 XML과 유사한 형식으로 직렬화하고, 이 페이로드를 "JSON 모드"의 HTTP POST 요청을 통해 "gemini-2.5-flash-lite" 모델로 전송합니다.

• 모델은 제공된 사용자 목표에 따라 구조화된 JSON 응답을 반환하여 구체적인 작업 유형과 공간 좌표를 지시합니다. 멀웨어는 packed-switch 명령을 사용하여 이 응답을 파싱하고 실제 물리적 제스처(예: CLICK, SWIPE)를 시뮬레이션합니다. 사용자 목표가 초기 프롬프트에 하드코딩되지 않고 별도의 루틴으로 제공된다는 점으로 미루어 볼 때, PROMPTSPY는 다양한 유형의 기기 상호작용을 지원하도록 설계되었을 가능성이 높습니다.

또한 PROMPTSPY는 피해자의 생체 인식 데이터(비밀번호 핀 번호 또는 잠금 패턴)를 캡처한 뒤 이를 재현(Replay)하여, 침해된 기기에 다시 접근하고 후속 익스플로잇을 수행할 수 있습니다. 이러한 AI 기반 기능들은 사람의 상호작용에 크게 의존하던 기존 안드로이드 백도어와 비교할 때 괄목할 만한 진화입니다.

지속성을 유지하기 위해 PROMPTSPY는 활동을 위장하고 삭제를 방지하는 혁신적인 다계층 방어 메커니즘을 사용합니다.

• 피해자가 PROMPTSPY를 삭제하려고 시도하면, 멀웨어는 'AppProtectionDetector' 모듈을 사용하여 화면상 '제거(Uninstall)' 버튼의 좌표를 식별합니다. 그런 다음 멀웨어는 해당 버튼 바로 위에 보이지 않는 오버레이(Overlay)를 생성하여 피해자의 터치 이벤트를 몰래 가로채고 소모시키는 방패 역할을 수행함으로써, 사용자가 보기에 버튼이 작동하지 않는 것처럼 만듭니다.

• 피해자 기기가 비활성화 상태가 되면, PROMPTSPY 운영자는 Firebase 클라우드 메시징(FCM)을 활용하여 백도어를 재실행할 수 있으며, 이를 통해 위협 행위자는 피해자 모르게 침투 활동을 지속할 수 있습니다.

PROMPTSPY는 하드코딩된 기본 인프라와 자격 증명을 사용하여 초기화되지만, 높은 운영 복원력(Operational resilience)을 갖추도록 설계되어 위협 행위자가 PROMPTSPY 페이로드를 다시 배포하지 않고도 런타임에 주요 구성 요소를 교체할 수 있습니다. 구체적으로 Gemini API 키와 VNC 릴레이 서버를 포함한 멀웨어의 명령 및 제어(C2) 인프라는 C2 채널을 통해 동적으로 업데이트될 수 있습니다. 이러한 구성 모델은 개발자가 방어자의 대응 조치를 미리 예상했으며, 특정 인프라 엔드포인트가 방어자에 의해 식별되고 차단되더라도 백도어가 시스템 내 존재를 유지하도록 엔지니어링했음을 보여줍니다.

구글은 해당 활동과 관련된 자산을 비활성화함으로써 이 위협 행위자에 대한 조치를 취했습니다. 현재 탐지 기준에 따르면 Google Play에는 PROMPTSPY를 포함하는 앱이 없습니다. Google Play 서비스가 있는 안드로이드 기기에서는 기본적으로 활성화되어 있는 Google Play Protect를 통해 알려진 버전의 이 멀웨어로부터 안드로이드 사용자를 자동으로 보호합니다.

AI 기반 정찰, 연구 및 공격 수명 주기 지원 고도화

악의적인 위협 행위자들의 가장 일반적인 LLM 사용 사례는 일반 사용자와 유사하게 조사 수행 및 문제 해결 작업(Troubleshooting)입니다. GTIG는 다양한 위협 행위자들이 공격 수명 주기의 전 단계에 걸쳐 연구, 정찰 및 문제 해결을 지원하기 위해 이러한 프롬프팅(Prompting)에 관여하는 것을 관찰해 왔습니다. 정보 수집 및 작업 지원을 자동화함으로써 이러한 상호작용은 복잡한 다단계 운영의 진입 장벽을 낮추고 위협 행위자가 캠페인의 상위 수준 전략 요소에 인적 자원을 집중할 수 있게 합니다.

위협 행위자들은 과거에는 상당한 수작업이 필요했을 정찰 활동을 수행하기 위해 LLM을 자주 사용합니다. 예를 들어, 행위자들이 특정 부서의 상세한 조직도와 대기업의 서드파티 관계(특히 재무, 내부 보안, 인사 등 중요도가 높은 기능과 관련된 관계)를 생성하도록 모델에 지시하는 것을 관찰했습니다. 이러한 데이터를 통해 전통적인 대량 피싱의 범용적인 전술을 넘어 관리 권한이 있거나 민감한 데이터에 접근할 수 있는 개인에게 맞춰진 높은 충실도의 정교한 피싱 미끼를 생성할 수 있습니다.

보다 표적화된 시나리오에서, 행위자들은 피해자가 사용하는 특정 하드웨어 또는 소프트웨어 환경을 식별하기 위해 LLM을 사용했습니다. 한 사례에서 위협 행위자는 고가치 타깃이 사용하는 컴퓨터의 정확한 제조사와 모델을 파악하려고 시도했으며, 표적이 된 개인이 해당 기기를 사용하는 사진 모음을 식별하도록 LLM에 요청하기도 했습니다. 이러한 수준의 환경 핑거프린팅(Fingerprinting)은 주로 맞춤형 익스플로잇을 개발하거나 부채널 공격(Side-channel attack) 기회를 식별하기 전에 수행됩니다.

위협 행위자들은 기본적인 챗 인터페이스를 넘어 자율 프레임워크를 운영하여 다단계 보안 작업을 실행하는 에이전틱 워크플로우(Agentic workflows)로 정교하게 이동하고 있습니다. 이는 AI 관련 위협의 성숙도에 있어 중대한 진화를 의미합니다. LLM은 더 이상 수동적인 조언자가 아니라 공격 체인의 적극적인 참여자가 되어 기계의 속도로 복잡한 도구 세트를 조정하고 전술적 결정을 내릴 수 있습니다.

예를 들어, 최근 중국(PRC) 연계로 추정되는 위협 행위자가 일본의 한 기술 기업과 유명 동아시아 사이버 보안 플랫폼을 상대로 Hexstrike 및 Strix와 같은 에이전틱 툴을 배포한 사례를 분석했습니다. Hexstrike는 시계열 지식 그래프인 Graphiti 메모리 시스템과 함께 활용되어 공격 표면의 상태를 지속적으로 유지했으며, 이를 통해 에이전트는 내부 추론에 따라 subfinder와 httpx와 같은 도구 간에 자율적으로 전환(Pivot)할 수 있었습니다. 동시에 이 행위자는 다중 에이전트 모의 해킹 프레임워크인 Strix를 활용하여 취약점 식별 및 검증을 자동화했습니다. 자율적인 정찰과 자동화된 검증의 이러한 결합은 사람의 개입을 최소화하면서 탐색 활동을 확장할 수 있는 AI 기반 프레임워크로의 전환을 시사합니다.

AI 기반 정보 작전 (IO) 고도화

GTIG는 정보 작전(Information Operations, IO) 주체들이 연구, 콘텐츠 생성, 현지화와 같은 일반적인 생산성 작업에 AI를 사용하는 것을 계속해서 관찰하고 있습니다. 또한 기사 작성, 에셋 생성, 코딩 지원에 AI 도구의 도움을 요청하는 정황도 확인했습니다. 그러나 이렇게 생성된 콘텐츠가 실제 야생(In the wild)에서 식별되지는 않았으며, 이러한 시도 중 IO 캠페인을 위한 혁신적인 역량을 만들어낸 사례는 없었습니다.

러시아, 이란, 중국, 사우디아라비아의 위협 행위자들은 정치 풍자물과 디지털 플랫폼 및 실물 매체(예: 인쇄된 포스터) 전반에 걸쳐 특정 내러티브를 확산시키기 위한 자료를 제작하고 있습니다. 이 분야에서 우리가 목격한 주요 발전은 행위자들이 자신의 워크플로우를 지원하는 도구를 성공적으로 개발하는 모습과 논쟁적인 정치적 주제를 다루기 위해 AI 생성 음성 내러티브의 채택이 증가하고 있다는 점입니다.

IO 전술 지원을 위한 AI

오픈 인터넷 전반의 IO 위협에 대한 GTIG의 추적 결과는 위협 행위자들이 기존 전술을 강화하기 위해 AI 도구를 어떻게 사용하는지 보여주는 활동을 지속적으로 발견해 내고 있습니다. 예를 들어, GTIG는 AI 음성 복제(Voice cloning)로 추정되는 기술을 활용하여 실제 언론인을 사칭한 동영상 콘텐츠와 관련된 친러시아 IO 캠페인 "오퍼레이션 오버로드(Operation Overload)"와 연계된 활동을 적발했습니다. 이는 캠페인의 메시지를 지지하기 위해 언론사 및 기타 유명 기관의 브랜드와 신뢰성을 도용하도록 설계된 허위 동영상 콘텐츠를 오랫동안 포함해 온 이 캠페인의 기존 전술이 AI의 지원을 받아 발전한 형태일 가능성이 높습니다.

확인된 사례에서 위협 행위자들은 거짓 메시지를 전달하기 위해 원본 동영상을 조작한 것으로 보입니다. 이 콘텐츠는 세로 형태의 원본 동영상에 몽타주와 합성 오디오를 이어 붙여 허위의 오해를 불러일으키는 메시지를 생성한 것으로 보입니다. 원본 목소리와 매우 유사하다는 점은 AI 도구가 사용되었음을 시사합니다 (그림 7 참조).

LLM에 대한 난독화 및 확장 가능한 액세스

생성형 AI 환경이 성숙해짐에 따라 위협 행위자들이 이러한 모델을 조달하고 운영하는 방식이 단순한 실험에서 산업적 규모의 소비로 변화했습니다. 이전에 사이버 암시장에서 제공되는 AI 도구 및 서비스를 조명한 바 있지만, 우리는 국가 지원 및 사이버 범죄 위협 행위자들이 악성 활동을 수행하는 과정에서 상용 파운데이션 모델(Foundation models)과 AI 네이티브 애플리케이션 구축 플랫폼을 지속적으로 활용하는 것을 관찰하고 있습니다.

이러한 도구를 사용하는 과정에서 GTIG는 안전 장치(Safety guardrails)와 과금 제한을 우회하도록 설계된 맞춤형 미들웨어, 프록시 릴레이, 자동화된 등록 파이프라인 등의 신흥 생태계가 정교하게 진화하는 것을 확인했습니다. 위협 행위자들은 안티 디텍트 브라우저(Anti-detect browsers)와 계정 풀링 서비스를 활용하여 프리미엄 LLM 등급에 대한 대규모의 익명화된 액세스를 유지하려 시도하고 있습니다. 이를 통해 무료 평가판 남용과 프로그래밍 방식의 계정 교체(Account cycling)로 운영 비용을 충당하면서 자신의 공격 워크플로우를 사실상 산업화하고 있습니다.

이러한 난독화 행위를 완화하기 위해, LLM 제공업체는 AI 관련 API 통합 도구와 연관된 네트워크 인프라 데이터를 분석하는 신호 로직(Signal logic)을 구축할 수 있습니다. 이러한 데이터는 본 보고서에서 강조한 대응 및 차단 노력을 뒷받침하는 데 중요한 역할을 합니다.

표적(Target)으로서의 AI

조직들이 대규모 언어 모델(LLM)을 운영 환경(Production environments)에 지속적으로 통합함에 따라, AI 소프트웨어 생태계가 익스플로잇의 주요 표적으로 부상하고 있습니다. 파운데이션 모델(Frontier models) 자체는 직접적인 침해에 대해 여전히 높은 복원력을 유지하고 있지만, 오픈소스 래퍼(Wrapper) 라이브러리, API 커넥터, 스킬 구성(Configuration) 파일 등을 포함하는 오케스트레이션(Orchestration) 계층은 취약할 수 있습니다. GTIG는 공격자들이 자율 기술(Autonomous skills)이나 서드파티 데이터 커넥터와 같이 AI 시스템에 유용성을 부여하는 '통합된 구성 요소'를 점점 더 노리고 있음을 관찰했습니다.

AI 구성 요소에 대한 공급망 공격 

2026년 초 전반에 걸쳐 관찰된 바에 따르면, 위협 행위자들은 아직 파운데이션 모델의 핵심 보안 로직을 우회할 만큼의 획기적인 역량을 확보하지는 못했습니다. 대신, 이들은 널리 쓰이는 통합 라이브러리에 악성 로직을 심거나 트로이 목마(Trojanized) 구성 파일을 배포하는 등 전통적인 공급망 공격 전술을 활용하여 AI 운영 환경에 대한 초기 접근 권한(Initial access)을 확보하고 있습니다. 이러한 사고들은 Secure AI Framework (SAIF) 분류 체계에 명시된 위험과 자주 일치하며, 특히 다음 두 가지 유형이 두드러집니다.

• 불안전하게 통합된 구성요소 (IIC, Insecure Integrated Component): 시스템 전체의 무결성을 해치는 침해된 외부 종속성(Dependencies)의 포함.

• 악성 작업 (RA, Rogue Actions): 승인되지 않은 명령을 실행하거나 자격 증명을 탈취하기 위해 상승된 권한(Elevated permissions)을 가진 AI 시스템의 악용.

무기화된 OpenClaw 스킬 

이러한 위험은 2026년 2월 초, VirusTotal 연구원들이 OpenClaw AI 에이전트 생태계와 관련된 보안 위험(악의적이거나 안전하지 않은 스킬 패키지를 통해 유입되는 AI 소프트웨어 공급망 위험 및 취약점 포함)을 보고하면서 더욱 분명하게 드러났습니다. 가장 주목할 만한 점은 호스트 시스템에서 승인되지 않은 코드와 명령을 실행하도록 설계된 숨겨진 루틴을 포함한 채, 정상적인 OpenClaw 스킬로 위장한 악성 패키지가 배포되는 것을 관찰했다는 것입니다. OpenClaw에 부여된 높은 수준의 시스템 접근 권한을 고려할 때, 스킬(Skill)은 코드 실행, 추가 페이로드 다운로드, 로컬 데이터 탐색 및 탈취 등 다양한 권한 기반 작업(Privileged actions)을 수행하는 데 악용될 수 있습니다.

게다가 본질적으로 악의적인 목적이 아닐지라도, 불안전한 패키지는 사용자들을 추가적인 위험에 노출시킬 수 있습니다. 자격 증명이나 인증 정보와 같은 민감한 정보를 처리할 때 안전한 보안 관행을 적용하지 않는 정상적인 스킬은 의도치 않게 이러한 정보를 공격자에게 노출할 수 있습니다. 이로 인해 해당 정보는 프롬프트 인젝션(Prompt injection), 다른 악성 스킬, 또는 인포스틸러(Infostealers)와 같은 전통적인 멀웨어 위협에 의한 탈취에 취약해질 수 있습니다.

악성 또는 불안전한 스킬과 에이전트 구성 요소의 위험이 OpenClaw 플랫폼에만 국한된 것은 아니지만, 이러한 패키지의 발견은 AI 개발 플랫폼과 더 넓은 에이전틱(Agentic) 생태계에서 공격 표면(Attack surface)이 지속적으로 확장되고 있음을 보여줍니다. 더욱이 합법적인 스킬 중에서 악성 패키지를 식별하고 구별해 내는 어려움은 방어자에게 상당한 과제를 안겨줍니다. 이러한 감염 벡터는 본질적으로 기회주의적 성향을 띠지만, 스킬을 쉽게 만들고 배포할 수 있다는 점은 사용자 시스템에 접근하려는 수많은 위협 행위자들에게 매우 매력적인 선택지가 될 수 있습니다.

이러한 공급망 리스크를 완화하기 위해 OpenClaw는 VirusTotal과 협력하여 자사의 공개 스킬 마켓플레이스인 ClawHub에 자동화된 보안 스캐닝 기능을 직접 통합했습니다. 이제 저장소에 게시되는 모든 스킬은 VirusTotal의 Code Insight 기능을 사용하여 자동으로 분석됩니다. 이 기능은 패키지의 실제 코드 동작을 평가하여 승인되지 않은 네트워크 작업, 악성 페이로드 또는 안전하지 않은 내장 명령(Embedded instructions)을 탐지합니다. 이러한 보안 중심 분석 결과에 따라 스킬은 무해한 것으로 승인되거나, 사용자 경고가 표시되거나, 혹은 완전히 차단됨으로써 생태계 남용에 대한 필수적인 방어 계층을 제공합니다.

침해된 코드 패키지 

2026년 3월 말, 사이버 범죄 위협 행위자인 "TeamPCP"(일명 UNC6780)는 Trivy 취약점 스캐너, Checkmarx, LiteLLM, BerriAI 등 유명 GitHub 저장소(Repository) 및 관련 GitHub Actions에 대한 여러 건의 공급망 침해 공격이 자신들의 소행이라고 주장했습니다. Mandiant는 이 활동과 관련된 다수의 침해 사고 대응(IR) 업무를 수행하며, 공급망 공격의 광범위한 파급력을 재차 확인했습니다.

TeamPCP는 침해된 PyPI 패키지와 이러한 GitHub 저장소에 대한 악의적인 풀 리퀘스트(Pull requests)를 통해 초기 접근 권한을 얻었습니다. 그런 다음 이들은 GitHub 저장소에 대한 접근 권한을 활용하여 SANDCLOCK 자격 증명 탈취용 멀웨어를 임베드하고, 영향을 받은 빌드 환경에서 직접 AWS 키 및 GitHub 토큰과 같은 고가치의 클라우드 기밀(Secrets)을 유출했습니다. 이렇게 훔친 자격 증명은 랜섬웨어 및 데이터 탈취 기반 갈취 그룹과의 파트너십을 통해 금전화(Monetized)되었습니다.

여러 LLM 제공업체를 통합하기 위한 AI 게이트웨이 유틸리티인 LiteLLM의 침해 사례는 특히 주목할 만합니다. 이는 AI 플랫폼의 공격 표면이 얼마나 확장되고 있는지, 그리고 소프트웨어 공급망 전반에 미칠 수 있는 잠재적 영향력이 얼마나 큰지를 여실히 보여줍니다. 해당 패키지가 널리 사용되고 있다는 점을 고려할 때, 이 사고는 피해자의 AI API 기밀(Secrets)을 상당한 수준으로 노출시킬 수 있으며, 공격자는 이를 악용하여 전통적인 침해 활동을 위한 시스템 추가 접근 권한을 확보할 수 있습니다.

더 나아가, AI 관련 종속성에 대한 이와 유사한 공격은 공격자들에게 고유한 AI 시스템에 접근할 수 있는 권한을 부여하여, 새로운 AI 중심의 공격을 수행하고 이를 전통적인 침투 작전을 지원하는 데 활용하도록 할 수 있습니다. 공격자들은 이 벡터를 이용해 데이터 탈취나 랜섬웨어와 같은 전통적인 금전 목적의 활동을 위해 기업 인프라로 수평 이동(Pivot)할 수 있을 뿐만 아니라, AI 시스템을 사용하여 자신들의 작전을 직접적으로 용이하게 만들 수 있습니다. 예를 들어, 조직의 AI 시스템에 접근 권한이 있는 위협 행위자는 내부 모델과 도구를 활용하여 대규모로 민감한 정보를 식별, 수집, 유출하거나 네트워크 더 깊숙한 곳으로 이동하기 위한 정찰 작업을 수행할 수 있습니다. 접근 수준과 구체적인 활용 방식은 피해 조직과 특정하게 침해된 종속성에 따라 크게 달라지겠지만, 이 사례 연구는 AI 시스템을 겨냥한 소프트웨어 공급망 위협의 범위가 한층 넓어졌음을 실증적으로 보여줍니다.

안전하고 책임감 있는 AI 구축

우리는 AI에 대한 접근 방식이 과감하면서도 동시에 책임감이 있어야 한다고 믿습니다. 이는 과제들을 해결해 나가는 동시에 사회에 미치는 긍정적인 이점을 극대화하는 방향으로 AI를 개발하는 것을 의미합니다. 구글은 당사의 AI 원칙(AI Principles)에 따라 강력한 보안 조치와 확고한 안전장치를 갖춘 AI 시스템을 설계하고 있으며, 모델을 개선하기 위해 지속적으로 모델의 보안과 안전성을 테스트하고 있습니다.

당사의 정책 가이드라인(Policy guidelines)과 금지된 사용 정책(Prohibited use policies)은 구글 생성형 AI 도구의 안전성과 책임감 있는 사용을 최우선으로 합니다. 구글의 **정책 개발 프로세스**에는 새로운 트렌드를 식별하고, 전 단계를 아우르는 거시적 사고(Thinking end-to-end)를 적용하며, 안전을 고려한 설계(Designing for safety)를 수행하는 과정이 포함됩니다. 우리는 전 세계 사용자들에게 확장 가능한(Scaled) 보호 기능을 제공하기 위해 자사 제품의 안전장치를 지속적으로 강화하고 있습니다.

구글은 위협 행위자들의 작전을 교란하기 위해 위협 인텔리전스(Threat intelligence)를 활용합니다. 우리는 정부의 지원을 받는 위협 행위자의 악의적인 사이버 활동을 포함하여 당사의 제품, 서비스, 사용자 및 플랫폼에 대한 남용(Abuse) 사례를 조사하며, 적절한 경우 사법 기관과 협력합니다. 나아가 악의적인 활동에 대응하며 얻은 교훈은 AI 모델의 안전성과 보안성을 개선하기 위해 제품 개발 과정에 다시 반영(Fed back)됩니다. 분류기(Classifiers)와 모델 수준 모두에 적용될 수 있는 이러한 변화는 방어의 민첩성을 유지하고 추가적인 남용을 방지하는 데 필수적입니다.

또한 Google DeepMind는 잠재적인 취약점을 식별하기 위해 생성형 AI에 대한 위협 모델(Threat models)을 개발하고, 남용 문제를 해결하기 위한 새로운 평가 및 훈련 기법을 고안하고 있습니다. 이러한 연구와 더불어 Google DeepMind는 AI 시스템에 방어 메커니즘을 어떻게 적극적으로 배포하고 있는지 공유해 왔습니다. 여기에는 간접적인 프롬프트 인젝션 공격에 대한 AI 취약점을 자동으로 레드팀(Red team) 테스트할 수 있는 강력한 평가 프레임워크를 비롯한 측정 및 모니터링 도구들이 포함됩니다.

당사의 AI 개발 및 신뢰/안전(Trust & Safety) 팀 역시 남용을 막기 위해 위협 인텔리전스, 보안 및 모델링 팀과 긴밀하게 협력하고 있습니다.

AI, 특히 생성형 AI의 잠재력은 막대합니다. 혁신이 나아감에 따라 업계에는 AI를 책임감 있게 구축하고 배포하기 위한 보안 표준이 필요합니다. 이것이 바로 우리가 AI 시스템을 보호하기 위한 개념적 프레임워크인 SAIF(Secure AI Framework)를 도입한 이유입니다. 우리는 책임감 있게 AI 모델을 설계, 구축, 평가하기 위한 리소스와 지침을 포함한 포괄적인 개발자용 툴킷을 공유해 왔습니다. 또한 안전장치 구현(Implementing safeguards), 모델 안전성 평가(Evaluating model safety), AI 시스템을 테스트하고 보호하기 위한 레드팀 운영(Red teaming), 그리고 당사의 포괄적인 프롬프트 인젝션 대응 방식(Prompt injection approach)에 대한 모범 사례를 공유했습니다.

모든 사용자를 위해 더 강력한 보호 체계를 구축하려면 업계 파트너들과의 긴밀한 협력이 무엇보다 중요합니다. 이를 위해 우리는 CoSAI(Coalition for Secure AI)를 통한 보안 전문가들 및 수많은 연구원들과 강력한 협력 파트너십을 맺게 된 것을 행운으로 생각합니다. 레드팀 훈련과 방어 체계 개선에 도움을 주는 이들 연구원들과 커뮤니티 관계자들의 노력에 감사드립니다.

또한 구글은 지속적으로 AI 연구에 투자하여 **AI가 책임감 있게 구축**되도록 보장하고, AI의 잠재력을 활용하여 자동으로 위험을 찾아내는 데 힘쓰고 있습니다. 작년에 우리는 소프트웨어에 숨겨진 알려지지 않은 보안 취약점을 적극적으로 탐색하고 찾아내는, Google DeepMind와 Google Project Zero가 공동 개발한 AI 에이전트인 Big Sleep을 소개했습니다. 이후 Big Sleep은 현실 세계에서 첫 번째 보안 취약점을 발견해 냈으며, 위협 행위자들이 곧바로 사용할 뻔했던 취약점을 찾는 데 기여함으로써 GTIG가 사전에 공격을 차단할 수 있도록 도왔습니다. 우리는 취약점을 찾는 것뿐만 아니라 이를 패치(Patch)하는 데에도 AI를 활용하는 실험을 진행하고 있습니다. 최근 우리는 Gemini 모델의 고급 추론 능력을 사용하여 심각한 코드 취약점을 자동으로 수정하는 실험적인 AI 기반 에이전트인 CodeMender를 선보였습니다.

저자 소개 

구글 위협 인텔리전스 그룹(GTIG, Google Threat Intelligence Group)은 알파벳(Alphabet), 당사의 사용자 및 고객을 향한 모든 종류의 사이버 위협을 식별, 분석, 완화 및 제거하는 데 주력하고 있습니다. 우리의 업무에는 정부의 지원을 받는 해커 그룹, 표적형 제로데이 익스플로잇, 조직화된 정보 작전(IO), 그리고 심각한 사이버 범죄 네트워크의 위협에 대응하는 활동이 포함됩니다. 우리는 인텔리전스를 적용하여 구글의 방어 체계를 개선하고 사용자와 고객을 보호합니다.

부록

MITRE ATLAS

MITRE ATT&CK