GTIG AI 위협 트래커: 공격자들의 AI 실험은 계속된다 - 기술의 정제, 새로운 시도, 끝나지 않는 악용

해당 블로그의 원문은 2026년 2월 13일 Google Cloud 블로그(영문)에 게재되었습니다. 

소개

2025년 4분기, 구글 위협 인텔리전스 그룹(GTIG)은 위협 행위자들이 공격 라이프사이클을 가속화하고, 정찰, 사회 공학, 악성코드 개발에서 생산성을 높이기 위해 인공지능(AI)을 점점 더 많이 통합하는 것을 관찰했습니다. 이 보고서는 AI 도구 사용의 진전에 관한 저희의 2025년 11월 조사 결과에 대한 업데이트입니다.

GTIG는 이러한 초기 지표와 공격적인 개념 증명(Proof of Concept)을 식별함으로써, 방어자들이 AI 기반 위협의 다음 단계를 예측하고, 악의적인 활동을 선제적으로 차단하며, 저희의 분류기와 모델을 지속적으로 강화하는 데 필요한 인텔리전스를 제공하는 것을 목표로 합니다.

주요 요약

구글 딥마인드와 GTIG는 구글의 서비스 약관을 위반하는 지적 재산 절도 방식인 '모델 추출' 또는 '증류 공격(distillation attacks)' 시도가 증가했음을 확인했습니다. 이 보고서 전반에 걸쳐, 저희는 구글이 모델 추출 활동을 탐지, 차단 및 완화하는 것을 포함하여 악의적인 활동을 저지하기 위해 취한 조치들을 언급했습니다. 저희는 APT(지능형 지속 위협) 행위자에 의한 프론티어 모델이나 생성형 AI 제품에 대한 직접적인 공격은 관찰하지 못했지만, 전 세계 민간 부문 기업과 독점적인 로직을 복제하려는 연구원들로부터 빈번한 모델 추출 공격을 관찰하고 완화했습니다.

정부 지원을 받는 위협 행위자들에게 거대 언어 모델(LLM)은 기술 연구, 표적 선정, 정교한 피싱 미끼의 신속한 생성을 위한 필수적인 도구가 되었습니다. 이 분기별 보고서는 2025년 말 북한(DPRK), 이란, 중화인민공화국(PRC), 러시아의 위협 행위자들이 어떻게 AI를 작전에 활용했는지를 조명하고, 저희가 실제 환경에서 차단하는 캠페인에서 생성형 AI의 적대적 오용이 어떻게 나타나는지에 대한 이해를 높여줍니다. GTIG는 아직 APT나 정보 작전(IO) 행위자들이 위협 환경을 근본적으로 바꾸는 획기적인 역량을 달성한 것은 관찰하지 못했습니다.

이 보고서는 특히 다음을 살펴봅니다.

• 모델 추출 공격: 지난 1년간 지적 재산 절도 방식으로 '증류 공격'이 증가하고 있습니다.

• AI 증강 작전: 실제 사례 연구는 그룹들이 어떻게 정찰과 관계 형성 기반의 피싱을 효율화하고 있는지를 보여줍니다.

• 에이전틱(Agentic) AI: 위협 행위자들이 악성코드 및 도구 개발을 지원하기 위해 에이전틱 AI 역량을 구축하는 데 관심을 보이기 시작했습니다.

• AI 통합 악성코드: 2차 악성코드의 다운로드 및 실행을 가능하게 하는 코드를 생성하기 위해 제미나이(Gemini)의 API(애플리케이션 프로그래밍 인터페이스)를 사용하는 실험을 하는 HONESTCUE와 같은 새로운 악성코드 패밀리가 등장했습니다.

• 지하 "탈옥(Jailbreak)" 생태계: Xanthorox와 같은 악의적인 서비스가 지하 시장에 등장하고 있으며, 실제로는 탈옥된 상용 API와 오픈소스 모델 컨텍스트 프로토콜(MCP) 서버에 의존하면서도 독립적인 모델이라고 주장합니다.

구글은 AI를 과감하고 책임감 있게 개발하기 위해 최선을 다하고 있으며, 이는 악의적인 행위자와 관련된 프로젝트 및 계정을 비활성화하여 악성 활동을 선제적으로 차단하는 조치를 취하는 한편, 오용에 덜 취약하도록 모델을 지속적으로 개선하는 것을 의미합니다. 저희는 또한 방어자들을 무장시키고 생태계 전반에 걸쳐 더 강력한 보호를 가능하게 하기 위해 업계 모범 사례를 선제적으로 공유합니다. 이 보고서 전반에 걸쳐, 저희는 자산을 비활성화하고, 앞으로의 오용으로부터 보호되도록 분류기와 모델을 강화하기 위해 인텔리전스를 적용하는 등 악의적인 활동을 저지하기 위해 취한 조치들을 언급합니다. 제미나이를 보호하고 방어하는 방법에 대한 추가적인 세부 정보는 백서 "제미나이의 보안 보호 장치 발전"에서 찾을 수 있습니다.

직접적인 모델 위험: 모델 추출 공격 차단

모델 추출 공격이란 무엇인가?

모델 추출 공격(MEA, Model Extraction Attacks)은 공격자가 합법적인 접근 권한을 사용하여 성숙한 머신러닝 모델을 체계적으로 탐색하고, 새로운 모델을 훈련하는 데 사용되는 정보를 추출할 때 발생합니다. MEA에 가담하는 공격자들은 지식 증류(KD, Knowledge Distillation)라는 기술을 사용하여 한 모델에서 얻은 정보를 다른 모델로 지식을 이전합니다. 이러한 이유로 MEA는 종종 "증류 공격"이라고도 불립니다.

모델 추출과 뒤이은 지식 증류는 공격자가 AI 모델 개발을 빠르고 훨씬 저렴한 비용으로 가속화할 수 있게 해줍니다. 이 활동은 사실상 지적 재산(IP) 절도의 한 형태입니다.

지식 증류(KD)는 기존의 "교사" 모델로부터 "학생" 모델을 훈련시키는 데 사용되는 일반적인 머신러닝 기술입니다. 이는 종종 특정 영역의 문제에 대해 교사 모델에 질의하고, 그 결과에 대해 지도 기반 미세 조정(SFT, Supervised Fine Tuning)을 수행하거나, 그 결과를 다른 모델 훈련 절차에 활용하여 학생 모델을 생성하는 과정을 포함합니다. 증류에는 합법적인 사용 사례가 있으며, 구글 클라우드는 증류를 수행하기 위한 기존 서비스를 제공합니다. 그러나 구글의 제미나이(Gemini) 모델로부터 허가 없이 증류하는 것은 저희의 서비스 약관을 위반하는 것이며, 구글은 이러한 시도를 탐지하고 완화하기 위한 기술을 계속해서 개발하고 있습니다.

구글 딥마인드와 GTIG는 전 세계 연구원 및 민간 기업들로부터 시작된 모델 탈취 및 역량 추출 시도, 즉 모델 추출 공격을 식별하고 차단했습니다.

모델 추출 및 증류 공격의 위험성

모델 추출 및 증류 공격은 AI 서비스의 기밀성, 가용성 또는 무결성을 위협하지 않기 때문에 일반적으로 평균적인 사용자에게는 위험을 초래하지 않습니다. 대신, 그 위험은 모델 개발자와 서비스 제공업체에 집중됩니다.

AI 모델을 서비스로 제공하는 조직은 API 접근에서 추출 또는 증류 패턴을 모니터링해야 합니다. 예를 들어, 금융 데이터 분석을 위해 맞춤 조정된 모델은 파생 제품을 만들려는 상업적 경쟁자의 표적이 될 수 있으며, 코딩 모델은 가드레일(안전장치)이 없는 환경에서 기능을 복제하려는 공격자의 표적이 될 수 있습니다.

AI로 강화된 적대적 활동의 주요 내용

지난 한 해 동안 일관되게 발견된 사실은 정부의 지원을 받는 공격자들이 코딩 및 스크립팅 작업, 잠재적 표적에 대한 정보 수집, 공개적으로 알려진 취약점 연구, 침투 후 활동 지원 등을 위해 제미나이(Gemini)를 악용한다는 것입니다. 2025년 4분기에 GTIG는 위협 행위자들의 제미나이 악용과 실제 환경에서의 활동 사이에 직간접적인 연관성을 확인함으로써, 이러한 노력이 실제 작전으로 어떻게 전환되는지에 대한 이해를 높였습니다.

정찰 및 표적 개발 지원

APT 행위자들은 초기 침투를 용이하게 하기 위해 정찰 및 표적 개발에 초점을 맞추는 등, 공격 라이프사이클의 여러 단계를 지원하기 위해 제미나이(Gemini)를 사용했습니다. 이러한 활동은 AI로 강화된 피싱 지원으로의 전환을 강조하며, LLM의 속도와 정확성은 전통적으로 피해자 프로파일링에 필요했던 수작업을 생략할 수 있게 합니다.

LLM은 피싱 미끼를 위한 콘텐츠 생성 외에도, 공격의 정찰 단계에서 전략적인 전력 증강 요소(force multiplier) 역할을 할 수 있습니다. 이를 통해 위협 행위자들은 오픈소스 인텔리전스(OSINT)를 신속하게 종합하여 고가치 표적을 프로파일링하고, 방위 산업 분야 내 핵심 의사 결정자를 식별하며, 조직 계층 구조를 파악할 수 있습니다. 이러한 도구를 자신들의 워크플로우에 통합함으로써, 위협 행위자들은 초기 정찰에서 실제 공격으로 더 빠르고 광범위하게 전환할 수 있습니다.

• UNC6418, 귀속되지 않은 위협 행위자는 제미나이를 악용하여 민감한 계정 자격 증명과 이메일 주소를 찾아내는 등 표적 정보 수집을 수행했습니다. 그 직후, GTIG는 해당 위협 행위자가 우크라이나와 방위 산업 분야에 초점을 맞춘 피싱 캠페인에서 이 모든 계정을 표적으로 삼는 것을 관찰했습니다. 구글은 이 활동과 관련된 자산을 비활성화함으로써 이 행위자에 대해 조치를 취했습니다.

• Temp.HEX, 중국(PRC) 기반 위협 행위자는 제미나이 및 기타 AI 도구를 악용하여 파키스탄의 표적을 포함한 특정 개인에 대한 상세 정보를 수집하고, 여러 국가의 분리주의 조직에 대한 운영 및 구조 데이터를 수집했습니다. 저희는 이 연구의 결과로 직접적인 표적 공격을 목격하지는 않았지만, 그 직후 해당 위협 행위자는 파키스탄의 유사한 표적을 자신들의 캠페인에 포함시켰습니다. 구글은 이 활동과 관련된 자산을 비활성화함으로써 이 행위자에 대해 조치를 취했습니다.

피싱 공격의 고도화

방어자와 공격 대상은 오랫동안 문법 오류, 어색한 문장 구조, 문화적 맥락의 부재와 같은 지표에 의존하여 피싱 시도를 식별해왔습니다. 이제 위협 행위자들은 LLM(거대 언어 모델)을 활용하여, 표적 조직의 전문적인 톤이나 현지 언어를 모방할 수 있는 고도로 개인화되고 문화적으로 정교한 미끼를 생성하고 있습니다.

이러한 능력은 단순한 이메일 생성을 넘어 '관계 형성 피싱(rapport-building phishing)'으로 확장됩니다. 이는 악성 페이로드를 전달하기 전에 피해자와의 신뢰를 구축하기 위해, 여러 차례에 걸쳐 믿을 만한 대화를 유지하는 데 모델을 사용하는 방식입니다. 비원어민의 진입 장벽을 낮추고 고품질 콘텐츠 생성을 자동화함으로써, 공격자들은 피싱을 암시하는 '단서'들을 거의 없애고 사회 공학적 공격의 효과를 높일 수 있습니다.

• 이란 정부의 지원을 받는 행위자인 APT42는 제미나이(Gemini)를 포함한 생성형 AI 모델을 활용하여 정찰 및 표적 사회 공학을 크게 강화했습니다. APT42는 제미나이를 악용하여 특정 기관의 공식 이메일을 검색하고, 잠재적인 비즈니스 파트너에 대한 정찰을 수행하여 접근을 위한 신뢰할 수 있는 명분을 만듭니다. 여기에는 특정 기관의 공식 이메일 주소를 알아내려는 시도와, 접근을 위한 신뢰할 수 있는 명분을 설정하기 위한 조사가 포함됩니다. APT42는 제미나이에 표적의 신상 정보를 제공하여, 표적으로부터 반응을 얻어내기 위해 적절한 페르소나나 시나리오를 만드는 데 제미나이를 악용했습니다. GTIG가 추적하는 많은 위협 행위자들과 마찬가지로, APT42는 현지 언어로 양방향 번역을 하거나, 비모국어 구문 및 참조 자료를 더 잘 이해하기 위해 제미나이를 사용합니다. 구글은 이 활동과 관련된 자산을 비활성화함으로써 이 행위자에 대해 조치를 취했습니다.

• 북한 정부의 지원을 받는 행위자인 UNC2970은 지속적으로 방산 분야를 표적으로 삼고 캠페인에서 기업 채용 담당자를 사칭해왔습니다. 이 그룹은 제미나이를 사용하여 오픈소스 인텔리전스(OSINT)를 종합하고 고가치 표적을 프로파일링하여 캠페인 계획 및 정찰을 지원했습니다. 이 행위자의 표적 프로파일링에는 주요 사이버 보안 및 방산 기업에 대한 정보 검색, 특정 기술 직무 및 급여 정보 매핑이 포함되었습니다. 이 활동은 일상적인 전문 연구와 악의적인 정찰 사이의 경계를 모호하게 만듭니다. 행위자는 정교하게 맞춤화된 고충실도 피싱 페르소나를 만들고 초기 침투를 위한 잠재적인 공격 대상을 식별하는 데 필요한 요소들을 수집합니다. 구글은 이 활동과 관련된 자산을 비활성화함으로써 이 행위자에 대해 조치를 취했습니다.

위협 행위자들, 코딩 및 도구 개발 지원을 위해 AI 계속 사용

APT31은 전문가 수준의 사이버 보안 페르소나로 제미나이(Gemini)에 프롬프트를 입력하여 취약점 분석을 자동화하고 표적화된 테스트 계획을 생성하는 등, 매우 체계적인 접근 방식을 사용했습니다. 이 중국(PRC) 기반 위협 행위자는 한 사례에서 Hexstrike MCP 툴링을 시험하는 시나리오를 만들어, 모델에게 특정 미국 기반 표적에 대한 원격 코드 실행(RCE), 웹 애플리케이션 방화벽(WAF) 우회 기술, SQL 인젝션 테스트 결과를 분석하도록 지시했습니다. 이는 기술적 취약점과 조직의 방어 약점을 식별하기 위한 자동화된 정보 수집 활동입니다. 이러한 활동은 일상적인 보안 평가 쿼리와 표적화된 악의적 정찰 작전 사이의 경계를 명확히 흐립니다. 구글은 이 활동과 관련된 자산을 비활성화함으로써 이 행위자에 대해 조치를 취했습니다.

UNC795라는 중국(PRC) 기반 행위자는 공격 라이프사이클 전체에 걸쳐 제미나이(Gemini)에 크게 의존했습니다. GTIG는 이 그룹이 코드 문제 해결, 조사 수행, 침투 활동을 위한 기술 역량 생성을 위해 일주일에 여러 날 지속적으로 제미나이를 사용하는 것을 관찰했습니다. 이 위협 행위자의 활동은 안전 시스템을 작동시켰고, 제미나이는 정책을 위반하는 기능을 만들려는 행위자의 시도에 응하지 않았습니다.

이 그룹은 또한 AI 통합 코드 감사 기능을 만들기 위해 제미나이를 사용했으며, 이는 침투 활동을 지원하기 위한 에이전틱(agentic) AI 유틸리티에 대한 관심을 보여주는 것으로 보입니다. 구글은 이 활동과 관련된 자산을 비활성화함으로써 이 행위자에 대해 조치를 취했습니다.

앞서 언급한 사회 공학적 캠페인을 위해 제미나이(Gemini)를 활용하는 것 외에도, 이란 위협 행위자인 APT42는 특화된 악성 도구 개발을 가속화하기 위해 제미나이를 엔지니어링 플랫폼으로 사용합니다. 이 위협 행위자는 디버깅, 코드 생성, 공격 기술 연구에 제미나이를 활용하며 새로운 악성코드와 공격 도구를 적극적으로 개발하고 있습니다. 구글은 이 활동과 관련된 자산을 비활성화함으로써 이 행위자에 대해 조치를 취했습니다.

정보 작전 지원을 위한 제미나이(Gemini) 활용

AI 기반 멀웨어 실험의 지속

2025년 후반, GTIG는 위협 행위자들이 멀웨어 제품군에 새로운 기능을 구현하기 위해 AI를 실험하는 것을 지속적으로 관찰했습니다. 위협 환경에 혁신적인 패러다임 전환을 가져온 실험적인 AI 지원 기술은 아직 발견하지 못했지만, 이러한 개념 증명 멀웨어 제품군은 위협 행위자들이 향후 작전의 일환으로 AI 기술을 구현할 수 있는 방법을 보여주는 초기 지표입니다. 이러한 탐색적 테스트는 앞으로 더욱 증가할 것으로 예상됩니다.

새로운 기능에 대한 지속적인 실험 외에도, 2025년 후반 내내 GTIG는 위협 행위자들이 COINBAIT 피싱 키트와 같은 침입 작전에 기존의 AI 생성 기능을 통합하는 것을 관찰했습니다. 저희는 위협 행위자들이 멀웨어 생성 지원, 기존 멀웨어 개선, 취약점 연구, 정찰 수행 및/또는 유인 콘텐츠 생성을 포함한 공격 수명 주기 전반에 걸쳐 AI를 계속 통합할 것으로 예상합니다.

기능 아웃소싱: HONESTCUE

2025년 9월, GTIG는 저희가 HONESTCUE로 추적하는 멀웨어 샘플이 Gemini의 API를 활용하여 기능 생성을 아웃소싱하는 것을 관찰했습니다. HONESTCUE 멀웨어 샘플에 대한 저희의 조사에 따르면, 적의 AI 통합은 기존의 네트워크 기반 탐지 및 정적 분석을 약화시켜 다층적인 난독화 접근 방식을 지원하도록 설계되었을 가능성이 높습니다.

HONESTCUE는 Google Gemini의 API를 통해 프롬프트를 보내고 응답으로 C# 소스 코드를 수신하는 다운로더 및 실행기 프레임워크입니다. 특히, HONESTCUE는 이전에 관찰한 PROMPTFLUX의 'JIT(Just-In-Time)' 기술과 유사한 기능을 공유합니다. 그러나 자체 업데이트를 위해 LLM을 활용하는 대신, HONESTCUE는 Gemini API를 호출하여 다른 멀웨어를 다운로드하고 실행하는 '2단계' 기능을 작동시키는 코드를 생성합니다. 또한, HONESTCUE의 파일 없는 2차 단계는 Gemini API에서 수신한 C# 소스 코드를 사용하여 합법적인 .NET CSharpCodeProvider 프레임워크를 통해 페이로드를 메모리에서 직접 컴파일하고 실행합니다. 이 접근 방식은 디스크에 페이로드 아티팩트를 남기지 않습니다. 저희는 또한 위협 행위자가 최종 페이로드를 호스팅하기 위해 Discord CDN과 같은 콘텐츠 전송 네트워크(CDN)를 사용하는 것을 관찰했습니다.

저희는 이 멀웨어를 기존의 어떤 위협 활동 클러스터와도 연관시키지 않았습니다. 하지만, 어느 정도의 기술적 전문 지식을 가진 개발자들이 이 멀웨어를 개발하고 있는 것으로 의심하고 있습니다. 구체적으로, 많은 샘플에 걸쳐 나타나는 작은 반복적 변화와 바이러스 백신 기능을 테스트했을 가능성이 있는 단일 VirusTotal 제출자는 단독 행위자 또는 소규모 그룹의 소행임을 시사합니다. 또한, 페이로드 전달을 테스트하기 위해 Discord를 사용하고 Discord 봇을 제출한 것은 기술적으로 정교함이 제한된 행위자임을 나타냅니다. 검사된 멀웨어 샘플의 반복적인 진행 과정과 결합된 아키텍처의 일관성과 명확성은 이것이 구현의 개념 증명 단계에 있을 가능성이 높은 단독 행위자 또는 소규모 그룹임을 강력하게 시사합니다.

AI 생성 피싱 키트: COINBAIT

2025년 11월, GTIG는 자격 증명 수집을 위해 주요 암호화폐 거래소로 위장한 피싱 키트인 COINBAIT을 식별했으며, 이 키트의 제작은 AI 코드 생성 도구에 의해 가속화되었을 가능성이 높습니다. 저희는 직접적인 인프라 중복 및 귀속된 도메인 사용을 근거로, 이 활동의 일부가 UNC5356과 중첩된다고 높은 확신을 가지고 평가합니다. UNC5356은 금융 기관, 암호화폐 관련 회사 및 기타 다양한 인기 비즈니스 및 서비스의 고객을 대상으로 SMS 및 전화 기반 피싱 캠페인을 사용하는 재정적 동기가 부여된 위협 클러스터입니다.

멀웨어 샘플을 조사한 결과, lovableSupabase 클라이언트 사용과 이미지 호스팅에 lovable.app을 사용한 것을 근거로 이 키트가 AI 기반 플랫폼인 Lovable AI를 사용하여 구축되었음을 알 수 있습니다.

• 행위자는 합법적이고 신뢰할 수 있는 서비스에 콘텐츠를 호스팅함으로써, 의심스러운 기본 도메인을 차단했을 네트워크 보안 필터를 우회할 가능성을 높입니다.

• 피싱 키트는 복잡한 상태 관리 및 라우팅을 갖춘 전체 React 단일 페이지 애플리케이션(SPA)으로 래핑되었습니다. 이러한 복잡성은 Lovable AI와 같은 프레임워크를 사용하여 높은 수준의 프롬프트(예: "지갑 복구를 위한 Coinbase 스타일 UI 생성")로 생성된 코드임을 나타냅니다.

• LLM 사용의 또 다른 주요 지표는 멀웨어의 소스 코드 내에 상세하고 개발자 지향적인 로깅 메시지가 있다는 것입니다. "? Analytics:"라는 접두사가 일관되게 붙는 이러한 메시지는 키트의 악의적인 추적 및 데이터 유출 활동에 대한 실시간 추적을 제공하며 이 코드 제품군에 대한 고유한 지문 역할을 합니다.

저희는 또한 이 그룹이 자신들의 작전을 위해 Cloudflare를 통해 피싱 도메인을 프록시하여 공격자 IP 주소를 난독화하고 피싱 페이지의 이미지 자산을 Lovable AI에서 직접 핫링크하는 등 인프라 및 회피 전술을 사용하는 것을 관찰했습니다.

사이버 범죄의 AI 도구 사용

업계 전반에 걸쳐 기존 AI 지원 도구 및 서비스를 악용하는 것 외에도, 불법 활동을 가능하게 하도록 특별히 제작된 AI 도구 및 서비스에 대한 관심과 시장이 커지고 있습니다. 지하 포럼을 통해 제공되는 도구 및 서비스는 기술적 통찰력과 재정적 자원이 제한적임에도 불구하고 낮은 수준의 행위자가 침입의 빈도, 범위, 효능 및 복잡성을 증대시킬 수 있도록 합니다. 재정적 동기가 부여된 위협 행위자들이 계속 실험하고 있지만, 아직 AI 도구 개발에 획기적인 발전을 이루지는 못했습니다.

'ClickFix' 캠페인에서 소셜 엔지니어링을 위해 AI 서비스를 활용하는 위협 행위자

새로운 멀웨어 기술은 아니지만, GTIG는 위협 행위자들이 멀웨어를 유포하기 위해 생성형 AI 서비스에 대한 대중의 신뢰를 악용한 사례를 관찰했습니다. GTIG는 위협 행위자들이 Gemini를 포함한 생성형 AI 서비스의 공개 공유 기능을 활용하여 기만적인 소셜 엔지니어링 콘텐츠를 호스팅하는 새로운 캠페인을 확인했습니다. 2025년 12월 초에 처음 관찰된 이 활동은 잘 알려진 "ClickFix" 기술을 통해 사용자를 속여 멀웨어를 설치하도록 유도합니다. 이 ClickFix 기술은 사용자를 사회 공학적으로 유도하여 악성 명령을 복사하여 명령 터미널에 붙여넣도록 하는 데 사용됩니다.

위협 행위자들은 안전 가드레일을 우회하여 macOS에서 다양한 작업을 수행하는 방법에 대한 악성 지침을 준비했으며, 궁극적으로는 macOS 환경을 대상으로 브라우저 데이터, 암호화폐 지갑, 시스템 정보, 데스크톱 및 문서 폴더의 파일을 수집할 수 있는 정보 탈취 멀웨어인 ATOMIC의 변종을 배포했습니다. 이 캠페인 배후의 위협 행위자들은 ChatGPT, CoPilot, DeepSeek, Gemini, Grok 등 다양한 AI 채팅 플랫폼을 사용하여 악성 지침을 호스팅했습니다.

이 캠페인의 목표는 주로 Windows 및 macOS 시스템의 사용자를 유인하여 악성 명령을 수동으로 실행하도록 하는 것입니다. 공격 체인은 다음과 같이 작동합니다.

• 위협 행위자는 먼저 피해자가 복사하여 붙여넣으면 멀웨어에 감염될 악성 명령줄을 만듭니다.

• 다음으로, 위협 행위자는 AI를 조작하여 일반적인 컴퓨터 문제(예: 디스크 공간 확보 또는 소프트웨어 설치)를 해결하기 위한 현실적인 지침을 만들지만, 해결책으로 악성 명령줄을 AI에 제공합니다.

• Gemini 및 기타 AI 도구를 사용하면 특정 AI 응답을 다른 사람과 공유할 수 있도록 특정 채팅 기록에 대한 공유 가능한 링크를 만들 수 있습니다. 이제 공격자는 AI 서비스의 인프라에서 호스팅되는 악성 ClickFix 랜딩 페이지에 대한 링크를 갖게 됩니다.

• 공격자는 악성 광고를 구매하거나 의심하지 않는 피해자를 공개적으로 공유된 채팅 기록으로 유도합니다.

• 피해자는 AI 채팅 기록에 속아 겉보기에 합법적으로 보이는 명령줄 스크립트를 복사하여 시스템 터미널에 직접 붙여넣으라는 지침을 따릅니다. 이 명령은 멀웨어를 다운로드하고 설치합니다. 이 작업은 사용자가 시작하고 내장된 시스템 명령을 사용하므로 보안 소프트웨어가 탐지하고 차단하기가 더 어려울 수 있습니다.

Windows와 MacOS에 대해 서로 다른 유인책이 생성되었으며, 페이로드 배포에 악성 광고 기술을 사용하는 것은 타겟팅이 상당히 광범위하고 기회주의적일 가능성이 높다는 것을 시사합니다.

이 접근 방식을 통해 위협 행위자는 신뢰할 수 있는 도메인을 활용하여 초기 지침 단계를 호스팅하고, 소셜 엔지니어링에 의존하여 최종적이고 파괴적인 실행 단계를 수행할 수 있습니다. 널리 사용되는 접근 방식이지만, GTIG가 AI 서비스의 공개 공유 기능이 신뢰할 수 있는 도메인으로 악용되는 것을 관찰한 것은 이번이 처음입니다.

지하 시장의 관찰: AI API 키를 악용하는 위협 행위자

합법적인 AI 서비스가 위협 행위자에게 여전히 인기 있는 도구이지만, 악의적인 활동을 지원하기 위해 특별히 설계된 AI 서비스에 대한 시장도 지속적으로 존재합니다. 현재 영어 및 러시아어 지하 포럼을 관찰한 결과, AI 지원 도구 및 서비스에 대한 지속적인 수요가 있으며, 이는 이러한 플랫폼에 대한 이전 평가와 일치합니다.

그러나 위협 행위자들은 맞춤형 모델을 개발하는 데 어려움을 겪고 있으며, 대신 Gemini와 같은 성숙한 모델에 의존합니다. 예를 들어, "Xanthorox"는 악성 코드의 자율 코드 생성 및 피싱 캠페인 개발과 같은 사이버 공격 목적을 위한 맞춤형 AI라고 광고하는 지하 툴킷입니다. 이 모델은 악성 코드, 랜섬웨어 및 피싱 콘텐츠를 자율적으로 생성하도록 설계된 "맞춤형, 개인 정보 보호 자체 호스팅 AI"로 광고되었습니다. 그러나 저희 조사 결과 Xanthorox는 맞춤형 AI가 아니라 실제로는 Gemini를 포함한 여러 타사 및 상용 AI 제품으로 구동되는 것으로 밝혀졌습니다.

이 설정은 핵심적인 악용 벡터를 활용합니다. 즉, 여러 오픈 소스 AI 제품(특히 Crush, Hexstrike AI, LibreChat-AI 및 Open WebUI)을 통합하여 모델 컨텍스트 프로토콜(MCP) 서버를 통해 기회주의적으로 활용하여 상용 모델 위에 에이전트 AI 서비스를 구축하는 것입니다.

LLM 서비스를 악의적인 작업에 확장 가능한 방식으로 오용하기 위해 위협 행위자는 LLM 통합을 가능하게 하는 API 키와 리소스가 필요합니다. 이는 상당한 클라우드 리소스와 AI 리소스를 보유한 조직에 하이재킹 위험을 초래합니다.

안전하고 책임감 있는 AI 구축

저희는 AI에 대한 접근 방식이 대담하면서도 책임감 있어야 한다고 믿습니다. 이는 과제를 해결하면서 사회에 긍정적인 혜택을 극대화하는 방식으로 AI를 개발하는 것을 의미합니다. Google은 AI 원칙에 따라 강력한 보안 조치와 안전 가드레일을 갖춘 AI 시스템을 설계하며, 모델을 개선하기 위해 지속적으로 보안과 안전성을 테스트합니다.

저희의 정책 가이드라인과 금지된 사용 정책은 Google 생성형 AI 도구의 안전과 책임감 있는 사용을 우선시합니다. Google의 정책 개발 프로세스에는 새로운 트렌드 파악, 종단간 사고, 안전을 위한 설계가 포함됩니다. 저희는 전 세계 사용자에게 확장된 보호를 제공하기 위해 제품의 보호 장치를 지속적으로 강화하고 있습니다.

Google에서는 위협 인텔리전스를 활용하여 적대적 작전을 방해합니다. 저희는 정부 지원 위협 행위자의 악의적인 사이버 활동을 포함하여 당사 제품, 서비스, 사용자 및 플랫폼의 남용을 조사하고, 적절한 경우 법 집행 기관과 협력합니다. 또한, 악의적인 활동에 대응하면서 얻은 교훈을 제품 개발에 다시 반영하여 AI 모델의 안전과 보안을 개선합니다. 분류기와 모델 수준 모두에서 이루어질 수 있는 이러한 변경 사항은 방어의 민첩성을 유지하고 추가적인 오용을 방지하는 데 필수적입니다.

Google DeepMind는 또한 생성형 AI에 대한 위협 모델을 개발하여 잠재적인 취약점을 식별하고 오용에 대처하기 위한 새로운 평가 및 훈련 기술을 만듭니다. 이 연구와 함께 Google DeepMind는 간접 프롬프트 주입 공격에 대한 AI 취약점을 자동으로 레드팀할 수 있는 강력한 평가 프레임워크를 포함한 측정 및 모니터링 도구와 함께 AI 시스템에 방어 기능을 적극적으로 배포하는 방법을 공유했습니다.

저희의 AI 개발 및 신뢰 & 안전팀은 또한 위협 인텔리전스, 보안 및 모델링 팀과 긴밀히 협력하여 오용을 막고 있습니다.

AI, 특히 생성형 AI의 잠재력은 엄청납니다. 혁신이 진행됨에 따라 업계는 AI를 책임감 있게 구축하고 배포하기 위한 보안 표준이 필요합니다. 이것이 바로 저희가 AI 시스템을 보호하기 위한 개념적 프레임워크인 보안 AI 프레임워크(SAIF)를 도입한 이유입니다. 저희는 AI 모델을 책임감 있게 설계, 구축 및 평가하기 위한 리소스 및 지침이 포함된 개발자를 위한 포괄적인 툴킷을 공유했습니다. 또한 보호 장치 구현, 모델 안전성 평가, AI 시스템을 테스트하고 보호하기 위한 레드팀 및 포괄적인 프롬프트 주입 접근 방식에 대한 모범 사례를 공유했습니다.

업계 파트너와 긴밀히 협력하는 것은 모든 사용자를 위해 더 강력한 보호를 구축하는 데 매우 중요합니다. 이를 위해 저희는 수많은 연구원들과 강력한 협력 파트너십을 맺게 된 것을 행운으로 생각하며, 레드팀을 구성하고 방어를 개선하는 데 도움을 준 이 연구원들과 커뮤니티의 다른 분들의 노고에 감사드립니다.

Google은 또한 AI 연구에 지속적으로 투자하여 AI가 책임감 있게 구축되도록 돕고, 위험을 자동으로 찾는 잠재력을 활용하고 있습니다. 작년에 저희는 Google DeepMind와 Google Project Zero가 개발한 AI 에이전트인 Big Sleep을 도입하여 소프트웨어에서 알려지지 않은 보안 취약점을 적극적으로 검색하고 찾습니다. Big Sleep은 그 이후로 첫 번째 실제 보안 취약점을 발견했으며, 위협 행위자가 곧 사용할 예정이었던 취약점을 찾는 데 도움을 주어 GTIG가 사전에 차단할 수 있었습니다. 저희는 또한 취약점을 찾는 것뿐만 아니라 패치하는 데에도 AI를 실험하고 있습니다. 저희는 최근 Gemini 모델의 고급 추론 기능을 사용하여 중요한 코드 취약점을 자동으로 수정하는 실험적인 AI 기반 에이전트인 CodeMender를 도입했습니다.

침해 지표 (IOCs)

이 블로그 게시물에 설명된 활동을 추적하고 식별하는 데 더 넓은 커뮤니티를 지원하기 위해, 저희는 등록된 사용자를 위해 무료 GTI 컬렉션에 IOC를 포함했습니다.

저자 정보