GTIG AI 위협 트래커: AI 도구를 사용하는 위협 행위자들의 발전

해당 블로그의 원문은 2025년 11월 6일 Google Cloud 블로그(영문)에 게재되었습니다. 

주요 내용

최근 광범위한 위협 환경 분석에 따르면, Google 위협 인텔리전스 그룹(GTIG)은 지난 1년 동안 발생한 변화를 확인했습니다. 공격자들은 더 이상 생산성 향상만을 위해 인공지능(AI)을 활용하는 데 그치지 않고, 실제 작전에 새로운 AI 기반 악성코드를 배포하고 있습니다. 이는 실행 중에 동적으로 동작을 변경하는 도구를 포함하며, AI 악용의 새로운 운영 단계에 접어들었음을 의미합니다.

이 보고서는 2025년 1월에 발표된 "생성형 AI의 적대적 오용" 분석의 업데이트 버전이며, 정부 지원 위협 행위자와 사이버 범죄자들이 전체 공격 수명 주기에 걸쳐 업계 전반에서 AI를 통합하고 실험하는 방법을 자세히 설명합니다. 저희의 조사 결과는 광범위한 위협 환경을 기반으로 합니다.

Google은 책임감 있게 AI를 개발하기 위해 최선을 다하고 있으며, 악의적인 행위자와 관련된 프로젝트 및 계정을 비활성화하여 악성 활동을 사전에 차단하는 조치를 취하는 한편, 모델을 지속적으로 개선하여 오용에 덜 취약하도록 만들고 있습니다. 또한 방어 역량을 강화하고 생태계 전반에 걸쳐 더 강력한 보호를 가능하게 하기 위해 업계 모범 사례를 사전에 공유합니다. 이 보고서 전반에 걸쳐 저희는 자산을 비활성화하고, 분류기와 모델을 모두 강화하기 위해 정보를 적용하여 향후 오용으로부터 보호하는 등 악의적인 활동을 저지하기 위해 취한 조치들을 언급했습니다. Gemini를 보호하고 방어하는 방법에 대한 자세한 내용은 "Gemini의 보안 안전장치 강화" 백서에서 확인할 수 있습니다.

주요 조사 결과

• 악성코드에 "실시간(Just-in-Time)" AI 최초 사용: GTIG는 처음으로 PROMPTFLUX 및 PROMPTSTEAL과 같이 실행 중에 대규모 언어 모델(LLM)을 사용하는 악성코드군을 확인했습니다. 이러한 도구들은 동적으로 악성 스크립트를 생성하고, 탐지를 피하기 위해 자체 코드를 난독화하며, 악성 기능들을 악성코드에 하드코딩하는 대신 AI 모델을 활용하여 필요에 따라 생성합니다. 아직 초기 단계이지만, 이는 더 자율적이고 적응력이 뛰어난 악성코드를 향한 중요한 진전을 나타냅니다.

• 안전장치 우회를 위한 "소셜 엔지니어링": 위협 행위자들은 AI 안전 가드레일을 우회하기 위해 프롬프트에 소셜 엔지니어링과 유사한 명분을 채택하고 있습니다. 행위자들이 "깃발 뺏기(capture-the-flag)" 대회에 참가하는 학생이나 사이버 보안 연구원으로 위장하여, 다른 방법으로는 차단될 정보를 Gemini가 제공하도록 설득함으로써 도구 개발을 가능하게 하는 것을 관찰했습니다.

• AI 도구를 위한 사이버 범죄 시장의 성숙: 불법 AI 도구를 위한 지하 시장이 2025년에 성숙해졌습니다. 우리는 피싱, 악성코드 개발, 취약점 연구를 지원하도록 설계된 다기능 도구들이 다수 제공되는 것을 확인했으며, 이는 덜 정교한 행위자들의 진입 장벽을 낮추고 있습니다.

• 전체 공격 수명 주기의 지속적인 강화: 북한, 이란, 중화인민공화국(PRC)을 포함한 국가 지원 행위자들은 정찰 및 피싱 미끼 생성부터 명령 및 제어(C2) 개발 및 데이터 유출에 이르기까지 작전의 모든 단계를 강화하기 위해 Gemini를 계속해서 오용하고 있습니다.

새로운 AI 역량을 개발하는 위협 행위자들

2025년 처음으로, GTIG는 실행 중에 AI 기능을 사용하여 악성코드의 동작을 동적으로 변경하는 코드군을 발견했습니다. 새로운 AI 기술의 최근 일부 구현은 실험적이지만, 이는 위협이 어떻게 진화하고 있으며 향후 침입 활동에 AI 기능을 잠재적으로 통합할 수 있는지에 대한 초기 지표를 제공합니다. 공격자들은 "분위기 코딩(vibe coding)"과 2024년에 관찰된 기술 지원을 위해 AI 도구를 사용하는 기준선을 넘어서고 있습니다. 우리는 이제 막 이러한 유형의 활동을 보기 시작했지만, 미래에는 증가할 것으로 예상합니다.

탐지 회피를 위해 자가 변형에 Gemini를 사용하는 실험적 악성코드

2025년 6월 초, GTIG는 위협 행위자들이 동적 난독화 기술을 개발하기 위해 LLM을 실험하고 있음을 시사하는, PROMPTFLUX로 추적되는 실험적인 드로퍼 악성코드를 확인했습니다. PROMPTFLUX는 VBScript로 작성되었으며, Gemini의 API와 상호 작용하여 '실시간(just-in-time)' 자가 변형을 용이하게 하는 특정 VBScript 난독화 및 회피 기술을 요청합니다. 이는 정적 시그니처 기반 탐지를 회피하기 위한 것으로 보입니다.

PROMPTFLUX 샘플을 추가로 조사한 결과, 일부 미완성 기능이 주석 처리되어 있고 악성코드의 Gemini API 호출을 제한하는 메커니즘이 존재하기 때문에 이 코드군은 현재 개발 또는 테스트 단계에 있는 것으로 보입니다. 이 악성코드의 현재 상태는 피해자의 네트워크나 장치를 손상시킬 수 있는 능력을 보여주지 않습니다. 우리는 이 활동과 관련된 자산을 비활성화하는 조치를 취했습니다.

PROMPTFLUX의 가장 새로운 구성 요소는 'Thinking Robot' 모듈로, 주기적으로 Gemini에 쿼리하여 안티바이러스 소프트웨어를 회피하기 위한 새로운 코드를 얻도록 설계되었습니다. 이는 하드코딩된 API 키를 사용하여 Gemini API 엔드포인트에 POST 요청을 보내는 방식으로 수행됩니다. 공격자는 gemini-1.5-flash-latest 모델 사용을 지정합니다. -latest 태그는 악성코드가 항상 최신 안정 버전을 호출하도록 보장하여, 모델 지원 중단(deprecation)에 대해 도구를 더 탄력적으로 만듭니다. LLM으로 전송되는 프롬프트는 매우 구체적이고 기계가 구문 분석할 수 있으며(machine-parsable), 안티바이러스 회피를 위한 VBScript 코드를 요청하고 LLM에게 코드 자체만 출력하도록 지시합니다.

자가 변형 기능(AttemptToUpdateSelf)이 주석 처리되어 있지만, %TEMP%\thinking_robot_log.txt에 AI 응답을 활발히 기록하는 것과 결합된 그 존재는 시간이 지남에 따라 진화할 수 있는 변형(metamorphic) 스크립트를 만들려는 작성자의 목표를 명확하게 나타냅니다.

LLM 기반 코드 재-생성을 사용하는 PROMPTFLUX의 여러 변종을 확인했으며, 그중 하나는 "Thinking Robot" 함수가 새로운 "Thinging" 함수로 대체되었습니다. 이 함수는 프롬프트를 활용하여 Gemini API에 악성코드의 전체 소스 코드를 탐지를 피하기 위해 매시간 다시 작성하도록 지시합니다. 프롬프트는 LLM이 "전문 VBScript 난독화 전문가" 역할을 하도록 지시하여, 원래의 디코이(decoy) 페이로드, 하드코딩된 API 키, 그리고 완전한 자가 재-생성 로직을 내장함으로써 새로운 변종이 계속 실행 가능하도록 보장하고, 이를 통해 재귀적인 변이 주기를 확립합니다.

특정 위협 행위자에게 귀속되지는 않았지만, PROMPTFLUX와 관련된 파일 이름은 금전적 동기가 있는 행위자들과 일반적으로 관련된 행동들을 보여줍니다. 특히, "crypted_ScreenRec_webinstall"을 포함한 다양한 소셜 엔지니어링 미끼는 광범위한 사용자를 속이기 위해 설계된, 지리 및 산업에 구애받지 않는 광범위한 접근 방식을 강조합니다.

PROMPTFLUX는 아직 연구 개발 단계에 있을 가능성이 높지만, 이러한 유형의 난독화 기술은 악의적인 운영자들이 앞으로 AI를 사용하여 캠페인을 어떻게 강화할 것인지를 보여주는 초기이면서도 중요한 지표입니다.

문서 및 시스템 정보 탈취를 위한 명령을 생성하는 LLM

6월, GTIG는 러시아 정부 지원 행위자인 APT28(일명 FROZENLAKE)이 우크라이나를 상대로 사용하는 새로운 악성코드를 확인했으며, 저희는 이를 PROMPTSTEAL로 추적하고 CERT-UA는 LAMEHUG로 보고했습니다. PROMPTSTEAL은 데이터 마이너로, LLM을 포함한 오픈 소스 머신러닝 플랫폼인 Hugging Face의 API를 통해 LLM(Qwen2.5-Coder-32B-Instruct)에 쿼리하여 실행할 명령을 생성합니다. APT28의 PROMPTSTEAL 사용은 실제 작전에 배포된 악성코드가 LLM에 쿼리하는 것을 저희가 처음으로 관찰한 사례입니다.

PROMPTSTEAL은 악성코드 자체에 직접 명령을 하드코딩하는 대신, LLM을 사용하여 실행할 명령을 생성하는 새로운 방식을 사용합니다. 이 악성코드는 '이미지 생성' 프로그램으로 위장하여, 사용자에게 이미지 생성을 위한 일련의 프롬프트를 안내하는 동시에, 백그라운드에서는 Hugging Face API에 쿼리하여 실행할 명령을 생성합니다.

Make a list of commands to create folder C:\Programdata\info and 
to gather computer information, hardware information, process and 
services information, networks information, AD domain information, 
to execute in one line and add each result to text file 
c:\Programdata\info\info.txt. Return only commands, without markdown

그림 2: 시스템 정보를 수집하는 명령을 생성하는 데 사용된 PROMPTSTEAL 프롬프트

Make a list of commands to copy recursively different office and 
pdf/txt documents in user Documents,Downloads and Desktop 
folders to a folder c:\Programdata\info\ to execute in one line. 
Return only command, without markdown.

그림 3: 대상 문서를 수집하는 명령을 생성하는 데 사용된 PROMPTSTEAL 프롬프트

PROMPTSTEAL은 Hugging Face API에 쿼리하기 위해 탈취된 API 토큰을 사용하는 것으로 보입니다. 프롬프트는 LLM에게 시스템 정보를 생성하고 지정된 디렉토리로 문서를 복사하는 명령을 출력하도록 특별히 요청합니다. 이러한 명령의 출력은 유출되기 전에 PROMPTSTEAL에 의해 로컬에서 맹목적으로 실행됩니다. 저희 분석에 따르면 이 악성코드는 지속적으로 개발되고 있으며, 새로운 샘플들은 난독화 및 C2(명령 및 제어) 방식을 변경하고 있습니다.

안전장치 우회를 위한 소셜 엔지니어링

Google은 AI 원칙에 따라 강력한 보안 조치와 견고한 안전 가드레일을 갖춘 AI 시스템을 설계합니다. 위협 행위자들은 AI 안전 가드레일을 우회하기 위해 프롬프트에 소셜 엔지니어링과 유사한 명분을 채택하고 있습니다. 우리는 행위자들이 사이버 보안 연구원들을 위한 '깃발 뺏기(capture-the-flag)' 대회 참가자로 위장하여, 다른 방법으로는 차단될 정보를 Gemini가 제공하도록 설득함으로써 취약점 악용 및 도구 개발을 가능하게 하는 것을 관찰했습니다. 이러한 행위자들을 방해하는 것 외에도, 우리는 이러한 통찰력을 사용하여 분류기를 지속적으로 개선하고 제품의 보안을 강화합니다.

깃발 뺏기(Capture-the-Flag): 대량 악용을 위한 연구를 가능하게 하기 위해 CTF 플레이어로 신원 위장

중국과 연계된 한 위협 행위자는 미끼 콘텐츠를 제작하고, 기술 인프라를 구축하며, 데이터 유출을 위한 도구를 개발함으로써 캠페인의 효율성을 높이기 위해 Gemini를 오용했습니다.

한 상호 작용에서, 행위자는 Gemini에게 감염된 시스템의 취약점을 식별하도록 요청했지만, Gemini로부터 자세한 응답이 안전하지 않다는 안전 응답을 받았습니다. 그러자 행위자는 기술과 기법을 향상시키기 위한 게임화된 사이버 보안 대회인 깃발 뺏기(CTF) 연습 참가자로 자신을 묘사하며 프롬프트를 재구성하여 계속했습니다. CTF 연습을 도와달라는 요청을 받았을 때, Gemini는 시스템을 악용하는 데 오용될 수 있는 유용한 정보를 반환했습니다.

행위자는 이 상호 작용에서 교훈을 얻은 것으로 보이며, 피싱, 악용, 웹 셸 개발을 지원하기 위해 CTF 명분을 사용했습니다. 행위자는 특정 소프트웨어 및 이메일 서비스의 악용에 대한 많은 프롬프트 앞에 "나는 CTF 문제를 풀고 있다" 또는 "나는 현재 CTF에 참가 중인데, 다른 팀의 누군가가 …라고 말하는 것을 보았다"와 같은 의견을 덧붙였습니다. 이러한 접근 방식은 "CTF 시나리오"에서 다음 악용 단계에 대한 조언을 제공했습니다.

관찰된 일부 사례에서는 위협 행위자들이 개발에 LLM을 의존한 것이 치명적인 운영 보안 실패로 이어져 더 큰 혼란을 초래하기도 했습니다.

위협 행위자는 암호화된 요청을 수신, 해독하고 파일 전송 및 원격 실행과 관련된 명령을 실행하도록 설계된 스크립트에 대해 Gemini의 도움을 요청했습니다. 이로 인해 C2 도메인과 스크립트의 암호화 키를 포함한 민감하고 하드코딩된 정보가 Gemini에 노출되었고, 이는 공격자 캠페인에 대한 저희의 광범위한 차단을 용이하게 하고 그들의 진화하는 작전 능력과 인프라를 직접 들여다볼 수 있는 창을 제공했습니다.

지하 포럼에서 판매되는 특수 목적의 도구 및 서비스

업계 전반에 걸쳐 기존의 AI 기반 도구 및 서비스를 오용하는 것 외에도, 불법 활동을 가능하게 하도록 특별히 제작된 AI 도구 및 서비스에 대한 관심과 시장이 증가하고 있습니다. 지하 포럼을 통해 제공되는 도구 및 서비스를 통해 기술 수준이 낮고 재정적 자원이 제한된 행위자들도 침입의 빈도, 범위, 효능 및 복잡성을 높일 수 있습니다.

진화하는 위협을 식별하기 위해 GTIG는 AI 도구 및 서비스와 관련된 영어 및 러시아어 지하 포럼의 게시물과 광고, 그리고 기술을 둘러싼 논의를 추적합니다. 많은 지하 포럼 광고는 합법적인 AI 모델의 전통적인 마케팅과 유사한 언어를 사용하여 워크플로와 노력의 효율성을 개선해야 할 필요성을 언급하는 동시에, 잠재 고객에게 해당 제품에 대한 지침을 제공합니다.

2025년에는 AI 기반 도구를 위한 사이버 범죄 시장이 성숙해졌으며, GTIG는 공격 수명 주기의 여러 단계를 지원하도록 설계된 다기능 도구에 대한 다수의 제안을 확인했습니다. 주목할 점은 지하 포럼에서 광고된 거의 모든 주목할 만한 도구가 피싱 캠페인을 지원하는 능력을 언급했다는 것입니다.

지하 광고에 따르면 많은 AI 도구 및 서비스가 기존 도구와 유사한 기술적 기능을 홍보하여 위협 작전을 지원했습니다. 불법 AI 서비스의 가격 모델 또한 기존 도구의 가격 모델을 반영하며, 많은 개발자들이 무료 버전에 광고를 삽입하고 더 높은 가격에 이미지 생성, API 액세스, Discord 액세스와 같은 더 많은 기술적 기능을 추가하는 구독 가격 등급을 제공합니다.

GTIG는 금전적 동기가 있는 위협 행위자들과 지하 커뮤니티에서 활동하는 다른 행위자들이 AI 도구를 사용하여 자신들의 작전을 계속해서 강화할 것으로 평가합니다. 이러한 애플리케이션의 접근성이 증가하고 이들 포럼에서 AI에 대한 논의가 활발해짐에 따라, AI를 활용하는 위협 활동은 위협 행위자들 사이에서 점점 더 일상화될 것입니다.

전체 공격 수명 주기의 지속적인 강화

북한, 이란, 중화인민공화국(PRC)의 국가 지원 행위자들은 정찰 및 피싱 미끼 생성부터 C2 개발 및 데이터 유출에 이르기까지 작전의 모든 단계를 향상시키기 위해 Gemini를 포함한 생성형 AI 도구를 계속해서 오용하고 있습니다. 이는 2025년 1월 분석 자료인 생성형 AI의 적대적 오용의 핵심 조사 결과 중 하나를 확장한 것입니다.

덜 일반적인 공격 표면에 대한 지식 확장

GTIG는 중국과 연계된 것으로 의심되는 한 행위자가 침입 캠페인의 여러 단계에서 Gemini를 활용하여, 관심 대상에 대한 초기 정찰을 수행하고, 페이로드를 전달하기 위한 피싱 기술을 연구하며, 측면 이동과 관련된 지원을 Gemini에 요청하고, 피해자 시스템 내부에 침투한 후 C2 활동에 대한 기술 지원을 구하며, 데이터 유출에 대한 도움을 활용하는 것을 관찰했습니다.

Windows 시스템에서의 침입 활동을 지원하는 것 외에도, 이 행위자는 클라우드 인프라, vSphere, Kubernetes를 포함하여 자신에게 익숙하지 않은 공격 표면에 대한 침입 캠페인의 여러 단계를 지원하기 위해 Gemini를 오용했습니다.

이 위협 행위자는 EC2(Elastic Compute Cloud) 인스턴스에 대한 AWS 토큰에 접근했음을 보여주었고, 피해자 환경으로부터 더 깊은 접근이나 데이터 도용을 용이하게 하기 위해 임시 세션 토큰을 사용하는 방법을 연구하는 데 Gemini를 사용했습니다. 또 다른 경우, 이 행위자는 Kubernetes 시스템을 식별하고 컨테이너와 파드를 열거하기 위한 명령을 생성하는 데 Gemini의 도움을 받았습니다. 우리는 또한 해당 시스템에 대한 피싱 기술에 대한 위협 행위자의 집중을 나타내는, MacOS에서 호스트 권한을 얻는 것에 대한 연구도 관찰했습니다.

북한 위협 행위자, 공격 수명 주기 전반에 걸쳐 Gemini 오용

조선민주주의인민공화국(DPRK)과 관련된 위협 행위자들은 암호화폐를 표적으로 삼고 정권에 재정적 지원을 제공하려는 노력의 일환으로, 공격 수명 주기의 여러 단계에 걸쳐 작전을 지원하기 위해 생성형 AI 도구를 계속해서 오용하고 있습니다.

전문화된 소셜 엔지니어링

최근 작전에서 UNC1069(일명 MASAN)는 Gemini를 사용하여 암호화폐 개념을 연구하고, 사용자의 암호화폐 지갑 애플리케이션 데이터 위치와 관련된 연구 및 정찰을 수행했습니다. 이 북한 위협 행위자는 컴퓨터 유지보수 및 자격 증명 수집과 관련된 언어를 특히 사용하여 소셜 엔지니어링을 활용한 암호화폐 탈취 캠페인을 수행하는 것으로 알려져 있습니다.

또한 이 위협 행위자는 악의적인 활동을 위한 소셜 엔지니어링 노력을 지원하기 위해, 암호화폐와 관련된 미끼 자료 및 기타 메시지를 생성했습니다. 여기에는 스페인어로 된 업무 관련 변명과 회의 일정 변경 요청을 생성하는 것이 포함되었으며, 이는 위협 행위자들이 언어 유창성의 장벽을 극복하여 표적 범위를 넓히고 캠페인의 성공 가능성을 높일 수 있음을 보여줍니다.

캠페인의 후반 단계를 지원하기 위해 UNC1069는 암호화폐를 훔치는 코드를 개발하고, 사용자 자격 증명을 추출하기 위해 소프트웨어 업데이트를 사칭하는 사기성 지침을 만드는 데 Gemini를 오용하려고 시도했습니다. 저희는 이 계정을 비활성화했습니다.

딥페이크 사용

UNC1069의 Gemini 오용 외에도, GTIG는 최근 이 그룹이 소셜 엔지니어링 캠페인의 일환으로 암호화폐 업계의 개인을 사칭하는 딥페이크 이미지와 비디오 미끼를 활용하여 피해자 시스템에 BIGMACHO 백도어를 배포하는 것을 관찰했습니다. 이 캠페인은 표적이 악의적인 "Zoom SDK" 링크를 다운로드하고 설치하도록 유도했습니다.

AI를 이용한 새로운 기능 개발 시도

공급망 침해(supply chain compromise) 사용으로 유명한 북한 위협 행위자인 UNC4899(일명 PUKCHONG)는 코드 개발, 익스플로잇 연구, 도구 개선 등 다양한 목적으로 Gemini를 사용했습니다. 취약점 및 익스플로잇 개발에 대한 연구는 이 그룹이 엣지 디바이스와 최신 브라우저를 표적으로 삼는 기능을 개발하고 있음을 나타낼 가능성이 높습니다. 저희는 이 위협 행위자의 계정을 비활성화했습니다.

데이터 탈취: "데이터 처리 에이전트" 개발 시도

이란 정부의 지원을 받는 공격자인 APT42의 Gemini 사용은 성공적인 피싱 캠페인 제작에 대한 그룹의 집중을 반영합니다. 최근 활동에서 APT42는 Gemini의 텍스트 생성 및 편집 기능을 사용하여 피싱 캠페인 자료를 만들었는데, 종종 유명 싱크탱크와 같은 평판 좋은 조직의 개인을 사칭하고 보안 기술, 이벤트 초대 또는 지정학적 논의와 관련된 미끼를 사용했습니다. APT42는 또한 Gemini를 전문 용어가 포함된 기사 및 메시지의 번역 도구로, 일반적인 연구를 위해, 그리고 이스라엘 방어에 대한 지속적인 연구를 위해 사용했습니다.

APT42는 또한 "데이터 처리 에이전트"를 구축하려 시도했으며, Gemini를 오용하여 도구를 개발하고 테스트했습니다. 이 에이전트는 자연어 요청을 SQL 쿼리로 변환하여 민감한 개인 데이터에서 통찰력을 도출합니다. 위협 행위자는 Gemini에 여러 가지 고유한 데이터 유형에 대한 스키마를 제공하여 전화번호를 소유자와 연결하거나, 개인의 여행 패턴을 추적하거나, 공유 속성을 기반으로 사람 목록을 생성하는 것과 같은 복잡한 쿼리를 수행했습니다. 저희는 이 위협 행위자의 계정을 비활성화했습니다.

코드 개발: C2 개발 및 난독화 지원

위협 행위자들은 지속적으로 생성형 AI 도구를 자신들의 활동에 맞춰 조정하고 있으며, 전술, 기술 및 절차(TTP)를 향상시켜 더 빠르고 대규모로 움직이려 시도합니다. 숙련된 행위자들에게 생성형 AI 도구는 사이버 위협 활동에서 메타스플로잇(Metasploit)이나 코발트 스트라이크(Cobalt Strike)를 사용하는 것과 유사하게 유용한 프레임워크를 제공합니다. 이러한 도구는 또한 기술 수준이 낮거나 언어 능력이 부족한 위협 행위자들에게도 정교한 도구를 개발하고, 기존 기술을 신속하게 통합하며, 캠페인의 효율성을 향상시킬 수 있는 기회를 제공합니다.

2025년 8월 내내, GTIG는 중국 정부의 지원을 받는 APT41과 관련된 위협 활동을 관찰했으며, 이들은 코드 개발 지원을 위해 Gemini를 활용했습니다. 이 그룹은 모바일 및 데스크톱 장치의 다양한 운영 체제를 표적으로 삼고, 작전을 위해 소셜 엔지니어링 침해를 사용하는 이력을 보여주었습니다. 특히, 이 그룹은 공개 포럼을 활용하여 피해자를 익스플로잇 호스팅 인프라로 유인하고 악성 모바일 애플리케이션 설치를 유도합니다.

캠페인을 지원하기 위해, 이 행위자는 자신들이 OSSTUN이라고 부르는 C2 프레임워크를 포함한 여러 도구에 대한 C++ 및 Golang 코드에 대한 기술 지원을 찾고 있었습니다. 이 그룹은 또한 공개적으로 사용 가능한 두 개의 난독화 라이브러리와 관련된 프롬프트를 통해 Gemini에게 코드 난독화에 대한 도움을 요청하는 것이 관찰되었습니다.

정보 작전(Information Operations)과 Gemini

GTIG는 정보 작전(IO) 행위자들이 연구, 콘텐츠 제작, 번역을 위해 Gemini를 계속 활용하는 것을 관찰하고 있으며, 이는 악의적인 활동을 지원하기 위한 이전의 Gemini 사용과 일치합니다. 우리는 위협 행위자들이 기사 작성을 돕거나 워크플로의 일부를 자동화하는 도구를 구축하는 데 도움을 받기 위해 이 도구를 요청하고 있음을 나타내는 Gemini 활동을 확인했습니다. 그러나 우리는 이렇게 생성된 기사들을 실제 환경에서 확인하지 못했으며, 새로 구축된 이 도구를 활용하여 워크플로를 성공적으로 자동화했음을 확인하는 증거도 찾지 못했습니다. 이러한 시도 중 어느 것도 정보 작전(IO) 캠페인을 위한 획기적인 기능을 만들어내지는 못했습니다.

AI를 안전하고 책임감 있게 구축하기

저희는 AI에 대한 접근 방식이 대담하면서도 책임감 있어야 한다고 믿습니다. 이는 사회에 긍정적인 혜택을 극대화하면서 동시에 과제를 해결하는 방식으로 AI를 개발하는 것을 의미합니다. AI 원칙에 따라, Google은 강력한 보안 조치와 견고한 안전 가드레일을 갖춘 AI 시스템을 설계하며, 모델을 개선하기 위해 지속적으로 보안과 안전성을 테스트합니다.

저희의 정책 가이드라인과 금지된 사용 정책은 Google의 생성형 AI 도구의 안전과 책임감 있는 사용을 우선시합니다. Google의 정책 개발 과정에는 새로운 트렌드를 식별하고, 전체 과정을 고려하며, 안전을 고려하여 설계하는 것이 포함됩니다. 우리는 전 세계 사용자에게 확장된 보호 기능을 제공하기 위해 제품의 안전장치를 지속적으로 강화합니다.

Google에서는 위협 인텔리전스를 활용하여 적대 세력의 작전을 방해합니다. 우리는 정부 지원 위협 행위자에 의한 악의적인 사이버 활동을 포함하여 당사 제품, 서비스, 사용자 및 플랫폼의 남용을 조사하고, 적절한 경우 법 집행 기관과 협력합니다. 또한, 악의적인 활동에 대응하면서 얻은 교훈을 제품 개발에 다시 반영하여 AI 모델의 안전과 보안을 개선합니다. 이러한 변경 사항은 분류기와 모델 수준 모두에서 이루어질 수 있으며, 방어의 민첩성을 유지하고 추가적인 오용을 방지하는 데 필수적입니다.

Google DeepMind는 또한 생성형 AI에 대한 위협 모델을 개발하여 잠재적인 취약점을 식별하고, 오용에 대처하기 위한 새로운 평가 및 훈련 기술을 만듭니다. 이 연구와 함께, Google DeepMind는 간접적인 프롬프트 주입 공격에 대한 AI 취약점을 자동으로 레드팀(red team)할 수 있는 견고한 평가 프레임워크를 포함하여, AI 시스템에 방어 기능을 적극적으로 배포하고 측정 및 모니터링 도구를 사용하는 방법을 공유했습니다.

저희 AI 개발 및 신뢰 & 안전 팀은 또한 오용을 막기 위해 위협 인텔리전스, 보안 및 모델링 팀과 긴밀하게 협력합니다.

AI, 특히 생성형 AI의 잠재력은 엄청납니다. 혁신이 진행됨에 따라, 업계는 AI를 책임감 있게 구축하고 배포하기 위한 보안 표준이 필요합니다. 그래서 저희는 AI 시스템을 보호하기 위한 개념적 프레임워크인 보안 AI 프레임워크(SAIF)를 소개했습니다. 저희는 AI 모델을 책임감 있게 설계, 구축 및 평가하기 위한 리소스와 지침이 포함된 포괄적인 개발자용 툴킷을 공유했습니다. 또한 AI 시스템을 테스트하고 보호하기 위해 안전장치 구현, 모델 안전성 평가, 그리고 레드팀 구성에 대한 모범 사례를 공유했습니다.

Google은 또한 AI 연구에 지속적으로 투자하여 AI가 책임감 있게 구축되도록 돕고, 위험을 자동으로 찾는 잠재력을 활용하고 있습니다. 작년에 저희는 Google DeepMind와 Google Project Zero가 개발한 AI 에이전트인 Big Sleep을 소개했습니다. 이 에이전트는 소프트웨어에서 알려지지 않은 보안 취약점을 적극적으로 검색하고 찾아냅니다. Big Sleep은 그 이후로 첫 실제 보안 취약점을 발견했으며, 위협 행위자들이 곧 사용할 예정이었던 취약점을 찾는 데 도움을 주어 GTIG가 사전에 차단할 수 있었습니다. 우리는 또한 AI를 사용하여 취약점을 찾는 것뿐만 아니라 패치하는 실험도 하고 있습니다. 최근에는 Gemini 모델의 고급 추론 능력을 활용하여 중요한 코드 취약점을 자동으로 수정하는 실험적인 AI 기반 에이전트인 CodeMender를 소개했습니다.

저자 정보

Google 위협 인텔리전스 그룹(Google Threat Intelligence Group)은 Alphabet, 당사 사용자 및 고객에 대한 모든 종류의 사이버 위협을 식별, 분석, 완화 및 제거하는 데 중점을 둡니다. 저희의 업무에는 정부 지원 공격자, 표적 제로데이 익스플로잇, 조직적인 정보 작전(IO) 및 심각한 사이버 범죄 네트워크로부터의 위협에 대응하는 것이 포함됩니다. 우리는 우리의 정보를 적용하여 Google의 방어 체계를 개선하고 사용자와 고객을 보호합니다.