Cloud CISO Perspectives: AI 기반 공격 활동의 진화
Sandra Joyce
VP, Google Threat Intelligence
Get original CISO insights in your inbox
The latest on security from Google Cloud's Office of the CISO, twice a month.
Subscribe해당 블로그의 원문은 2025년 11월 6일 Google Cloud 블로그(영문)에 게재되었습니다.
11월의 첫 번째 Cloud CISO Perspectives에 오신 것을 환영합니다. 오늘은 Google 위협 인텔리전스(Google Threat Intelligence)의 부사장인 산드라 조이스(Sandra Joyce)와 함께 적대적인 AI 악용 현황에 대한 최신 소식을 전해드립니다.
모든 Cloud CISO Perspectives와 마찬가지로, 이번 뉴스레터의 내용은 Google Cloud 블로그에도 게시됩니다. 만약 이 글을 웹사이트에서 읽고 계시며 이메일로 받아보기를 원하신다면, 여기에서 구독하실 수 있습니다.
AI 기반 공격 활동의 진화
By Sandra Joyce, vice-president, Google Threat Intelligence
올해 방어 진영에서 AI를 활용해 보안 역량을 크게 발전시킨 것과 마찬가지로, 정부의 지원을 받는 위협 행위자들과 사이버 범죄자들 또한 AI 기술 도입을 시도하고 있습니다. Google 위협 인텔리전스 그룹(GTIG)은 이들이 단순히 생산성 향상을 위해 AI를 사용하는 수준을 넘어, 실제 공격 작전에 새로운 AI 기반 악성코드를 배포하는 실험을 하고 있는 것을 확인했습니다.
이러한 변화는 위협 행위자들의 AI 활용 방식이 실험 단계를 지나 본격적으로 도구를 도입하는 새로운 국면에 접어들었음을 의미합니다. 이는 지난 1월 저희가 발표한 생성형 AI의 적대적 악용 분석에 이은 최신 동향입니다. 당시 보고서에서는 위협 행위자들이 주로 생산성 향상을 위해 Gemini를 사용하고 있다고 분석한 바 있습니다.
Google은 AI를 책임감 있게 개발하기 위해 최선을 다하고 있으며, 관련 위협 행위자들의 프로젝트와 계정을 비활성화하는 등 악의적인 활동을 차단하기 위한 선제적 조치를 취하고 있습니다.
GTIG는 AI 도구의 악용 사례와 광범위한 위협 환경에 대한 독보적인 가시성을 바탕으로, 정부 지원 위협 행위자들과 사이버 범죄자들이 전체 공격 라이프사이클에 걸쳐 AI를 어떻게 통합하고 있는지에 대한 4가지 주요 결과를 새로운 보고서에 자세히 담았습니다. 보안 리더들은 적들이 AI를 활용하여 어떻게 혁신하고 있는지 이해함으로써, 위협에 한발 앞서 대응하고 변화하는 위협 환경에 맞춰 보안 태세를 선제적으로 업데이트할 수 있습니다.
1. 문서 및 데이터 탈취를 위한 AI의 명령어 생성
GTIG는 최초로 실행 중에 대규모 언어 모델(LLM)을 사용하는 악성코드 제품군을 식별했습니다. 이러한 도구들은 동적으로 악성 스크립트를 생성하고, 탐지를 피하기 위해 자가 변형을 통해 자신의 코드를 난독화하며, 기존의 명령 제어(C2) 서버가 아닌 AI 모델로부터 직접 명령을 받을 수 있습니다.
전체 보고서에 상세히 설명된 이러한 신종 악성코드 중 하나는 저희가 PROMPTSTEAL로 추적하는 데이터 마이너입니다. 지난 6월, GTIG는 러시아 정부의 지원을 받는 행위자인 APT28(FROZENLAKE라고도 함)이 PROMPTSTEAL을 사용하는 것을 확인했습니다. 이 악성코드는 사용자가 이미지를 생성하도록 일련의 프롬프트를 안내하는 이미지 생성 프로그램으로 위장합니다.
하지만 백그라운드에서 PROMPSTEAL은 악성코드 내에 명령어를 하드코딩하는 대신, LLM을 포함한 오픈소스 머신러닝 플랫폼인 Hugging Face의 API에 쿼리를 보냅니다. 이 프롬프트는 LLM에게 시스템 정보 수집, 지정된 디렉토리로 문서 복사, 데이터 유출과 같은 명령어를 출력하도록 구체적으로 요청합니다.
저희 분석에 따르면 이 악성코드는 지속적으로 개발되고 있으며, 새로운 샘플에서는 난독화 기능이 추가되고 C2 방식이 변경되는 등의 변화가 나타나고 있습니다.
FROZENLAKE의 PROMPTSTEAL 사용은 실제 작전 환경에서 LLM에 쿼리하는 악성코드를 관측한 최초의 사례입니다. 최근 다른 새로운 AI 기술의 실험적인 구현 사례들과 결합해 볼 때, 이 캠페인은 위협이 어떻게 진화하고 있으며, 적들이 향후 침입 활동에 AI 기능을 어떻게 통합할 수 있는지를 보여주는 초기 신호라 할 수 있습니다.
Google의 대응: Google은 해당 행위자의 활동과 관련된 자산을 비활성화하는 조치를 취했습니다. 또한 Google DeepMind는 이러한 분석 결과를 활용하여 Google의 분류기와 모델 자체를 한층 더 강화함으로써, 악용에 대한 보호 체계를 더욱 공고히 했습니다. 이를 통해 앞으로 모델이 이러한 유형의 공격 지원을 거부할 수 있게 됩니다.
- 안전장치 우회를 위한 사회 공학적 기법 활용
위협 행위자들은 AI의 안전장치를 우회하기 위해 프롬프트에 사회 공학적 명분을 내세우고 있습니다. 저희는 행위자들이 사이버 보안 연구원이나 CTF(Capture-the-flag) 대회 참가 학생으로 위장하여, 일반적인 상황에서는 안전상의 이유로 거부될 정보를 Gemini로부터 얻어내려는 시도를 관측했습니다.
한 사례에서, 위협 행위자는 Gemini에게 감염된 시스템의 취약점을 알려달라고 요청했지만, '자세한 응답은 안전하지 않다'는 안전 응답을 받았습니다. 그러자 그는 자신을 CTF 훈련에 참가한 학생으로 묘사하며 질문의 프레임을 바꿨고, 이에 Gemini는 시스템 공격에 악용될 수 있는 유용한 정보를 제공했습니다.
이 위협 행위자는 이러한 상호작용을 통해 학습한 것으로 보이며, 이후 몇 주에 걸쳐 피싱, 시스템 공격, 웹셸 개발 등을 지원받기 위해 CTF 참가자라는 명분을 지속적으로 사용했습니다.
Google의 대응: 저희는 CTF 명분을 사용한 위협 행위자의 활동 관련 자산을 비활성화하는 조치를 취했습니다. Google DeepMind는 이러한 분석 결과를 토대로 악용 방지 체계를 더욱 강화했습니다. 관측된 내용들은 분류기와 모델 자체를 강화하는 데 사용되었으며, 이를 통해 모델이 향후 유사한 공격 시도를 거부하도록 개선되었습니다.
- AI 도구를 위한 사이버 범죄 시장의 성숙
주류 AI 도구와 서비스를 악용하는 것 외에도, 불법 활동을 목적으로 특별히 제작된 AI 도구 및 서비스에 대한 관심과 시장이 성장하고 있습니다. GTIG는 진화하는 위협을 식별하기 위해, 지하 포럼에서 AI 도구 및 서비스와 관련된 게시물, 광고, 관련 기술 토론 등을 추적하고 있습니다.
많은 지하 포럼의 광고들은 합법적인 AI 모델의 마케팅과 유사한 언어를 사용합니다. 이들은 워크플로우의 효율성을 개선해야 한다고 주장하며, 동시에 자신들의 제품에 관심 있는 잠재 고객에게 사용 지침을 제공하기도 합니다.
불법 AI 도구를 거래하는 지하 시장은 2025년에 들어 더욱 성숙해졌습니다. GTIG는 피싱, 악성코드 개발, 취약점 연구 등을 지원하도록 설계된 여러 다기능 도구들이 판매되고 있음을 확인했습니다. 이러한 발전은 기술 수준이 낮고 자원이 부족한 위협 행위자들의 진입 장벽을 낮추는 결과를 낳았습니다.
Google의 대응: 위협 행위자들이 자체적으로 AI 도구를 개발하는 것을 막을 직접적인 방법은 없지만, Google은 사이버 범죄 AI 도구 시장을 모니터링하는 등 위협 인텔리전스를 활용하여 적의 활동을 방해하고 있습니다.
- 전체 공격 라이프사이클에 걸친 AI 활용의 지속
북한, 이란, 중화인민공화국(PRC)의 국가 지원 행위자들은 정찰 및 피싱 미끼 제작부터 C2 개발, 데이터 유출에 이르기까지 작전의 모든 단계를 강화하기 위해 AI를 계속해서 악용하고 있습니다.
한 예로, GTIG는 중국과 연계된 것으로 의심되는 한 행위자가 침투 캠페인의 여러 단계에서 Gemini를 활용하는 것을 관찰했습니다. 그는 목표물에 대한 초기 정찰, 페이로드 전송을 위한 피싱 기술 연구, 내부망에서의 수평 이동(lateral movement)에 대한 지원 요청, 피해자 시스템 장악 후 C2 활동을 위한 기술 지원 모색, 데이터 유출 과정의 도움 등 다방면에 걸쳐 Gemini를 사용했습니다.
Google의 대응: GTIG는 위협 활동을 탐지하고 차단하기 위해 인텔리전스 기반의 종합적인 접근 방식을 취하고 있습니다. 정부 지원 위협 행위자와 그들의 캠페인에 대한 깊은 이해는 위협을 가능하게 하는 활동을 식별하는 데 필요한 맥락을 제공합니다. 이러한 활동을 추적함으로써 얻은 통찰력은 Gemini를 악용한 위협 행위자의 활동을 막는 것을 포함하여, Google 플랫폼 전반의 위협에 대응하는 데 활용됩니다.
악의적인 활동에 대응하며 얻은 학습 내용은 AI 모델의 안전과 보안을 개선하기 위해 제품 개발에 다시 반영됩니다. Google DeepMind는 이러한 분석 결과를 활용하여 악용 방지 체계를 더욱 강화할 수 있었습니다. 관측된 내용들은 분류기와 모델 자체를 강화하는 데 사용되었으며, 이를 통해 모델은 앞으로 이러한 유형의 공격 지원을 거부할 수 있게 됩니다.
안전하고 책임감 있는 AI 구축
Google은 AI를 책임감 있게 개발하기 위해 최선을 다하고 있으며, 관련 위협 행위자들의 프로젝트와 계정을 비활성화하는 등 악의적인 활동을 차단하기 위한 선제적 조치를 취하고 있습니다. 계정에 대한 조치뿐만 아니라, 저희는 확보한 인텔리전스를 팀과 제품에 선제적으로 피드백하여 Google과 사용자를 더 효과적으로 보호하고 있습니다. 저희는 모델이 악용에 덜 취약하도록 지속적으로 개선하고 있으며, 발견한 내용을 공유하여 방어 진영을 지원하고 생태계 전반에 걸쳐 더 강력한 보호가 이루어지도록 노력하고 있습니다.
저희는 AI에 대한 접근 방식이 대담하면서도 책임감 있어야 한다고 믿습니다. 이는 사회에 긍정적인 혜택을 극대화하는 동시에 당면 과제를 해결하는 방식으로 AI를 개발해야 함을 의미합니다. Google은 AI 원칙에 따라 강력한 보안 조치와 견고한 안전장치를 갖춘 AI 시스템을 설계하며, 모델을 개선하기 위해 지속적으로 보안과 안전성을 테스트하고 있습니다.
이러한 변화하는 위협 동향과 이를 저지하기 위한 저희의 노력에 대한 더 자세한 내용은 GTIG AI 위협 추적기: 위협 행위자의 AI 도구 사용 동향에서 읽어보실 수 있습니다.
Google Cloud Security 최신 소식
이달 들어 지금까지 저희 보안팀이 전해드린 최신 업데이트, 제품, 서비스 소식입니다:
- Google의 방식: 기초부터 AI까지, 위협 모델링: 위협 모델링은 Google이 위협을 탐지하고 대응하며, 퍼블릭 클라우드 사용을 안전하게 보호하는 데 핵심적인 역할을 합니다. 자세히 보기
- 신속한 위협 모델이 모의 훈련(Tabletops)에 현실감을 더하는 방법: 모의 훈련에 신속한 위협 모델을 사용하면, 변화하는 위협 환경에 방어 체계가 어떻게 적응해야 하는지 더 잘 이해할 수 있습니다. 자세히 보기
- 양자 내성(Quantum-safe)의 미래를 위해 고객을 지원하는 Google의 노력: Google은 거의 10년 동안 양자 내성 컴퓨팅을 연구해왔습니다. 전송 중인 데이터 보호, 디지털 서명, 공개 키 인프라(PKI)에 대한 최신 소식을 확인해 보세요. 자세히 보기
- Chrome, HTTPS 기본 적용 예정: 지금으로부터 1년 후인 2026년 10월, Chrome 154 출시와 함께 Chrome의 기본 설정이 '항상 안전한 연결 사용'으로 변경됩니다. 이는 HTTPS가 적용되지 않은 공개 사이트에 처음 접속할 때 Chrome이 사용자의 허가를 먼저 요청하게 됨을 의미합니다. 자세히 보기
- AI가 모바일 사기로부터 Android 사용자를 안전하게 지키는 방법: 수년간 Android는 스캐머와의 전쟁 최전선에서 Google AI의 역량을 최대한 활용하여, 사기 행위가 사용자에게 도달하기 전에 예측하고 차단하는 선제적이고 다층적인 보호 체계를 구축해왔습니다. 자세히 보기
이번 달에 게시된 더 많은 보안 관련 소식은 Google Cloud 블로그에서 확인하실 수 있습니다.
위협 인텔리전스 소식
- 방어자를 위한 권한 계정 모니터링 가이드: 권한이 있는 계정(Privileged access)은 민감한 시스템과 데이터를 노리는 공격자들에게 가장 핵심적인 경로입니다. 이 가이드는 권한 계정을 표적으로 하는 침입을 예방, 탐지, 대응하기 위한 권장 사항과 통찰력을 제공하여, 조직의 가장 중요한 자산("왕국의 열쇠")을 보호하는 데 도움을 줍니다. 자세히 보기
- 폴란드 영공으로 침입한 러시아 드론을 활용하는 친러시아 정보 작전: GTIG는 지난 9월에 발생한 것으로 보고된 러시아 드론의 폴란드 영공 침입 사건과 관련하여, 친러시아 정보 작전(IO) 세력들이 특정 서사를 퍼뜨리는 여러 사례를 관측했습니다. 이러한 정보 작전 활동은 과거에 관측되었던 폴란드, 더 나아가 NATO 동맹과 서방 세계를 겨냥한 친러시아 정보 작전의 양상과 일치하는 것으로 보입니다. 자세히 보기
- 가짜 구인 공고 캠페인을 이용해 악성코드를 유포하고 계정 정보를 훔치는 베트남 활동 그룹: GTIG는 베트남에서 활동하는 금전적 동기의 위협 행위자 그룹을 추적하고 있습니다. 이들은 합법적인 플랫폼에 가짜 구인 공고를 올려 디지털 광고 및 마케팅 분야의 개인들을 표적으로 삼고 있습니다. 자세히 보기
이번 달에 게시된 더 많은 위협 인텔리전스 관련 소식은 Google Cloud 블로그에서 확인하실 수 있습니다.
Google Cloud 팟캐스트
- '모든 것을 수집'하는 시대의 종말: 중앙화에서 데이터 접근으로: SIEM 및 SOC 비용 절감의 다음 혁신은 보안 데이터 접근 관리에서 비롯될까요? Axoflow의 CEO이자 syslog-ng의 창립자인 발라즈 셰이들러(Balazs Scheidler)가 호스트 안톤 추바킨(Anton Chuvakin), 팀 피콕(Tim Peacock)과 함께 보안 데이터의 미래에 대해 토론합니다. 여기서 듣기
- 사이버 지식이 풍부한 이사회: 재무제표를 넘어서는 투자의 가치: 사이버 보안 및 리스크 전문가이자 이사회 자문위원인 안드레아스 부흐너(Andreas Wuchner)가 현명한 투자가 어떻게 리스크 관리를 브랜드 약속으로 변화시킬 수 있는지에 대한 자신의 관점을 공유합니다. 여기서 듣기
- Behind the Binary: Black Hat에서 강력한 네트워크 구축하기: 호스트 조시 스트로샤인(Josh Stroschein)이 Black Hat 네트워크 운영 센터(NOC) 운영을 돕고 있는 Corelight의 기술 마케팅 엔지니어 마크 오버홀서(Mark Overholser)와 함께합니다. 보안 컨퍼런스를 위한 강력한 네트워크를 구축하는 데 숨겨진 철학과 과제에 대한 내부자의 시각을 들어보세요. 여기서 듣기
한 달에 두 번, Cloud CISO Perspectives 소식을 이메일로 받아보시려면 뉴스레터를 구독하세요. 몇 주 후에 더 많은 Google Cloud 보안 관련 업데이트로 다시 찾아뵙겠습니다.
