CISO Perspectives: 공격의 AI 시대: 증류, 실험, 통합. 새로운 위협에 대한 긴급 보고서

해당 블로그의 원문은 2026년 2월 19일 Google Cloud 블로그(영문)에 게재되었습니다.

2026년 2월 첫 번째 Cloud CISO Perspectives에 오신 것을 환영합니다. 오늘은 Google 위협 인텔리전스 그룹(GTIG)의 수석 분석가인 John Hultquist가 최신 AI 위협 추적 보고서에 자세히 설명된 연구 내용을 설명합니다.

모든 Cloud CISO Perspectives와 마찬가지로, 이 뉴스레터의 내용은 Google Cloud 블로그에도 게시됩니다. 만약 이 글을 웹사이트에서 읽고 계시고 이메일 버전을 받아보기를 원하신다면, 여기서 구독하실 수 있습니다.

공격의 AI 시대: 증류, 실험, 통합. 새로운 위협에 대한 긴급 보고서

John Hultquist, chief analyst, Google Threat Intelligence Group

우리가 본 가장 우려스러운 발전 중 하나는 에이전트 역량(agentic capabilities)에 대한 실험입니다. 중국과 연계된 그룹인 APT31과 같은 행위자들은 이를 사용하여 정찰을 자동화하고 작전의 규모를 확장하고 있습니다. 북한과 이란의 다른 위협 행위자들은 단순히 AI를 기존의 사회 공학 프로세스에 연결하는 것에서 벗어나, 사회 공학 자체를 개발하고 복잡한 상호작용을 지원할 수 있는 동적인 도구로 사용하는 단계로 진화했습니다.

모델의 기본 논리를 추출하려는 시도인 모델 추출 공격(model extraction attacks) 또한 증가하고 있으며, 이는 AI가 그 자체로 고유한 위험을 지닌 새로운 공격 표면임을 상기시킵니다. 이러한 공격은 현재 프론티어 랩(frontier labs)에 집중되어 있지만, 다른 이들이 자신들의 모델을 고객과 대중에게 노출함에 따라 다른 곳에서도 나타날 것으로 예상됩니다.

우리는 AI의 사용과 남용에 대한 관찰 결과와 이에 대응하여 취한 조치들을 새로운 GTIG AI 위협 추적 보고서에 문서화했습니다. 우리는 AI의 적대적 오용에 대한 우리의 집단적 이해를 높이고 이를 방어하는 방법을 찾기 위해 정기적으로 이 보고서를 발행합니다.

이 새로운 보고서는 특히 AI의 적대적 오용 5가지 범주를 검토합니다:

1. 모델 추출 공격(Model extraction attacks): 이는 적이 모델 훈련을 위한 일반적인 기계 학습 기술인 '지식 증류(knowledge distillation)'를 사용하여 훈련 정보를 추출하고 이를 자신이 제어하는 모델로 이전할 때 발생합니다. 이를 통해 공격자는 AI 모델 개발을 빠르고 훨씬 저렴한 비용으로 가속화할 수 있습니다. 여기에 수반되는 IP(지적 재산) 도용은 모델 개발자와 기업에게 명백한 비즈니스 위험이므로, AI 모델을 서비스로 제공하는 조직은 추출 및 증류 패턴에 대한 API 접근을 모니터링해야 합니다.
2. AI 증강 작전(AI-augmented operations): 보고서에서 우리는 위협 그룹이 정찰 및 관계 구축형 피싱을 간소화하는 방법에 대한 실제 사례 연구를 문서화했습니다. 일관된 발견 사항 중 하나는 정부 지원 공격자들이 코딩 및 스크립팅 작업, 잠재적 대상에 대한 정보 수집, 공개적으로 알려진 취약점 연구, 그리고 침해 후 활동을 가능하게 하기 위해 Gemini를 점점 더 악용하고 있다는 것입니다.
3. 에이전틱 AI(Agentic AI): 위협 행위자들은 악성코드 및 툴링 개발을 지원하기 위해 에이전트 AI 역량을 개발하기 시작했습니다. 이러한 행동의 몇 가지 예로는 Gemini에 사이버 보안 전문가 페르소나를 부여하여 프롬프트를 입력하거나, AI 통합 코드 감사 기능을 만들려는 시도 등이 있습니다.
4. AI 통합 악성코드(AI-integrated malware): HONESTCUE와 같은 새로운 악성코드 제품군은 2단계 악성코드를 다운로드하고 실행하는 코드를 생성하기 위해 Gemini의 API를 사용하는 실험을 하고 있습니다.
5. 지하의 탈옥 생태계(Underground jailbreak ecosystem): Xanthorox와 같은 악성 서비스가 불법 시장에 등장하고 있으며, 실제로는 탈옥된 상용 API와 오픈 소스 모델 컨텍스트 프로토콜(MCP) 서버에 의존하면서 독립적인 모델이라고 주장하고 있습니다.

안전하고 책임감 있는 AI 구축

Google에서는 대담하고 책임감 있게 AI를 개발하기 위해 최선을 다하고 있습니다. 우리는 위협 행위자와 관련된 프로젝트 및 계정을 비활성화하여 악의적인 활동을 방해하는 선제적인 조치를 취하고 있으며, 오용에 덜 취약하도록 모델을 지속적으로 개선하고 있습니다. 여기에는 적의 작전을 방해하기 위해 위협 인텔리전스를 사용하는 것도 포함됩니다.

또한 우리는 방어자들을 무장시키고 생태계 전반에 걸쳐 더 강력한 보호를 가능하게 하기 위해 업계 모범 사례를 적극적으로 공유합니다. 최근에는 Gemini 모델의 고급 추론 능력을 활용하여 중요한 코드 취약점을 자동으로 수정하는 실험적인 AI 기반 에이전트인 CodeMender를 소개했습니다. 작년에는 Google DeepMind와 Google Project Zero가 개발한 AI 에이전트인 Big Sleep을 사용하여 취약점을 식별하기 시작했습니다.

우리는 업계가 AI를 책임감 있게 구축하고 배포하기 위한 보안 표준이 필요하다고 믿습니다. 이것이 우리가 AI 시스템을 보호하기 위한 개념적 프레임워크인 Secure AI Framework(SAIF)를 소개하고, AI가 책임감 있게 구축되도록 돕는 이유입니다.

이러한 위협 행위자들의 행동과 그들의 노력을 저지하기 위해 우리가 취한 조치에 대해 더 자세히 알아보려면, 전체 GTIG AI 위협 추적 보고서: 적대적 사용을 위한 AI의 증류, 실험 및 (지속적인) 통합을 여기에서 읽을 수 있습니다.

Google Cloud Security 최신 소식

이번 달 저희 보안팀의 최신 업데이트, 제품, 서비스 및 정보는 다음과 같습니다:

• AI가 심층 방어부터 사이버 킬체인까지 방어자를 강화하는 방법 (Q&A): 사이버 보안 전문가 브루스 슈나이어(Bruce Schneier)가 AI가 공격자와 방어자, 정치 권력, 그리고 시민 사회에 미치는 영향에 대한 자신의 생각을 공유합니다. 자세히 보기.
• 안전하고, 개방적이며, 주권적인 디지털 세상 구현: Google Cloud는 디지털 서비스가 신뢰의 기반 위에 구축되어야 한다고 믿습니다. 이러한 목표를 지원하기 위해, 오늘 저희는 Sovereign Cloud 포트폴리오를 확장합니다. 자세히 보기.
• 더 많은 데이터 암호화 제어를 위한 단일 테넌트 Cloud HSM 소개: 단일 테넌트 Cloud HSM은 고객이 자신의 암호화 키에 대한 완전한 제어권을 유지할 수 있도록 지원하는 새로운 서비스입니다. 자세히 보기.
• 민주주의가 디지털 위협에 앞서 나갈 수 있도록 돕는 방법: 최근 뮌헨 안보 회의에서, 우리는 현재의 위협 환경을 개괄하고 민주주의에 도움이 될 수 있는 통합된 풀스택 보안 접근 방식에 대한 권장 사항을 공유하는 새로운 백서를 발표했습니다. 자세히 보기.
• 양자 시대가 오고 있습니다. 우리가 그것을 안전하게 지키기 위해 준비하는 방법: 우리는 양자 컴퓨팅 시대를 안전하게 지키기 위한 행동을 촉구하며, 포스트 퀀텀 암호화에 대한 우리 자신의 약속을 설명합니다. 자세히 보기.
• 새로운 Android 도난 방지 업데이트: 휴대폰 도난은 단순히 기기를 잃어버리는 것 이상입니다. 갑자기 당신을 취약하게 만들 수 있는 금융 사기의 한 형태입니다. 이것이 바로 우리가 도난 시도 전, 중, 후에 당신을 보호하는 데 도움이 되는 다층적 방어 체계를 제공하기 위해 최선을 다하는 이유입니다. 자세히 보기.

이번 달에 발표된 더 많은 보안 이야기는 Google Cloud 블로그에서 확인하십시오. 자세히 보기

위협 인텔리전스 소식

• 방위 산업 기반에 대한 위협: 현대 방위 산업은 국가가 후원하는 행위자와 범죄 집단이 수행하는 끊임없는 사이버 작전의 공세에 직면해 있습니다. 최근 몇 년간 Google 위협 인텔리전스 그룹(GTIG)은 방위 산업 기반을 겨냥한 적대적 표적 활동에서 몇 가지 뚜렷한 집중 영역을 관찰했습니다. 자세히 보기.
• UNC1069, 새로운 툴링과 AI 기반 사회 공학으로 암호화폐 부문 표적: 북한의 위협 행위자들은 암호화폐 및 탈중앙화 금융(DeFi) 부문을 표적으로 삼기 위해 자신들의 기술을 계속 발전시키고 있습니다. Mandiant는 최근 이 분야의 한 핀테크 조직을 대상으로 한 침입을 조사했으며, 이는 최소 2018년부터 활동해 온 금전적 동기의 위협 행위자인 UNC1069의 소행으로 밝혀졌습니다. 자세히 보기.
• 접근을 위한 비싱(Vishing): ShinyHunters 브랜드의 SaaS 데이터 도난 확장 추적: Mandiant는 이전 ShinyHunters 브랜드의 갈취 작전과 일치하는 전술, 기술 및 절차(TTP)를 사용하는 위협 활동의 확장을 확인했습니다. 이러한 작전은 주로 정교한 비싱과 피해자 브랜드의 자격 증명 수집 사이트를 사용하여 Single Sign-On(SSO) 자격 증명과 다단계 인증(MFA) 코드를 획득함으로써 기업 환경에 대한 초기 접근을 얻습니다. 자세히 보기.
• ShinyHunters 브랜드의 SaaS 데이터 도난을 겨냥한 선제적 방어: ShinyHunters 브랜드의 SaaS 데이터 도난으로부터 조직을 보호하는 데 도움이 되는 실행 가능한 강화, 로깅 및 탐지 권장 사항을 소개합니다. 자세히 보기.

이번 달에 발표된 더 많은 위협 인텔리전스 이야기는 Google Cloud 블로그에서 확인하십시오. 자세히 보기

Google Cloud 팟캐스트

• 자유, 책임, 그리고 연합된 가드레일: Kraken의 글로벌 CISO인 Alex Shulman-Peleg은 중앙 집중식 보안이 더 이상 현대 조직에 통하지 않는다고 말합니다. 그는 호스트 Anton Chuvakin, Tim Peacock과 함께 클라우드, SaaS, AI에 의해 주도된 주요 변화들이 어떻게 전통적인 모델을 지속 불가능하게 만들었는지 논의합니다. 여기서 듣기.
• 실제 AI 에이전트로 현대적인 SOC 확장하기: UKG의 탐지 엔지니어링 이사인 Dennis Chow가 Anton, Tim과 함께 그의 팀의 하이브리드 에이전트 워크플로우, SOC에서의 AI 및 AI 에이전트 프로덕션 사용 사례, 그리고 그들이 성공을 측정하는 방법에 대해 설명합니다. 여기서 듣기.
• 바이너리 비하인드: 탈옥, 프롬프트 주입, 그리고 MCP의 에이전트 결함: 호스트 Josh Stroschein이 Kevin Harris와 함께, 숙련된 적들은 우리가 알고 있는 모든 방어에 대해 100% 성공률을 보인다고 말하는 내용을 다룹니다. 여기서 듣기.

Cloud CISO Perspectives 게시물을 한 달에 두 번 받은 편지함으로 받으려면, 뉴스레터에 가입하십시오. 몇 주 후에 Google Cloud의 더 많은 보안 관련 업데이트로 다시 찾아뵙겠습니다.