생성형 AI의 두 얼굴: 악용 사례와 대응 전략
Google Threat Intelligence Group
인공지능(AI)의 급속한 발전은 우리가 일하는 방식에 새로운 가능성을 열어주고 과학, 기술 및 그 외 분야의 혁신을 가속화하고 있습니다. 사이버 보안 분야에서 AI는 디지털 방어를 혁신하여 방어자를 지원하고 우리의 집단적 보안을 강화할 준비가 되어 있습니다. 대규모 언어 모델(LLM)은 복잡한 원격 측정 데이터를 분석하는 것부터 안전한 코딩, 취약점 발견 및 운영 간소화에 이르기까지 방어자에게 새로운 가능성을 열어줍니다. 그러나 이러한 AI 기능 중 일부는 공격자도 사용할 수 있으므로 AI가 악의적인 목적으로 오용될 가능성에 대한 이해할 만한 불안감을 야기합니다.
사이버 위협 행위자의 AI 오용에 대한 현재 논의의 대부분은 이론적 연구에 국한되어 있습니다. 이러한 연구는 AI의 악의적인 악용 가능성을 보여주지만, 실제로 위협 행위자가 야생에서 AI를 어떻게 사용하고 있는지를 반드시 반영하지는 않습니다. 이러한 격차를 해소하기 위해 Google의 AI 기반 어시스턴트인 Gemini와 위협 행위자가 어떻게 상호 작용했는지에 대한 종합적인 분석 결과를 공유합니다. 우리의 분석은 정부 지원을 받는 공격자, 표적 0-day 익스플로잇, 조직적인 정보 공작(IO) 및 심각한 사이버 범죄 네트워크로부터 Google, 사용자 및 고객을 보호하고 최전선에서 위협 행위자를 추적한 수십 년의 경험을 결합한 Google 위협 인텔리전스 그룹(GTIG)의 전문성을 기반으로 했습니다.
우리는 민간 부문, 정부, 교육 기관 및 기타 이해 관계자가 협력하여 AI의 이점을 극대화하는 동시에 남용 위험을 줄여야 한다고 믿습니다. Google은 우리의 원칙에 따라 책임감 있는 AI 개발에 전념하고 있으며 업계 전반의 책임감 있는 AI 개발을 가능하게 하는 리소스와 모범 사례를 공유합니다. 우리는 AI 모델을 지속적으로 개선하여 오용에 덜 취약하게 만들고, 우리의 인텔리전스를 적용하여 Google의 방어를 개선하고 사용자들을 사이버 위협 활동으로부터 보호합니다. 또한 사용자들을 보호하고 인터넷을 더 안전하게 만들기 위해 악의적인 활동을 사전에 차단합니다. 우리는 보안 커뮤니티와 결과를 공유하여 인식을 제고하고 모두를 위한 더 강력한 보호를 가능하게 합니다.
요약
Google 위협 인텔리전스 그룹(GTIG)은 사이버 위협 활동을 추적하고 이에 대한 방어를 구축하는 데 전념하고 있습니다. 우리는 적을 격퇴하기 위해 가장 완전한 위협 정보를 구축함으로써 Google, 사용자 및 고객을 끊임없이 보호합니다. 이러한 노력의 일환으로, 우리는 생성적 AI 또는 LLM의 오용을 포함하여 악의적인 활동으로부터 보호하기 위해 위협 행위자와 관련된 활동을 조사합니다.
이 보고서는 정부 지원을 받는 위협 행위자의 Gemini 웹 애플리케이션 사용에 대한 조사 결과를 공유합니다. 이 보고서는 GTIG가 추적하는 고도 지속 위협(APT) 및 조직적인 정보 공작(IO) 행위자 모두에 걸쳐 새로운 발견 사항을 포함합니다. 분석가 검토와 LLM 지원 분석을 혼합하여, 우리는 Gemini를 오용하려 시도한 APT 및 IO 위협 행위자의 프롬프트를 조사했습니다.
GTIG는 위협 활동을 탐지하고 차단하기 위해 종합적이고 정보 기반의 접근 방식을 취하며, 정부 지원을 받는 위협 행위자와 그들의 캠페인에 대한 우리의 이해는 위협을 가능하게 하는 활동을 식별하는 데 필요한 맥락을 제공합니다. 우리는 정부 지원을 받는 위협 행위자와 그들의 인프라를 추적하기 위해 광범위한 기술 신호를 사용하며, Google과 사용자를 보호하기 위해 이러한 신호를 우리 플랫폼의 활동과 연관시킬 수 있습니다. 이러한 활동을 추적함으로써 우리는 Gemini를 오용한 위협 행위자의 활동을 차단하는 것을 포함하여 Google 플랫폼 전반에서 위협에 대응하기 위해 우리의 통찰력을 활용할 수 있습니다. 또한 인식을 제고하고 더 넓은 생태계에서 더 강력한 보호를 가능하게 하기 위해 우리의 통찰력을 대중과 적극적으로 공유합니다.
Gemini에 대한 정부 지원 위협 행위자의 사용 분석은 위협 행위자가 운영에서 AI를 어떻게 사용하는지, 그리고 이러한 활동 중 새로운 또는 고유한 AI 지원 공격 또는 남용 기술을 나타내는 것이 있는지 이해하는 데 중점을 두었습니다. 업계 동료의 분석 결과와 일치하는 우리의 발견 사항은 AI가 위협 행위자에게 유용한 도구가 될 수 있지만 때로는 묘사되는 것처럼 판도를 바꾸는 존재는 아니라는 것을 보여줍니다. 우리는 위협 행위자가 문제 해결, 연구 및 콘텐츠 생성과 같은 일반적인 작업을 수행하기 위해 생성적 AI를 사용하는 것을 확인했지만, 그들이 새로운 기능을 개발하고 있다는 징후는 보이지 않습니다.
주요 결과
- 우리는 위협 행위자가 Secure AI Framework (SAIF) 위험 분류에 명시된 프롬프트 공격 또는 기타 머신러닝(ML) 중심 위협을 사용하는 독창적이거나 지속적인 시도를 관찰하지 못했습니다. 위협 행위자는 맞춤형 프롬프트를 설계하는 대신 Gemini의 안전 제어를 우회하려는 실패한 시도에서 더 기본적인 조치나 공개적으로 사용 가능한 탈옥 프롬프트를 사용했습니다.
- 위협 행위자는 운영을 가능하게 하기 위해 Gemini를 실험하고 생산성 향상을 발견했지만 아직 새로운 기능을 개발하지 못했습니다. 현재 그들은 주로 AI를 연구, 코드 문제 해결, 콘텐츠 생성 및 현지화에 사용합니다.
- APT 행위자는 잠재적 인프라 및 무료 호스팅 제공업체 조사, 표적 조직 정찰, 취약점 연구, 페이로드 개발, 악성 스크립팅 및 회피 기술 지원을 포함하여 공격 수명 주기의 여러 단계를 지원하기 위해 Gemini를 사용했습니다. 이란 APT 행위자가 Gemini를 가장 많이 사용했으며 광범위한 목적으로 사용했습니다. 주목할 만한 점은 분석 기간 동안 러시아 APT 행위자의 Gemini 사용이 제한적으로 관찰되었다는 것입니다.
- IO 행위자는 연구, 페르소나 및 메시징 개발을 포함한 콘텐츠 생성, 번역 및 현지화, 도달 범위를 늘리는 방법을 찾기 위해 Gemini를 사용했습니다. 다시 말하지만, 이란 IO 행위자가 Gemini를 가장 많이 사용했으며, IO 행위자의 모든 사용 중 4분의 3을 차지했습니다. 또한 중국 및 러시아 IO 행위자가 주로 일반적인 연구 및 콘텐츠 생성을 위해 Gemini를 사용하는 것을 관찰했습니다.
- Gemini의 안전 및 보안 조치는 이 데이터 세트에서 관찰된 바와 같이 적의 기능을 향상시키는 콘텐츠를 제한했습니다. Gemini는 콘텐츠 생성, 요약, 복잡한 개념 설명, 심지어 간단한 코딩 작업과 같은 일반적인 작업을 지원했습니다. 더 정교하거나 명시적으로 악의적인 작업을 지원하는 것은 Gemini의 안전 응답을 생성했습니다.
- 위협 행위자는 Gmail 피싱 기술 연구, 데이터 탈취, Chrome 정보 탈취 프로그램 코딩, Google 계정 인증 방법 우회 등을 포함하여 Google 제품 남용을 가능하게 하기 위해 Gemini를 사용하여 실패했습니다.
파괴적인 변화를 가능하게 하는 대신, 생성적 AI는 위협 행위자가 더 빠르고 더 큰 규모로 움직일 수 있도록 합니다. 숙련된 행위자에게 생성적 AI 도구는 사이버 위협 활동에서 Metasploit 또는 Cobalt Strike의 사용과 유사한 유용한 프레임워크를 제공합니다. 덜 숙련된 행위자에게는 학습 및 생산성 도구를 제공하여 도구를 더 빨리 개발하고 기존 기술을 통합할 수 있도록 합니다. 그러나 현재 LLM은 그 자체로는 위협 행위자에게 획기적인 기능을 제공할 가능성이 낮습니다. 우리는 AI 환경이 끊임없이 변화하고 있으며 새로운 AI 모델과 에이전트 시스템이 매일 등장하고 있음을 주목합니다. 이러한 진화가 전개됨에 따라 GTIG는 위협 행위자가 운영에서 새로운 AI 기술을 채택함에 따라 위협 환경이 보조를 맞춰 진화할 것으로 예상합니다.
AI 중심 위협
공격자는 LLM을 두 가지 방식으로 사용할 수 있습니다. 한 가지 방법은 LLM을 활용하여 캠페인을 가속화하려고 시도하는 것입니다 (예: 악성 코드 또는 피싱 이메일용 콘텐츠 생성). 우리가 관찰한 활동의 압도적인 대부분이 이 범주에 속합니다. 공격자가 LLM을 사용하는 두 번째 방법은 모델 또는 AI 에이전트에게 악의적인 행동을 하도록 지시하는 것입니다 (예: 민감한 사용자 데이터를 찾아서 유출하는 것). 이러한 위험은 Google의 Secure AI Framework (SAIF) 위험 분류에 명시되어 있습니다.
우리는 위협 행위자가 프롬프트 공격 또는 기타 AI 관련 위협을 사용하는 독창적이거나 지속적인 시도를 관찰하지 못했습니다. 위협 행위자는 맞춤형 프롬프트를 설계하는 대신 프롬프트를 다시 작성하거나 동일한 프롬프트를 여러 번 보내는 것과 같은 더 기본적인 조치를 사용했습니다. 이러한 시도는 실패했습니다.
탈옥 시도: 기본적이며 공개적으로 사용 가능한 프롬프트 기반
우리는 Gemini의 안전 제어를 우회하려는 실패한 시도에서 공개적으로 사용 가능한 탈옥 프롬프트를 사용하여 낮은 노력으로 실험하는 몇 가지 사례를 관찰했습니다. 위협 행위자는 공개적으로 사용 가능한 프롬프트를 복사하여 붙여넣고 마지막 지침에 작은 변형을 추가했습니다 (예: 랜섬웨어 또는 악성 코드를 생성하는 기본 지침). Gemini는 안전 폴백 응답을 제공하고 위협 행위자의 지침을 따르기를 거부했습니다.
실패한 탈옥 시도의 한 예에서 APT 행위자는 공개적으로 사용 가능한 프롬프트를 Gemini에 복사하여 붙여넣고 코딩 작업을 수행하는 기본 지침을 추가했습니다. 이러한 작업에는 파일에서 텍스트를 인코딩하여 실행 파일에 쓰는 것과 분산 서비스 거부(DDoS) 도구용 Python 코드를 작성하는 것이 포함되었습니다. 전자의 경우 Gemini는 Base64를 16진수로 변환하는 Python 코드를 제공했지만 사용자가 동일한 코드를 VBScript로 요청하는 후속 프롬프트를 입력했을 때 안전 필터링된 응답을 제공했습니다.
같은 그룹이 다른 공개적으로 사용 가능한 탈옥 프롬프트를 사용하여 DDoS용 Python 코드를 요청했습니다. Gemini는 지원할 수 없다는 안전 필터링된 응답을 제공했고 위협 행위자는 세션을 포기하고 추가 상호 작용을 시도하지 않았습니다.
GitHub에서 공개적으로 사용가능한 탈옥 프롬프트 예시
악의적인 행위자 중 일부는 Gmail의 고급 피싱 기술, Chrome 정보 탈취 프로그램 코딩 지원, Google 계정 생성 인증 방법 우회 방법 등 Google 제품 남용에 대한 지침을 Gemini에 요청하려 했지만 성공하지 못했습니다. 이러한 시도는 모두 실패했습니다. Gemini는 악성 코드나 성공적인 악성 캠페인에 사용될 수 있는 다른 콘텐츠를 생성하지 않았습니다. 대신 응답은 안전 지침 콘텐츠와 코딩 및 사이버 보안에 대한 일반적으로 유용하고 중립적인 조언으로 구성되었습니다. Google과 사용자를 보호하기 위한 지속적인 노력의 일환으로, 우리는 위협 행위자가 능력을 확장하거나 Google의 방어를 우회하려는 노력에서 더 나은 성공을 거두는 것을 보지 못했습니다. 에서 공개적으로 사용가능한 탈옥 프롬프트 예시
정부 지원을 받는 위협 행위자의 Gemini 오용
Google은 알려진 APT 행위자와 관련된 Gemini 활동을 분석했으며, Gemini를 사용한 20개국 이상의 APT 그룹을 확인했습니다. 가장 많은 사용량은 이란과 중국에서 나왔습니다. APT 행위자들은 잠재적 인프라 및 무료 호스팅 제공업체 연구, 표적 조직 정찰, 취약점 연구, 페이로드 개발, 악성 스크립팅 및 회피 기술 지원을 포함하여 공격 수명 주기의 여러 단계를 지원하기 위해 Gemini를 사용했습니다. APT 행위자의 주요 사용 사례는 다음과 같습니다.
- 문제 해결, 도구 및 스크립트 개발, 기존 코드 변환 또는 재작성을 포함한 코딩 작업 지원
- 공개적으로 보고된 취약점 및 특정 CVE에 초점을 맞춘 취약점 연구
- 다양한 기술, 번역 및 기술적 설명에 대한 일반적인 연구
- 특정 조직에 대한 세부 정보를 포함하여 예상되는 표적에 대한 정찰
- 표적 환경에서 탐지 회피, 권한 상승 또는 내부 정찰 수행 기술에 대한 조언을 구하는 등 침해 후 활동 지원
우리는 APT 행위자들이 공격 수명 주기의 모든 단계를 지원하기 위해 Gemini를 사용하려고 시도하는 것을 관찰했습니다.
이란 정부 배후 공격자
이란 정부 지원 행위자들은 APT 공격자와 연결된 Gemini 사용 중 가장 큰 비중을 차지했습니다. 이란 정부 지원 행위자 전반에 걸쳐 표적 정찰, 공개적으로 보고된 취약점 연구, 번역 및 기술적 설명 요청, 향후 캠페인에 사용될 가능성이 있는 콘텐츠 제작 등 광범위한 연구 및 사용 사례를 관찰했습니다. 그들의 사용은 방어 조직 및 전문가, 방어 시스템, 외국 정부, 개인 반체제 인사, 이스라엘-하마스 분쟁, 그리고 이란의 사회 문제에 초점을 맞춘 연구를 포함하여 이란의 전략적 이해 관계를 반영했습니다.
피싱 캠페인 제작
이란 APT 행위자의 Gemini 사용 중 30% 이상이 APT42와 연결되었습니다. APT42의 Gemini 활동은 성공적인 피싱 캠페인 제작에 초점을 맞춘 그룹의 활동을 반영했습니다. 우리는 이 그룹이 Gemini를 사용하여 개별 정책 및 방어 전문가와 그룹이 관심을 갖는 조직에 대한 정찰을 수행하는 것을 관찰했습니다.
정찰 외에도 APT42는 Gemini의 텍스트 생성 및 편집 기능을 사용하여 사이버 보안 테마의 콘텐츠를 생성하고 출력을 미국 방어 조직에 맞추는 등 피싱 캠페인 자료를 제작하는 데 사용했습니다. APT42는 또한 지역화 또는 지역 청중을 위한 콘텐츠 맞춤화를 포함하여 번역을 위해 Gemini를 활용했습니다. 여기에는 유창한 영어로 번역해 달라는 요청과 같이 지역 문화와 지역 언어에 맞는 콘텐츠가 포함됩니다.
취약점 연구
APT42의 노력의 대부분은 2023년의 주요 취약점 목록을 생성해 달라는 요청과 같이 공개적으로 알려진 취약점에 대한 연구에 집중되었습니다. 그들은 또한 Mikrotik, Apereo 및 Atlassian과 같은 특정 제품의 취약점에 초점을 맞췄습니다.
특히 APT42는 공격 팀이 운영에서 AI 도구를 사용하는 방법에 초점을 맞춘 레드 팀을 위한 교육 콘텐츠 준비에 대한 도움을 Gemini에 요청하는 등 공격적인 목적으로 생성적 AI 도구를 사용하는 방법을 연구하는 것으로 보였습니다.
군사 및 무기 시스템 연구
APT42는 또한 Gemini의 번역 및 설명 기능을 사용하여 방어 시스템에 대한 공개적으로 사용 가능한 정보를 더 잘 이해한 것으로 보입니다. 그들의 노력에는 이스라엘-하마스 분쟁에 대한 일반적인 연구와 중국 방위 산업의 전략적 동향에 대한 연구가 포함되었습니다. 위협 행위자는 또한 미국산 항공우주 시스템에 대한 기술적 설명을 위해 Gemini를 사용했습니다.
또 다른 이란 APT 그룹은 위성 신호 방해 및 대 드론 시스템에 대한 특정 연구를 포함하여 전쟁 방어를 이해하는 데 집중했습니다. 다른 이란 APT 행위자들은 특정 무인 항공기(UAV) 모델, F-35 전투기 방해, 대 드론 시스템 및 이스라엘의 미사일 방어 시스템에 대한 정보를 연구하는 등 특정 방어 시스템을 연구했습니다.
중국 정부 배후 공격자
중국 정부와 연계된 행위자들은 표적 정찰, 스크립팅 및 개발, 기술 개념에 대한 번역 및 설명 요청, 그리고 초기 침해 후 네트워크에 대한 더 심층적인 접근 권한을 가능하게 하기 위해 Gemini를 사용하려고 시도했습니다. 중국 위협 행위자들의 사용 방식은 IT 관리자가 작업을 간소화, 문제 해결 또는 자동화하려고 하는 것과 유사했습니다. 그러나 악의적인 맥락에서 이러한 활동은 측면 이동, 권한 상승, 데이터 유출 및 탐지 회피를 가능하게 하는 데 사용될 수 있습니다.
표적 네트워크에서 더 심층적인 접근 활성화
중국 지원 APT 행위자들은 또한 스크립팅 및 개발 작업을 수행하기 위해 Gemini를 사용했으며, 그중 상당수는 위협 행위자가 초기 접근 권한을 얻은 후 표적 네트워크에서 더 심층적인 접근을 가능하게 하기 위한 것으로 보였습니다. 예를 들어, 한 중국 지원 그룹은 Microsoft Outlook용 플러그인에 서명하고 모든 컴퓨터에 자동으로 배포하는 방법을 알아내기 위해 Gemini에 도움을 요청했습니다. 같은 행위자는 또한 Windows 이벤트 로그에 원격으로 접근하는 코드를 생성하도록 Gemini에 요청했고, Active Directory에 자체 서명된 인증서를 추가하는 방법에 대한 지침을 요청했으며, 도메인 컨트롤러에서 관리자의 IP 주소를 식별하는 명령을 Gemini에 요청했습니다. 다른 행위자들은 smbclient에서 중국어 문자 인코딩 문제를 해결하고 VMware vCenter에서 비밀번호를 기록하는 방법에 대한 도움을 받기 위해 Gemini를 사용했습니다.
또 다른 예에서 중국 지원 APT 행위자들은 Active Directory 관리 명령에 대한 지원을 Gemini에 요청했고 네트워크 프로토콜 작업을 위한 Python 기반 도구인 impacket 문제 해결에 대한 도움을 요청했습니다. impacket은 일반적으로 양성적인 목적으로 사용되지만, 위협 행위자의 맥락을 통해 행위자가 악의적인 목적으로 도구를 사용하고 있음이 분명해졌습니다.
도구, 개념 및 코드 설명
중국 행위자들은 특정 도구와 기술에 대해 배우고 기술적 과제에 대한 해결책을 개발하기 위해 Gemini를 활용했습니다. 예를 들어, 중국 APT 행위자는 그래프 데이터베이스 Nebula Graph를 사용하는 방법을 분석하기 위해 Gemini를 사용했습니다. 또 다른 경우에 같은 행위자는 TLS 1.3 가시성 문제에 대한 가능한 해결책을 제공하기 위해 Gemini를 사용했습니다. 또 다른 중국 지원 APT 그룹은 악성 PHP 스크립트를 이해하려고 했습니다.
취약점 연구 및 역 엔지니어링
한 경우에 중국 지원 APT 행위자는 엔드포인트 탐지 및 대응(EDR) 도구인 Carbon Black을 리버스 엔지니어링하는 데 Gemini의 도움을 받으려고 시도했지만 실패했습니다. 같은 위협 행위자는 분해된 Python 바이트코드를 Gemini에 복사하여 바이트코드를 Python 코드로 변환했습니다. 그들의 목표가 무엇이었는지는 명확하지 않습니다.
Gemini에서 내부 시스템 정보를 얻으려는 실패한 시도
한 경우에 중국 지원 APT 행위자인 APT41은 Gemini를 사용하여 Gemini의 기본 인프라 및 시스템에 대해 알아보려고 시도했지만 실패했습니다. 행위자는 Gemini에 IP 주소, 커널 버전 및 네트워크 구성과 같은 세부 정보를 공유하도록 요청했습니다. Gemini는 응답했지만 민감한 정보를 공개하지 않았습니다. 도움이 되는 어조로 응답은 주제에 대해 널리 알려진 공개적으로 사용 가능한 세부 정보를 제공하는 동시에 요청된 정보는 무단 접근을 방지하기 위해 비밀로 유지된다는 점을 나타냈습니다.
북한 정부 배후 공격자
북한 APT 행위자들은 잠재적 인프라 및 무료 호스팅 제공업체 연구, 표적 조직 정찰, 페이로드 개발, 악성 스크립팅 및 회피 기술 지원을 포함하여 공격 수명 주기의 여러 단계를 지원하기 위해 Gemini를 사용했습니다. 그들은 또한 남한 핵 기술 및 암호화폐와 같이 북한 정부의 전략적 관심사에 대한 주제를 연구하기 위해 Gemini를 사용했습니다. 우리는 또한 북한 행위자들이 서구 기업에 비밀 IT 인력을 배치하려는 북한의 노력을 가능하게 하려는 시도에서 LLM을 사용하는 것을 관찰했습니다.
비밀 IT 인력 위협
북한 APT 행위자들은 자기소개서를 작성하고 채용 정보를 연구하기 위해 Gemini를 사용했습니다. 이러한 활동은 북한 국적자들이 가짜 신분을 사용하여 해외 기업에서 프리랜서 및 정규직 일자리를 얻으면서 실제 신분과 위치를 숨기려는 노력에 도움이 될 가능성이 높습니다. 한 북한 지원 그룹은 Gemini를 사용하여 직무 설명에 대한 자기소개서 및 제안서를 작성하고, 특정 직업의 평균 급여를 조사했으며, LinkedIn의 채용 정보에 대해 문의했습니다. 이 그룹은 또한 해외 직원 교류에 대한 정보를 얻기 위해 Gemini를 사용했습니다. 이러한 주제 중 상당수는 채용 정보를 연구하고 지원하는 모든 사람에게 일반적입니다.
표적 연구 및 정찰
북한 행위자들은 또한 잠재적 표적에 대한 초기 연구 및 정찰을 수행하는 데 초점을 맞춘 여러 질문으로 Gemini와 상호 작용했습니다. 그들은 또한 미군과 남한 방위 계약업체를 포함하여 북한 행위자의 일반적인 표적인 조직과 산업을 연구했습니다. 한 북한 APT 그룹은 Gemini에 다양한 산업 부문과 지역의 기업 및 조직에 대한 정보를 요청했습니다. 이러한 Gemini 사용 중 일부는 동일한 그룹이 Google이 이전에 탐지하고 차단한 피싱 및 악성 코드 캠페인에서 표적으로 삼으려 했던 조직과 직접적으로 관련되었습니다.
기업 연구 외에도 북한 APT 행위자들은 부지 위치, 최근 뉴스 기사, 발전소의 보안 상태 등 남한의 핵 기술과 발전소에 대해 연구했습니다. Gemini는 온라인 검색에서 쉽게 찾을 수 있는 널리 이용 가능한 공개 정보와 사실을 제공했습니다.
스크립팅, 페이로드 개발, 방어 회피 지원
북한 행위자들은 또한 개발 및 스크립팅 작업을 지원받기 위해 Gemini를 사용하려고 시도했습니다. 한 북한 지원 그룹은 C++로 웹캠 녹화 코드를 개발하는 데 도움을 받기 위해 Gemini를 사용하려고 시도했습니다. Gemini는 여러 버전의 코드를 제공했으며, 행위자의 반복적인 노력은 Gemini의 답변에 대한 불만을 암시할 수 있었습니다. 같은 그룹은 또한 크롤러를 차단하는 robots.txt 파일과 CSS 확장을 제외한 모든 URL을 리디렉션하는.htaccess 파일을 생성하도록 Gemini에 요청했습니다.
한 북한 APT 행위자는 샌드박스 회피를 위한 코드 개발 지원을 위해 Gemini를 사용했습니다. 예를 들어, 위협 행위자는 Gemini를 사용하여 VM 환경과 Hyper-V 가상 머신을 감지하는 C++ 코드를 작성했습니다. Gemini는 간단한 샌드박스 검사를 수행하는 짧은 코드 스니펫과 함께 응답을 제공했습니다. 같은 그룹은 또한 AES 암호화를 구현할 때 Java 오류 문제 해결에 대한 도움을 구했으며, 별도로 Gemini에 Mimikatz를 사용하여 Windows 11에서 시스템 암호를 얻는 것이 가능한지 물었습니다.
러시아 정부 배후 공격자
분석 기간 동안 러시아 지원 APT 행위자의 Gemini 사용은 제한적으로 관찰되었습니다. 이러한 제한적인 사용 중 대부분은 위협을 가능하게 하는 것보다는 양성적인 것으로 보였습니다. 이러한 낮은 참여의 이유는 불분명합니다. 러시아 행위자들이 활동 감시를 피하기 위해 서구에서 통제하는 플랫폼을 피하는 등 운영 보안상의 이유로 Gemini를 피했을 가능성이 있습니다. 그들은 인프라를 완전히 통제할 수 있도록 러시아 기업에서 제작한 AI 도구를 사용하거나 로컬에서 LLM을 호스팅하고 있을 수 있습니다. 또는 다른 서구 LLM을 선호했을 수도 있습니다.
한 러시아 정부 지원 그룹은 공개적으로 사용 가능한 악성 코드를 다른 언어로 재작성하는 데 도움, 코드에 암호화 기능 추가, 특정 블록의 공개적으로 사용 가능한 악성 코드 기능에 대한 설명 등 몇 가지 작업에 대한 도움을 요청하기 위해 Gemini를 사용했습니다.
LLM을 사용하는 금전적 동기 부여 행위자
지하 시장의 위협 행위자들은 악성 코드 개발, 피싱 및 기타 악의적인 작업을 위해 LLM을 지원하는 보안 가드레일을 우회하는 방법을 광고하고 있습니다. 이러한 제안에는 악의적인 용도로 즉시 사용할 수 있는 탈옥된 LLM이 포함됩니다.
2023년과 2024년 내내 Google 위협 인텔리전스 그룹(GTIG)은 LLM과 관련된 지하 포럼 게시물을 관찰했으며, 이는 불량 버전의 LLM에 대한 시장이 급증하고 있음을 나타냅니다. 일부 광고는 악성 코드 개발 목적으로 제한이 없는 맞춤형 및 탈옥된 LLM을 자랑하거나 합법적인 서비스에서 일반적으로 발견되는 보안 조치가 부족하여 사용자가 보안 가드레일이나 쿼리 제한 없이 모든 주제나 작업에 대해 LLM에 프롬프트를 제공할 수 있다고 선전합니다. 예를 들어 Telegram에서 제한이 없는 것으로 광고되는 FraudGPT와 악성 코드 개발이 가능한 개인 정보 보호 중심의 "검열되지 않은" LLM인 WormGPT가 있습니다.
금전적 동기 부여 행위자들은 LLM을 사용하여 업무 이메일 침해(BEC) 작업을 강화하는 데 도움을 받고 있습니다. GTIG는 금전적 동기 부여 행위자들이 업무 이메일 침해(BEC) 사기에서 조작된 비디오 및 음성 콘텐츠를 사용하는 증거를 확인했습니다. 언론 보도에 따르면 금전적 동기 부여 행위자들은 WormGPT를 사용하여 더 설득력 있는 BEC 메시지를 생성한 것으로 알려져 있습니다.
정보 공작(IO) 행위자의 Gemini 오용
IO 행위자들은 연구, 페르소나 및 메시징 개발을 포함한 콘텐츠 생성, 번역 및 현지화, 그리고 도달 범위를 늘리는 방법을 찾기 위해 Gemini를 사용했습니다. 일반적인 사용 사례에는 뉴스 및 현재 사건에 대한 일반적인 연구와 개인 및 조직에 대한 특정 연구가 포함됩니다. 페르소나와 콘텐츠를 포함하여 캠페인용 콘텐츠를 생성하는 것 외에도, 행위자들은 배포 자동화, 검색 엔진 최적화(SEO)를 사용하여 캠페인 도달 범위를 최적화하고 운영 보안을 강화하는 등 캠페인의 효율성을 높이는 방법을 연구했습니다. 정부 지원 그룹과 마찬가지로 IO 행위자들은 번역 및 현지화와 콘텐츠의 의미나 맥락을 이해하기 위해 Gemini를 사용하기도 했습니다.
이란 연계 정보 공작 행위자
이란 기반 정보 공작(IO) 그룹은 일반 연구, 번역 및 현지화, 콘텐츠 생성 및 조작, 특정 편견이나 어조를 가진 콘텐츠 생성 등 광범위한 작업에 Gemini를 사용했습니다. 우리는 또한 이란 기반 IO 행위자들이 뉴스 사건에 대해 Gemini와 교류하고 이란, 미국, 중동 및 유럽의 경제 및 정치 문제에 대한 세부 정보를 제공하도록 요청하는 것을 관찰했습니다.
원문과 차용한 콘텐츠를 혼합하는 관행에 따라 이란 IO 행위자들은 뉴스 기사와 같은 기존 자료를 번역했습니다. 그런 다음 Gemini를 사용하여 주어진 텍스트 내의 특정 구문의 맥락과 의미를 설명하도록 했습니다.
이란 기반 IO 행위자들은 또한 콘텐츠를 현지화하기 위해 Gemini를 사용하여 인간과 같은 번역을 추구하고 텍스트가 원어민 영어 사용자처럼 들리도록 하는 것과 같은 작업에 대한 도움을 Gemini에 요청했습니다. 그들은 Gemini를 사용하여 텍스트를 조작했습니다 (예: 특정 스타일이나 어조로 이민과 범죄에 대한 기존 텍스트를 다시 작성하는 데 대한 도움을 요청).
이란의 활동에는 캠페인 도달 범위를 개선하는 방법에 대한 연구도 포함되었습니다. 예를 들어, 더 많은 청중에게 도달하기 위해 SEO 최적화된 콘텐츠를 생성하려고 시도했습니다. 일부 행위자들은 소셜 미디어 참여를 늘리는 전략을 제안하도록 Gemini를 사용하기도 했습니다.
중국 연계 정보 공작 행위자
중국과 연계된 정보 공작(IO) 행위자들은 주로 광범위한 주제에 대한 일반적인 연구를 위해 Gemini를 사용했습니다. 우리가 추적하는 가장 다작의 IO 행위자인 친중국 그룹 DRAGONBRIDGE가 이 활동의 약 4분의 3을 담당했습니다. 그들의 활동 중 대부분은 다양한 소셜 미디어 플랫폼의 기능에 대한 세부 정보부터 중국 정부의 전략적 관심사에 대한 다양한 주제에 대한 질문에 이르기까지 광범위한 주제에 대한 일반적인 연구였습니다. 행위자들은 미국과 대만에 초점을 맞춰 다른 지역의 현재 사건과 정치에 대한 정보를 연구했습니다. 그들은 또한 특정 사건의 영향과 위험을 평가하는 데 관심을 보였습니다. 몇몇 경우에 DRAGONBRIDGE는 특정 주제에 대한 기사나 콘텐츠를 생성하기 위해 Gemini를 사용했습니다.
DRAGONBRIDGE는 IO 캠페인을 지원하는 합성 콘텐츠를 만들기 위해 다른 생성적 AI 도구를 실험해 왔습니다. 2022년 초부터 이 그룹은 YouTube의 비디오에서 상업용 AI 서비스를 사용하여 AI가 생성한 뉴스 진행자를 묘사했습니다. AI 생성 비디오 사용은 2024년까지 계속되었지만 실제 시청자의 참여가 크게 증가하지는 않았습니다. Google은 이러한 콘텐츠를 배포하는 채널을 발견 즉시 탐지하고 종료했습니다. DRAGONBRIDGE의 AI 생성 비디오 또는 이미지 사용은 실제 시청자의 참여를 크게 증가시키지 못했습니다.
러시아 연계 정보 공작 행위자
러시아 IO 행위자들은 일반 연구, 콘텐츠 생성 및 번역을 위해 Gemini를 사용했습니다. 이 활동의 절반은 러시아 정부와 협력하는 러시아 컨설팅 회사와 연결된 KRYMSKYBRIDGE로 추적되는 러시아 IO 행위자와 관련이 있었습니다. 활동의 약 40%는 고(故) 러시아 과두정치가인 예브게니 프리고진이 이전에 통제했던 러시아 국가 후원 기관과 관련된 행위자들과 연결되었습니다. 우리는 또한 Doppelganger로 공개적으로 추적되는 행위자들의 사용을 관찰했습니다.
러시아 IO 행위자 사용의 대부분은 러시아-우크라이나 전쟁에서 다양한 도구 및 온라인 서비스에 대한 세부 정보에 이르기까지 일반 연구 작업과 관련되었습니다. 러시아 IO 행위자들은 또한 콘텐츠 생성, 기사 제목 재작성 및 소셜 미디어 캠페인 계획을 위해 Gemini를 사용했습니다. 러시아어 간 번역 또한 일반적인 작업이었습니다.
러시아 IO 행위자들은 생성적 AI 환경에 집중했는데, 이는 그들이 통제하는 인프라에서 AI의 고유한 기능을 개발하는 데 관심을 보일 수 있음을 나타냅니다. 그들은 온라인 AI 챗봇을 만드는 데 사용할 수 있는 도구와 LLM과 상호 작용하기 위한 개발자 도구를 연구했습니다. 한 러시아 IO 행위자는 텍스트 콘텐츠 분석 옵션을 제안하도록 Gemini를 사용했습니다.
친러시아 IO 행위자들은 과거에 영향력 캠페인에서 AI를 사용했습니다. 2024년에 CopyCop으로 알려진 행위자는 LLM을 사용하여 콘텐츠를 생성했을 가능성이 있으며, 그들의 사이트의 일부 기사에는 특정 정치적 관점이나 어조로 실제 뉴스 소스의 기사를 다시 작성하기 위해 LLM이 프롬프트되었다는 메타데이터가 포함되어 있었습니다. CopyCop의 비정통 뉴스 사이트는 미국 및 유럽 기반 뉴스 매체로 가장하고 서구 정책, 우크라이나 전쟁, 미국 및 유럽의 국내 정치에 대한 크렘린과 연계된 견해를 게시합니다.
AI를 안전하고 책임감 있게 구축
우리는 AI에 대한 우리의 접근 방식이 대담하면서도 책임감 있어야 한다고 믿습니다. 우리에게 그것은 사회에 긍정적인 이점을 극대화하는 동시에 과제를 해결하는 방식으로 AI를 개발하는 것을 의미합니다. Google은 AI 원칙의 안내를 받아 강력한 보안 조치와 강력한 안전 가드레일을 갖춘 AI 시스템을 설계하며, 모델의 보안과 안전성을 지속적으로 테스트하여 개선합니다. 우리의 정책 지침과 금지된 사용 정책은 Google의 생성적 AI 도구의 안전하고 책임감 있는 사용을 우선시합니다. Google의 정책 개발 프로세스에는 새로운 동향 파악, 종합적인 사고, 안전을 위한 설계가 포함됩니다. 우리는 전 세계 사용자에게 확장된 보호 기능을 제공하기 위해 제품의 안전 장치를 지속적으로 강화합니다.
Google은 위협 인텔리전스를 활용하여 적의 작전을 방해합니다. 우리는 정부 지원을 받는 위협 행위자의 악의적인 사이버 활동을 포함하여 제품, 서비스, 사용자 및 플랫폼의 남용을 조사하고 적절한 경우 법 집행 기관과 협력합니다. 또한 악의적인 활동에 대응하면서 얻은 교훈은 AI 모델의 안전과 보안을 개선하기 위해 제품 개발에 다시 투입됩니다. Google DeepMind는 또한 생성적 AI의 위협 모델을 개발하여 잠재적 취약점을 식별하고, 이로 인해 발생하는 오용을 해결하기 위한 새로운 평가 및 훈련 기술을 만듭니다. 이러한 연구와 함께 DeepMind는 AI 시스템 내에서 방어 기능을 적극적으로 배포하는 방법과 측정 및 모니터링 도구를 공유했으며, 그중 하나는 간접 프롬프트 주입 공격에 대한 AI 시스템의 취약성을 자동으로 레드팀하는 데 사용되는 강력한 평가 프레임워크입니다. 우리의 AI 개발 및 신뢰 및 안전 팀은 또한 위협 인텔리전스, 보안 및 모델링 팀과 긴밀하게 협력하여 오용을 막습니다.
The potential of AI, especially generative AI, is immense. As innovation moves forward, the industry needs security standards for building and deploying AI responsibly. That's why we introduced the Secure AI Framework (SAIF), a conceptual framework to secure AI systems. We've shared a comprehensive toolkit for developers with resources and guidance for designing, building, and evaluating AI models responsibly. We've also shared best practices for implementing safeguards, evaluating model safety, and red teaming to test and secure AI systems.
AI, 특히 생성적 AI의 잠재력은 엄청납니다. 혁신이 진행됨에 따라 업계는 AI를 책임감 있게 구축하고 배포하기 위한 보안 표준이 필요합니다. 그렇기 때문에 우리는 AI 시스템을 보호하기 위한 개념적 프레임워크인 Secure AI Framework (SAIF)를 도입했습니다. 우리는 개발자를 위한 포괄적인 툴킷을 리소스와 AI 모델을 책임감 있게 설계, 구축 및 평가하기 위한 지침과 함께 공유했습니다. 또한 안전 장치 구현, 모델 안전성 평가 및 AI 시스템을 테스트하고 보호하기 위한 레드팀에 대한 모범 사례를 공유했습니다.
저자 소개
Google 위협 인텔리전스 그룹은 Mandiant Intelligence 및 Threat Analysis Group (TAG) 팀을 통합하여 Alphabet, 사용자 및 고객에 대한 전체 사이버 위협 종류를 식별, 분석, 완화 및 제거하는 데 중점을 둡니다. 우리의 작업에는 정부 지원을 받는 공격자, 표적 0-day 익스플로잇, 조직적인 정보 공작(IO) 및 심각한 사이버 범죄 네트워크의 위협에 대응하는 것이 포함됩니다. 우리는 우리의 인텔리전스를 적용하여 Google의 방어를 개선하고 사용자와 고객을 보호합니다.
