生成 AI の敵対的な不正使用

※この投稿は米国時間 2025 年 1 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。

AI の急速な進歩により、科学やテクノロジーなどの分野における働き方に新しい可能性が拓け、イノベーションが加速しつつあります。サイバーセキュリティにおいては、AI はデジタル防御を変革させ、防御者を力づけ、集団安全保障を強化しています。大規模言語モデル（LLM）により、防御者が複雑なテレメトリーを精密に調べる代わりに、セキュアなコーディング、脆弱性の検出、業務の効率化のような新しい可能性が拓けるようになります。しかし、これらの AI 機能のいくつかは攻撃者も使用できるため、AI の潜在能力が悪意をもって不正使用されることへの不安も理解できます。

サイバー脅威アクターによる AI の不正使用に関する現在の議論の多くは、理論的な調査に留まっています。これらの調査は、AI の悪用の可能性を示しているものの、実際に存在する脅威アクターによって AI がどのように使用されているかという現状を反映しているとは限りません。このギャップを埋めるため、AI を活用した Google の アシスタントである Gemini を脅威アクターがどのように利用しているかについて、包括的な分析を行いました。この分析は、Google の Threat Intelligence グループ（GTIG）の専門知識に基づくものです。この専門知識は、最前線で脅威アクターを数十年にわたって追跡し、Google、ユーザー、お客様を、政府の支援を背景とする攻撃者、標的を絞ったゼロデイ悪用、巧妙に仕組まれた情報工作（IO）、そして深刻なサイバー犯罪ネットワークから保護してきた経験を総合したものです。

民間企業、政府、教育機関、その他の関係者が協力して AI の利点を最大限に活用するとともに、悪用のリスクを減らす必要があると考えています。Google は自社の原則に従い、責任ある AI を開発するため注力しており、責任ある AI 開発を行うためのリソースとベスト プラクティスを業界全体で共有しています。Google は、AI モデルを不正使用されにくくするよう改良し続けるとともに、自社のインテリジェンスを適用して Google の防御を強化し、サイバー脅威の活動からユーザーを保護します。また、Google は悪意のあるアクティビティを事前に阻止してユーザーを保護し、インターネットを安全な場所にしていきます。Google は、調査結果をセキュリティのコミュニティと共有して意識を高め、すべての人々のためにより強固な保護を可能にします。

概要

Google Threat Intelligence グループ（GTIG）は、サイバー脅威の活動の追跡と保護に注力しています。このグループは、最も完全な脅威の全体像を作り上げて Google、Google のユーザー、そしてお客様を常に保護し続け、敵対的な行為を阻止します。この活動の一環として、グループは脅威アクターと関係する活動を調査し、生成 AI や LLM の不正使用も含め、悪意のある活動からの防御を行います。

このレポートでは、政府の支援を背景とする脅威アクターによる Gemini ウェブ アプリケーションの使用に関する調査結果を共有します。このレポートは、GTIG により追跡された高度標的型脅威（APT）および巧妙な情報工作（IO）を行う脅威アクターに関する新たな調査結果を網羅しています。アナリストによるレビューと LLM アシスト分析を併用して、Gemini の不正使用を試みる APT および IO 脅威アクターによるプロンプトを調査しました。

GTIG は、包括的なインテリジェンス主導の方法により、脅威となるアクティビティを検出して阻止します。そのようなアクティビティを可能にする脅威を特定するために必要なコンテキストは、政府の支援を受けた脅威アクターやキャンペーンについてのGTIG の知識から得られます。広範な技術的なシグナルを使用して、政府の支援を受けた脅威アクターと、そのインフラストラクチャを追跡し、それらのシグナルと Google プラットフォームにおけるアクティビティを相互に関連付けて、Google とそのユーザーを保護します。この活動を追跡することで、 GTIG の見識を活用して Google プラットフォーム全体にわたり脅威に対抗し、Gemini を不正に使用した脅威アクターの活動を阻止できます。また、グループの見識を積極的に一般公開し、意識を高るるとともに、より広大なエコシステム全体で強固な保護を可能にします。

政府の支援を受けた脅威アクターによる Gemini の使用についての分析では、脅威アクターが工作においてどのように AI を使用しているか、そしてその活動のいずれかが新規または独自の AI 対応の攻撃や悪用手法を表しているかどうかを把握することに重点を置いています。Google の調査結果は、同業他社で判明したものと整合しており、AI は脅威アクターにとって有用なツールとなり得るものの、現在のところは、語られることがあるほど画期的なものではないことが明らかとなりました。脅威アクターがトラブルシューティング、調査、コンテンツ生成などの一般的なタスクを行うために生成 AI を使用することは確認されましたが、新しい能力を開発した兆候は見られませんでした。

主な調査結果は次のとおりです。

• 脅威アクターによる、セキュア AI フレームワーク（SAIF）のリスク分類に概説されているようなプロンプト攻撃や、その他の ML に特化した脅威を使用する、独創的または持続的な試みは見られませんでした。脅威アクターは、カスタマイズされたプロンプトを構築するよりも、より基本的な手法や、一般公開されているジェイルブレイク プロンプトを使用して Gemini の安全制御を突破しようと試みましたが、失敗しました。

• 脅威アクターは Gemini で工作を可能にしようとテストし、生産性の向上を達成しましたが、新しい能力を作り出すには至っていません。現在のところ、脅威アクターは主に調査、コードのトラブルシューティング、およびコンテンツの作成とローカライズのために AI を使用しています。

• APT アクターは、攻撃のライフサイクルにおける複数のフェーズをサポートするために Gemini を使用しました。具体的には、潜在的なインフラストラクチャと無料のホスティング プロバイダの調査、標的組織の偵察、脆弱性の調査、ペイロードの開発、および悪意のあるスクリプトの作成と回避手法の支援などが挙げられます。イランの APT アクターは、Gemini を最も多く、広範な目的で使用していました。特筆すべき点として、ロシアの APT アクターは Gemini を限定的に使用していることが分析の期間内に観察されました。

• IO アクターは、調査、ペルソナやメッセージの作成などのコンテンツ生成、翻訳とローカライズ、およびリーチを拡大する方法を探すために Gemini を使用しました。ここでも、イランの IO アクターは最も多く Gemini を使用しており、IO アクターによる使用すべての 4 分の 3 を占めていました。さらに、中国とロシアの IO アクターが Gemini を主に一般的な調査とコンテンツ作成に使用していることも観測しました。

• Gemini の安全性およびセキュリティ対策では、このデータセットで観測されたような敵対的な能力を強化するようなコンテンツを制限しました。Gemini はコンテンツ作成、要約、複雑なコンセプトの説明、さらには単純なコーディングなどのタスクを支援しました。より精巧なタスクまたは明確に悪意のあるタスクへの支援では、Gemini から安全性の回答が生成されました。

• 脅威アクターは Gemini を使用して Google プロダクトの不正使用を可能にしようと試みましたが、失敗しました。不正使用には、Gmail のフィッシング技法の調査、データの窃盗、Chrome の情報窃取型マルウェアのコーディング、Google のアカウント確認方法の回避などがあります。

破壊的な変化を可能にすることよりも、生成 AI によって脅威アクターはより迅速に、大量に活動することが可能になります。技術力のある攻撃者にとって、生成 AI ツールはサイバー脅威アクティビティでの Metasploit や Cobalt Strike の使用と同じように、便利なフレームワークになります。それほどの技術力がない攻撃者にとっては学習および生産性向上ツールとなり、ツールをより速く開発して既存の手法を組み入れられるようになります。しかし、現在の LLM 単独では、脅威アクターにとってブレークスルーとなる能力を可能にするとは考えにくいです。AI の展望は常に変化し続けており、新しい AI モデルやエージェント システムが毎日出現していることに注目しています。この進化が展開するにつれ、脅威アクターが工作に新しい AI テクノロジーを取り入れ、脅威の展望が足早に進化していくことを、GTIG は予測しています。

AI に特化した脅威

攻撃者は 2 つの方法で LLM を使用できます。1 つ目は、LLM を活用してキャンペーンを加速しようと試みることです（マルウェアのコードやフィッシング メールのコンテンツを生成するなど）。観測されたアクティビティの圧倒的多数はこのカテゴリーに属するものでした。攻撃者が LLM を使用する 2 つ目の方法は、悪意のあるアクションを行うようモデルまたは AI エージェントに指示するものです（機密性の高いユーザーデータの検出と引き出しなど）。これらのリスクについては、Google のセキュア AI フレームワーク（SAIF）リスク分類に概説されています。

脅威アクターがプロンプト攻撃や他の AI 固有の脅威を使用する独自の、または持続的な試みは観測されませんでした。脅威アクターは、カスタマイズされたプロンプトを構築するよりも、プロンプトを書き換えたり、同じプロンプトを何回も送信したりするなどの、より基本的な手法を使用しました。これらの試みは失敗しました。

ジェイルブレイクの試み: 基本的なもので、一般公開されているプロンプトに基づく

一般公開されているジェイルブレイク プロンプトを使用して Gemini の安全制御を突破しようとした、それほど手間のかからない試みの事例もいくつか観測されました。脅威アクターは、一般公開されているプロンプトをコピーして貼り付け、最後の指示に少しだけ変化を加えます（ランサムウェアやマルウェアを作成する基本的な指示など）。Gemini は安全フォールバックの回答を返し、脅威アクターの指示に従うことを拒否しました。

失敗したジェイルブレイクの試みの一例では、APT アクターが一般公開されているプロンプトを Gemini にコピーし、コーディング タスクを行うよう基本的な指示を追加しました。これらのタスクには、ファイルからテキストをエンコードし、実行可能ファイルに書き込むものと、分散型サービス拒否攻撃（DDoS）ツールの Python コードを作成するものがありました。前の例で、Gemini は Base64 を 16 進数に変換する Python コードを提供しましたが、同じコードを VBScript として要求するフォローアップ プロンプトをユーザーが入力したとき、安全フィルタが適用された回答を返しました。

同じグループは、別の一般公開されているジェイルブレイク プロンプトを使用して、DDoS 用の Python コードを要求しました。Gemini は、要求に応じられないという安全フィルタが適用された回答を返し、脅威アクターはセッションを破棄して、それ以後のインタラクションを試みませんでした。

一部の脅威アクターは、Google プロダクトの不正使用に関するガイダンス（たとえば Gmail の高度なフィッシング技法、Chrome の情報窃取型マルウェアをコーディングする支援、Google のアカウント作成確認手法を回避する方法など）について Gemini にプロンプトを送信したものの、これらの試みは失敗しました。Gemini は、悪意のあるキャンペーンで正当なものに見せかけて使用される可能性があるマルウェアや、その他のコンテンツを生成しませんでした。その代わりに、安全ガイダンスに基づくコンテンツと、コーディングおよびサイバーセキュリティに関する一般的に役立つ、中立的な助言で構成される回答を返しました。Google とユーザーを保護するための継続的な作業において、脅威アクターが自らの能力を拡大した例や、Google の防御を回避する試みにおいてより良い成功を収めた例は見つかりませんでした。

調査結果: 政府の支援を背景とした脅威アクターによる Gemini の不正使用

Google は既知の APT アクターと関連付けられる Gemini アクティビティを分析し、20 を超える国の APT グループが Gemini を使用していたことを特定しました。最も使用量が多かったのはイランと中国からでした。APT アクターは、潜在的なインフラストラクチャと無料のホスティング プロバイダの調査、標的組織の偵察、脆弱性の調査、ペイロードの開発、および悪意のあるスクリプトの作成と回避手法の支援など、攻撃のライフサイクルにおける複数のフェーズをサポートするため Gemini を使用しました。APT アクターの最も多いユースケースは次のような活動に集中していました。

• トラブルシューティング、ツールとスクリプトの開発、既存のコードの変換や書き換えなど、コーディング タスクの支援

• 公に報告された脆弱性と特定の CVE に特化した脆弱性調査

• さまざまなテクノロジー、翻訳、技術的説明についての一般的な調査

• 標的の候補に関する偵察（特定の組織についての詳細を含む）

• 検出の回避、権限昇格、標的環境における内部的な偵察の実行など、侵入後の活動の実現

APT アクターが Gemini を使用して、攻撃のライフサイクルにおけるすべてのフェーズをサポートしようと試みていたことが観測されました。

イラン政府の支援を受けたアクター

イラン政府の支援を受けたアクターは、APT アクターにリンクされた Gemini の使用のうち最大の割合を占めていました。イラン政府の支援を受けたアクターすべてにわたり、ターゲットへの偵察を可能にする、公に報告された脆弱性について調査する、翻訳や技術的な説明を要求する、将来のキャンペーンに使用可能なコンテンツを作成するなど、広範な調査およびユースケースが観察されました。これらのアクターの使用パターンは、防衛組織と専門家、防衛システム、外国の政府、個別の反体制派、イスラエルとハマスの衝突、およびイランにおける社会問題に集中した調査など、イランの戦略的な関心事項を反映していました。

フィッシング キャンペーンの作成

イランの APT アクターによる Gemini の使用の 30% 以上は APT42 と関連していました。APT42 の Gemini アクティビティは、このグループが成功するフィッシング キャンペーンの作成に集中していたことを反映しています。このグループは、Gemini を使用して個別の政策および防衛の専門家や、グループが関心を持っている組織に偵察を行っていることが観察されました。

偵察に加えて、APT42 は Gemini のテキスト生成および編集機能を使用し、フィッシング キャンペーンの資料作成として、サイバーセキュリティ テーマのコンテンツの生成や、米国の防衛組織向けの出力のカスタマイズなどを行っていました。また、APT42 はローカライズなどの翻訳や、現地のオーディエンスに向けたコンテンツのカスタマイズにも Gemini を使用していました。これには、現地の文化や言語に合わせてコンテンツをカスタマイズする、たとえば流暢な英語に翻訳するよう指示することなども含まれています。

脆弱性の調査

APT42 の作業の大半は、既知の脆弱性の調査、たとえば 2023 年の重要な脆弱性のリストを生成する要求などに集中していました。また、Mikrotik、Apereo、Atlassian など特定の製品の脆弱性に集中する傾向も見られました。

注目すべき点として、APT42 は生成 AI ツールを攻撃目的に使用する方法を調査しているらしく、攻撃チームが作戦でどのように AI ツールを使用できるかを中心とした、レッドチーム向けのトレーニング コンテンツの準備について、Gemini に支援を求めていました。  

軍事および兵器システムの調査

また、APT42 は防衛システムについて一般公開されている情報について理解を深めるため、Gemini の翻訳および説明機能を使用していたようです。イスラエルとハマスの衝突や、中国の防衛産業の戦略的な動向についての一般的な調査も行われていました。これらの脅威アクターは、米国製の航空宇宙システムについての技術的な説明にも Gemini を使用していました。

別のイランの APT グループも、戦争での防衛に関して、衛星の信号のジャミングや対ドローン システムなどを理解することに集中していました。他のイランの APT アクターは、特定の無人航空機（UAV）モデルについての情報の調査、F-35 ジェット戦闘機のジャミング、対ドローン システム、イスラエルのミサイル防衛システムなど、特定の防衛システムについて調査していました。

中国政府の支援を受けたアクター

中国に関連する政府の支援を受けたアクターは、標的の偵察を可能にするため、スクリプト作成や開発のため、技術的なコンセプトの翻訳や説明を求めるため、最初の侵入の後でネットワークへのより細部にわたるアクセスを可能にするために Gemini の使用を試みました。中国の脅威アクターによる使用は、タスクの合理化、トラブルシューティング、自動化を追求する IT 管理者によるものと類似していました。しかし不正使用のコンテキストでは、このアクティビティはラテラル ムーブメント、権限昇格、データの引き出し、および検出の回避を可能にするため使用されることがあります。

標的ネットワークでのより細部にわたるアクセスを可能にする

中国政府の支援を受けた APT アクターは、スクリプト作成と開発タスクを進めるためにも Gemini を使用しており、その多くは脅威アクターが最初のアクセスを取得した後で、標的ネットワークでのより細部にわたるアクセスを可能にすることを意図しているようです。たとえば、中国政府の支援を受けたあるグループは、Microsoft Outlook のプラグインに署名し、すべてのコンピュータに誰にも気づかれない形でデプロイする方法を見つけるため支援するよう Gemini に求めていました。この同じアクターは、Windows イベントログにリモートでアクセスするコードを生成するよう Gemini に求めており、自己署名証明書を Active Directory に追加する方法についての手順を探し、ドメイン コントローラの管理者の IP アドレスを識別するコマンドを Gemini にたずねていました。別のアクターは、smbclient における中国語の文字エンコードの問題のトラブルシューティングや、パスワードを VMware vCenter に記録する方法の支援のために Gemini を使用していました。

別の例として、中国政府の支援を受けた APT アクターは、Active Directory 管理コマンドについての支援や、ネットワーク プロトコルを操作する Python ベースのツールである Impacket のトラブルシューティングの助けを Gemini に求めていました。Impacket は正当な目的にも多く使用されますが、脅威アクターのコンテキストでは、このツールが悪意のある目的に使用されていることが明白でした。

ツール、コンセプト、コードの説明

中国のアクターは、特定のツールやテクノロジーについて学ぶためや、技術的な課題の解決策を見いだすために Gemini を活用していました。たとえば、中国の APT アクターは、グラフ データベースの Nebula Graph を使用する方法を詳しく知るために Gemini を使用していました。別の例では、この同じアクターが、TLS 1.3 の可視性の課題に対する解決策を提案してもらうために Gemini を使用していました。中国政府の支援を受けた別の APT グループは、悪意のある PHP スクリプトを理解しようとしていました。

脆弱性の調査とリバース エンジニアリング

ある事例では、中国政府の支援を受けた APT アクターが、エンドポイントの検出と対応（EDR）ツールの Carbon Black をリバース エンジニアリングするため Gemini の助けを得ようとしましたが、失敗しました。この同じ脅威アクターは、逆アセンブルした Python のバイトコードを Gemini にコピーして、バイトコードを Python コードに変換しました。目的が何だったのかは不明です。

Gemini から内部のシステム情報を引き出す試みの失敗

ある事例では、中国政府の支援を受けた APT アクターの APT41 が Gemini を使用して、Gemini の基礎となるインフラストラクチャとシステムについて学ぼうとしましたが、失敗しました。このアクターは、IP アドレス、カーネル バージョン、ネットワーク構成などの詳細を共有するよう Gemini に求めました。Gemini は回答しましたが、機密情報は明かしませんでした。Gemini の回答は親切な口調で、このトピックについて広く知られている、一般公開された詳細情報を提供するとともに、要求された情報は不正アクセスを防止するため機密に保たれていることを示しました。

北朝鮮政府の支援を受けたアクター

北朝鮮の APT アクターは、潜在的なインフラストラクチャと無料のホスティング プロバイダの調査、標的組織の偵察、ペイロードの開発、および悪意のあるスクリプトの作成と回避手法の支援など、攻撃ライフサイクルのいくつかのフェーズをサポートするため Gemini を使用しました。また、北朝鮮政府が戦略的な関心を持つトピック、たとえば韓国の核技術や暗号通貨について調査するためにも、Gemini を使用しました。北朝鮮のアクターは、潜伏型の IT 作業員を西側の企業に配置する活動を可能にするためと考えられる試みで LLM を使用したことも観察されました。

潜伏型の IT 作業員の脅威

北朝鮮の APT アクターは、カバーレターのドラフト作成や求人の調査に Gemini を使用していました。これは、偽造の ID を使用して外国企業でフリーランスやフルタイムの仕事を得て、本当の ID や場所は秘匿しておく北朝鮮国家の活動を支援するアクティビティと考えられます。北朝鮮政府の支援を受けたあるグループは、Gemini を利用してカバーレターのドラフト作成と職務記述書の提案、特定の求人の平均給与の調査、LinkedIn の求人についての質問を行いました。このグループは、海外の従業員の交換についての情報にも Gemini を使用していました。トピックの多くは、求人の調査と応募をする人にとっては一般的なものです。

雇用に関係する調査は、仕事を探している人たちにとっては一般的なものですが、その使用は北朝鮮が西側の企業にフリーランスの仕事やフルタイムの雇用として潜伏型の従業員を配置するという継続的な活動と関係している可能性が高いと Google は評価しています。その手法では、数千人もの北朝鮮の従業員が関与し、米国に拠点を置く数百社の企業が影響を受けており、偽造の ID を持つ IT 作業員がフリーランスの作業を完了し、北朝鮮政府にその賃金を送ります。

標的の調査と偵察

北朝鮮のアクターは、さらに Gemini にいくつかの質問をしました。これらの質問は、標的の候補への初期調査と偵察を中心としていたようです。また、北朝鮮のアクターにとって一般的な標的である、米国および韓国の軍事および防衛委託業者などの組織や産業についても調査していました。北朝鮮のある APT グループは、さまざまな業界部門と地域にわたる企業や組織についての情報を Gemini に質問しました。Gemini のこのような使い方の中には、以前に同じグループがフィッシングやマルウェアのキャンペーンの標的とした組織と直接関係するものもありました。このキャンペーンは Google が検出して阻止しています。

企業の調査に加えて、北朝鮮の APT アクターは、韓国の核テクノロジーと発電所について、施設の所在地、最近のニュース記事、発電所のセキュリティの状態も調査していました。Gemini は一般公開されている情報や、オンライン検索で簡単に見つけられるような事実を回答しました。

スクリプトの作成、ペイロードの開発、防御の回避に関する支援

北朝鮮のアクターは、開発とスクリプト作成のタスクの支援にも Gemini の使用を試みました。北朝鮮政府の支援を受けたあるグループは、ウェブカメラの録画コードを C++ で作成する支援に Gemini を使おうと試みました。Gemini は複数のバージョンのコードを提供し、アクターは試みを繰り返していました。つまり、アクターは Gemini の回答に不満を抱いていたことを可能性があります。同じグループは、クローラーをブロックする robots.txt ファイルと、CSS 拡張機能を除くすべての URL をリダイレクトする .htaccess ファイルの生成も Gemini に求めました。

北朝鮮政府の支援を受けたある APT アクターは、サンドボックスを回避するコードの開発を支援するため Gemini を使いました。たとえば、この脅威アクターは Gemini を利用して、VM 環境と Hyper-V 仮想マシンを検出するコードを C++ で作成しました。Gemini は、簡単なサンドボックス チェックを行う短いコード スニペットを回答として提供しました。同じグループは、AES 暗号化を実装するときの Java エラーのトラブルシューティングについて助けを求めたほか、それとは別に、Mimikatz を使用して Windows 11 のシステム パスワードを取得することは可能かと Gemini に質問しました。

ロシア政府の支援を受けたアクター

分析の期間内に、ロシア政府の支援を受けた APT アクターが Gemini を限定的に使用していたことが観測されました。この限定的な使用の大半は脅威となるようなものではなく、無害なもののようでした。これらのアクターの活動が少なかった理由は不明です。ロシアのアクターは、運用上のセキュリティを考慮した結果として Gemini を避け、活動をモニタリングされることを回避するために、西側諸国の企業が管理するプラットフォームを利用しなかった可能性があります。ロシアの企業から提供された AI ツールを使っている、またはローカルで LLM をホストしている可能性もあり、この場合は自分たちのインフラストラクチャの完全な支配が保証されます。あるいは、これらのアクターが他の西側諸国の企業の LLM を選んだ可能性もあります。

ロシア政府の支援を受けたあるグループは、一般公開されているマルウェアの別言語への書き換え、コードへの暗号化機能の追加、一般公開されている悪意のある特定のコードブロックがどのように機能するのかの説明など、いくつかのタスクで Gemini の支援を求めました。

金銭目的の脅威アクターによる LLM の使用

アンダーグラウンド マーケットプレイスの脅威アクターは、セキュリティ ガードレールを回避して、マルウェア開発、フィッシング、および他の悪意のあるタスクについて LLM を支援する方法を宣伝しています。悪意のある目的に使用できるように制限解除された LLM も提供されています。

2023 年と 2024 年を通して、Google Threat Intelligence グループ（GTIG）はアンダーグラウンド フォーラムで LLM に関連する投稿を見つけました。これは、LLM の不正なバージョンの市場が生まれつつあることを示しています。一部では、カスタマイズされ制限解除された、マルウェア開発目的での使用に制限がない LLM が宣伝されていました。また、正当なサービスには一般に見られるセキュリティ対策が存在せず、セキュリティ ガードレールに引っかかったり、クエリが制限されたりすることなしに、どのようなトピックやタスクにも LLM を使用できると売り込んでいるものもありました。例として、FraudGPT は制限がないと Telegram で宣伝されており、WormGPT はプライバシーに特化した「検閲なし」の LLM で、マルウェアを開発できます。   

金銭目的のアクターは、ビジネスメール侵害（BEC）操作を強化するため LLM を使用しています。GTIG は、金銭目的のアクターが、ビジネスメール侵害（BEC）詐欺行為で、改変された動画や音声のコンテンツを使用している証拠に着目しました。メディアの報道は、金銭目的のアクターが WormGPT を使用して、より説得力のある BEC メッセージを作成していることを示しています。

調査結果: 情報工作（IO）アクターによる Gemini の不正使用

IO アクターは、調査、ペルソナやメッセージの作成などのコンテンツ生成、翻訳とローカライズ、およびリーチを拡大する方法の調査に Gemini を使用しました。一般的なユースケースは、ニュースや最新の出来事についての一般的な調査と、個人や組織についての具体的な調査などでした。ペルソナやコンテンツなど、キャンペーンのコンテンツ作成に加えて、アクターは配布の自動化、検索エンジン最適化（SEO）を使用したキャンペーンのリーチの最適化、運用セキュリティの強化など、キャンペーンの有効性を増す方法についても調査していました。政府の支援を受けたグループと同様に、IO アクターも翻訳とローカライズや、コンテンツの意味やコンテキストを理解するために Gemini を使用していました。

イランに関係する情報工作アクター

イランに拠点を置く情報工作（IO）グループは、一般的な調査、翻訳とローカライズ、コンテンツの作成と改変、特定のバイアスや論調のコンテンツの生成など、広範なタスクに Gemini を使用していました。また、イランに拠点を置く IO アクターは、ニュースの出来事についても Gemini を使用しており、イラン、米国、中東、欧州での経済や政治の話題について詳細を提供するよう Gemini に求めていたことも観察されました。

オリジナルと借用したコンテンツを混在させる方針に沿って、イランの IO アクターはニュースと類似した記事などの既存の資料を翻訳していました。それから、コンテキストの説明や、与えられたテキスト内にある特定のフレーズの意味を説明するために Gemini を使用しました。

イランに拠点を置く IO アクターは、コンテンツのローカライズにも Gemini を使用し、人手で行ったような翻訳を求めて、テキストがネイティブの英語話者によるものに見えるようにするための支援を Gemini に求めていました。これらのアクターは、テキストの改変に Gemini を使用していました（例: 移民や犯罪についての既存のテキストを、特定のスタイルや論調で書き直すように依頼）。

イランのアクティビティでは、キャンペーンのリーチを改善するための調査も行われていました。たとえば、SEO に最適化されたコンテンツの生成が試みられており、これはより多くのオーディエンスにリーチしようとしたと思われます。また、ソーシャル メディアでのエンゲージメントを増やすための戦略を提案するために Gemini を使用したアクターもいました。

中国に関連する情報工作アクター

中国と関連するアクターは、主に広範なトピックについての一般的な調査のため Gemini を使用していました。追跡した中で最も多くの活動を行っていた IO アクターである、親中派のグループ DRAGONBRIDGE は、このアクティビティの約 4 分の 3 に関わっていました。これらのアクターによるアクティビティの大半は、さまざまなソーシャル メディア プラットフォームの機能の詳細から、中国政府が戦略的な関心を持っている各種トピックについての質問まで、広範なトピックについての一般的な調査でした。アクターは最新の出来事や、他の地域の政治についての情報を調査しており、特に米国と台湾が重点的な調査対象でした。また、特定の出来事の影響とリスクの評価にも関心を示していました。DRAGONBRIDGE は、いくつかの事例では Gemini を使用して、特定のトピックに関する記事やコンテンツを生成していました。

DRAGONBRIDGE は、自分たちの IO キャンペーンをサポートする合成コンテンツを作成するため、他の生成 AI ツールもテストしていました。このグループは、ニュース プレゼンターの映像を AI で生成するため、2022 年には YouTube の動画で商用 AI サービスを使用していました。このグループは AI 生成の動画を 2024 年まで使い続けましたが、実際の閲覧者によるエンゲージメントが特に増えることはありませんでした。Google は、このコンテンツを配信しているチャンネルを検出し、即座に停止しました。DRAGONBRIDGE が AI 生成の動画や画像を使用したことで、実際の閲覧者によるエンゲージメントが特に増えることはありませんでした。

ロシアに関係する情報工作アクター

ロシアの IO アクターは、一般的な調査、コンテンツ作成、翻訳のために Gemini を使用していました。このアクティビティの半分は、KRYMSKYBRIDGE として追跡していたロシアの IO アクターに関係していました。このアクターは、ロシア政府と提携しているロシアのコンサルティング企業と関係していました。アクティビティの約 40% は、ロシアのオリガルヒ（新興財閥）であった故 Yevgeny Prigozhin によって管理されていた、ロシア政府に支援された事業体に関係するアクターによるものでした。また、Doppelganger として公式に追跡されていたアクターによる使用も観察されました。

ロシアの IO アクターによる使用の大半は一般的な調査タスクに関連しており、ロシアとウクライナの戦争から、各種のツールやオンライン サービスの詳細にいたるまで幅広いものでした。また、ロシアの IO アクターはコンテンツ作成、記事のタイトルの書き換え、ソーシャル メディア キャンペーンの計画にも Gemini を使用していました。ロシア語への翻訳やロシア語からの翻訳も一般的なタスクでした。

ロシアの IO アクターは、生成 AI を取り巻く環境を特に重視していました。これは、自国が管理しているインフラストラクチャで、AI のネイティブ機能を開発することへの関心を示すものかもしれません。これらのアクターは、オンライン AI chatbot の作成に使用できるツールや、LLM と連携するためのデベロッパー ツールを調査していました。ロシアのある IO アクターは、テキスト コンテンツ分析のオプションを提案するため Gemini を使用していました。

新ロシア派の IO アクターは、過去のインフルエンス キャンペーンで AI を使用していました。2024 年には、CopyCop として知られるアクターは、LLM を使用してコンテンツを生成したと考えられ、そのサイトにあるストーリーの一部には、本物のニュース提供元の記事を特定の政治的な視点や論調で書き直すよう LLM が指示されたことを示すメタデータが含まれていました。CopyCop の偽のニュースサイトは、米国および欧州を拠点とする報道機関になりすまし、西側の政策、ウクライナでの戦争、および米国と欧州の国内政治について、ロシア政府寄りの見解を投稿していました。

安全な責任ある AI の構築

Google は、AI への取り組みは大胆かつ責任あるものでなければならないと考えています。これは Google にとって、課題に対処しつつ、社会への利益を最大化するような方法で AI を開発することを意味します。Google は AI に関する原則に従い、堅牢なセキュリティ手法と強固な安全ガードレールを備えた AI システムを設計し、自社モデルのセキュリティと安全性を継続的にテストして改良しています。Google のポリシー ガイドラインおよび使用禁止に関するポリシーでは、Google の生成 AI ツールの安全性と責任ある使用が最優先とされています。Google のポリシー策定プロセスには、最近の傾向の特定、エンドツーエンドの思考、安全性を念頭に置いた設計が含まれています。Google は自社プロダクトの安全保護対策を常に強化し続け、全世界のユーザーにスケーリングされた保護機能を提供します。  

Google は、敵対的なオペレーションを阻止するため脅威インテリジェンスを活用しています。Google は、自社のプロダクト、サービス、ユーザー、プラットフォームの乱用を調査します。これには、政府の支援を受けた脅威アクターによる悪意のあるサイバー アクティビティも含まれ、該当する場合は法執行機関と協力して対応します。さらに、悪意のあるアクティビティに対抗する中で得た知見は、Google のプロダクト開発にフィードバックされ、AI モデルの安全性とセキュリティの向上に活用されます。Google DeepMind も、潜在的な脆弱性を特定するための生成 AI の脅威モデルを開発しており、そのような脆弱性によって引き起こされる不正使用に対処する新しい評価およびトレーニング手法を成します。この研究と組み合わせて、DeepMind は AI システム内で積極的に防御をデプロイしている方法や、測定およびモニタリング ツールを共有しています。その一つが堅牢な評価フレームワークで、間接的なプロンプト インジェクション攻撃に対する AI システムの脆弱性に対して自動的にレッドチーム評価を行うために使用します。Google の AI 開発チームと Trust & Safety チームも、不正使用を阻止するため、Google の脅威インテリジェンス、セキュリティ、およびモデル作成チームと密接に協力しています。

AI、特に生成 AI がもたらす可能性は無限大です。イノベーションが進むにつれて、業界では責任ある AI を構築してデプロイするためのセキュリティ基準が求められています。このため、Google はセキュアな AI システムの概念的枠組みであるセキュア AI フレームワーク（SAIF）を導入しています。Google は、責任を持って AI モデルを設計、構築、評価するための包括的なデベロッパー向けツールキットと、リソースやガイダンスを共有しました。また、Google は安全保護対策を実装して、モデルの安全性を評価し、AI システムをテストして安全性を保証するためのレッドチーム評価を行うためのベスト プラクティスも共有しました。

著者略歴

Google Threat Intelligence グループは、Mandiant Intelligence と脅威分析グループ（TAG）チームを統合したもので、Alphabet、Google のユーザー、Google のお客様に対するあらゆる種類のサイバー脅威を特定、分析、低減し、取り除くことを重要な目的としています。活動内容には、政府の支援を受けた攻撃者、ターゲットが絞られたゼロデイ不正使用、調整された情報工作（IO）、そして深刻なサイバー犯罪ネットワークからの脅威に立ち向かうことが含まれます。Google Threat Intelligence グループのインテリジェンスを適用することで Google の防御を強化し、Google のユーザーとお客様を保護します。

-Google Threat Intelligence グループ