Cloud CISO の視点: 脅威アクターによる AI ツールの使用方法の最新の動向

※この投稿は米国時間 2025 年 11 月 6 日に、Google Cloud blog に投稿されたものの抄訳です。

2025 年 11 月最初の「Cloud CISO の視点」をお読みいただきありがとうございます。今回は、Google Threat Intelligence 担当バイス プレジデントの Sandra Joyce が、悪意ある AI 利用の現状について最新情報をお届けします。

これまでのすべての「Cloud CISO の視点」と同様、このニュースレターのコンテンツは Google Cloud 公式ブログに投稿されます。ニュースレターをウェブサイトでご覧になっていて、メール版の配信をご希望の場合は、こちらからご登録ください。

脅威アクターによる AI ツールの使用方法の最新の動向

Google Threat Intelligence 担当バイス プレジデント、Sandra Joyce

AI ツールの不正使用とより広範な脅威の状況を独自に可視化して得られた GTIG の知見に基づき、最新のレポートでは、政府の支援を受けた脅威アクターとサイバー犯罪者が攻撃ライフサイクル全体でどのように AI を統合しているのかについて、4 つの重要な調査結果を詳しく説明しています。セキュリティ リーダーは、攻撃者側が AI を活用してどのようにイノベーションを起こしているかを理解することで、これらに先駆け、変化する脅威の状況に対してセキュリティ ポスチャーを更新するための予防措置を講じることができます。

1.ドキュメントやデータを盗む AI 生成コマンド

GTIG は初めて、実行中に大規模言語モデル（LLM）を使用するマルウェア ファミリーを特定しました。これらのツールは、悪意のあるスクリプトを動的に生成し、自己変更により自らのコードを難読化して検出を回避し、従来のコマンド＆コントロール（C2）サーバーではなく AI モデルからコマンドを受信できます。

完全なレポートで詳しく説明されているこうした新しいマルウェアの一つに、PROMPTSTEAL として追跡しているデータ マイナーがあります。6 月に、GTIG は、ロシア政府の支援を受けたアクターである APT28（FROZENLAKE とも呼ばれる）が PROMPTSTEAL を使用していることを特定しました。PROMPTSTEAL は、ユーザーに一連のプロンプトを入力させて画像を生成する画像生成プログラムを装っています。

バックグラウンドで、PROMPSTEAL は、LLM を含むオープンソースの ML プラットフォームである Hugging Face の API にクエリを実行して、マルウェアにコマンドをハードコードするのではなく、実行するコマンドを生成します。このプロンプトは、システム情報を収集するためのコマンド、ドキュメントを指定のディレクトリにコピーするためのコマンド、データを引き出すためのコマンドを出力するよう LLM に具体的に要求しています。

Google の分析によると、このマルウェアは開発が継続されており、新しいサンプルでは難読化が追加され、C2 の手法が変更されています。

FROZENLAKE による PROMPTSTEAL の使用は、実運用に展開された LLM をマルウェアがクエリするのを初めて確認した事例です。このキャンペーンは、最近の新しい AI 手法の試験的な実装と併せて、脅威がどのように進化しているか、そして敵対者が将来の侵入活動に AI 機能をどのように統合する可能性があるかについての初期的な兆候となります。

Google の対応: Google は、このアクターの活動に関連するアセットを無効化することで、このアクターに対処しました。Google DeepMind は、これらの分析情報を活用して、Google の分類器とモデル自体を強化することで、不正使用に対する保護をさらに強化しました。これにより、モデルは今後、このような攻撃への支援を拒否できるようになります。

2.ソーシャル エンジニアリングで安全保護対策を回避

脅威アクターは、AI の安全保護対策を回避するために、プロンプトでソーシャル エンジニアリングのプリテキスティングを採用しています。Google は、サイバーセキュリティ研究者や CTF コンテストの学生を装ったアクターが、通常なら Gemini によって安全対策が講じられる情報を引き出そうとする事例を確認しました。

あるやり取りでは、脅威アクターが侵害されたシステムの脆弱性を特定するよう Gemini に要求しましたが、Gemini から詳細な回答は安全ではないという安全上の回答が返されました。彼らは CTF 演習の参加者になりすましてプロンプトを再構成し、その結果、Gemini はシステムを悪用するために不正使用されかねない有用な情報を返しました。

脅威アクターはこのやり取りから学習したようで、数週間にわたって CTF を口実として使い続け、フィッシング、脆弱性利用型不正プログラム、ウェブシェル開発に利用していました。

Google の対応: Google は、CTF の脅威アクターの活動に関連するアセットを無効化することで、このアクターに対処しました。Google DeepMind は、これらの分析情報を活用して、不正使用に対する保護をさらに強化することができました。観察結果は分類器とモデル自体の両方の強化に活用され、今後はこの種の攻撃への支援を拒否できるようになります。

3.AI ツール向けのサイバー犯罪マーケットプレイスの発展

主流の AI 対応ツールやサービスの不正使用に加え、不法行為に特化した AI ツールやサービスに対する関心と市場が拡大傾向にあります。進化する脅威を特定するために、GTIG は、AI ツールやサービスに関連するアンダーグラウンド フォーラムの投稿や広告、およびテクノロジーに関する議論を追跡しています。

多くのアンダーグラウンド フォーラムの広告は、正規の AI モデルのマーケティング表現に類似しています。ワークフローと作業の効率を向上させる必要性を挙げ、同時に、こうしたサービスに関心を持つ潜在顧客へのガイダンスを提供しています。

2025 年には、不正な AI ツールを提供するアンダーグラウンド マーケットプレイスが発展しました。GTIG は、フィッシング、マルウェア開発、脆弱性調査などの機能をサポートするように設計された多機能ツールが複数提供されていることを特定しました。こうした進展により、技術的に未熟で十分なリソースを持たない脅威アクターの参入障壁を下げています。

Google の取り組み: 脅威アクターが独自の AI ツールを開発することを防ぐ直接的な対策はありませんが、Google では、サイバー犯罪 AI ツール マーケットプレイスの監視など、脅威インテリジェンスを使用して攻撃者の活動を阻止しています。

4.攻撃ライフサイクル全体の継続的な強化

北朝鮮、イラン、中華人民共和国（PRC）の国家支援型アクターは、偵察やフィッシングの誘い文句の作成から、C2 の開発、データ漏洩まで、彼らのオペレーションのあらゆる段階を強化するために AI を悪用し続けています。

一例として、GTIG は、中国と関連すると思われるアクターが、標的に対する初期偵察の実施、ペイロードを配信するためのフィッシング手法の調査、ラテラル ムーブメントに関連する Gemini からの支援の要請、被害者のシステムに侵入した後の C2 活動に関する技術サポートの要求、データ漏洩の支援など、侵入キャンペーンの複数の段階をサポートするために Gemini を使用していることを確認しました。

Google の取り組み: GTIG は、包括的なインテリジェンス主導の方法により、脅威となるアクティビティを検出して阻止します。政府の支援を受けた脅威アクターやキャンペーンについての Google の理解は、脅威となるアクティビティを特定するために必要なコンテキストを得るために役立ちます。この活動を追跡することで、Google の見識を活用して Google プラットフォーム全体にわたり脅威に対抗し、Gemini を不正に使用した脅威アクターの活動を阻止できます。

悪意のあるアクティビティに対抗する中で得た知見は、Google のプロダクト開発にフィードバックされ、AI モデルの安全性とセキュリティの向上に活用されます。Google DeepMind は、これらの分析情報を活用して、不正使用に対する保護をさらに強化することができました。観察結果は分類器とモデル自体の両方の強化に活用され、今後はこの種の攻撃への支援を拒否できるようになります。

安全な責任ある AI の構築

Google は責任ある AI の開発に取り組んでおり、悪意のある活動を阻止するために積極的な措置を講じ、これらの脅威アクターに関連するプロジェクトとアカウントを無効にしています。アカウントへの対処に加えて、Google とそのユーザーをより適切に保護するために、チームやサービスに対してインテリジェンスを積極的にフィードバックしてきました。Google は、モデルを不正使用されにくくするよう改良し続けるとともに、調査結果を共有して防御者を支援し、エコシステム全体でより強固な保護を可能にします。

Google は、AI へのアプローチは大胆かつ責任あるものでなければならないと考えています。これは Google にとって、課題に対処しつつ、社会への利益を最大化するような方法で AI を開発することを意味します。Google は AI に関する原則に従い、堅牢なセキュリティ手法と強固な安全ガードレールを備えた AI システムを設計し、自社モデルのセキュリティと安全性を継続的にテストして改良しています。

これらの変化する行動や、それらの取り組みを阻止するために Google が講じた対策について詳しくは、GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools（GTIG AI 脅威トラッカー: 脅威アクターによる AI ツールの使用の進化）をご覧ください。

その他の最新情報

セキュリティ チームからこれまでに届いた今月のアップデート、プロダクト、サービス、リソースに関する最新情報は以下のとおりです。

• Google の取り組み: 脅威モデリングの基本から AI まで: 脅威モデリングは、Google が脅威を検出して対応し、パブリック クラウドの利用を保護するうえで重要な役割を果たしています。詳細はこちら。
• 迅速な脅威モデルで机上演習の現実味を高める方法: 机上演習で迅速な脅威モデルを使用すると、防御を動的な脅威環境にどのように適応させるべきかをより深く理解できます。詳細はこちら。
• 量子安全な未来に備えるお客様を支援: Google は、10 年近くにわたり量子安全コンピューティングに取り組んできました。ここでは、転送中のデータ保護、デジタル署名、公開鍵基盤に関する最新情報をご紹介します。詳細はこちら。
• Chrome で HTTPS がデフォルトに: 来年 2026 年 10 月の Chrome 154 リリースで、Chrome のデフォルト設定が変更され、「常に安全な接続を使用する」が有効になります。つまり、HTTPS を使用していない公開サイトに初めてアクセスする前に、Chrome でユーザーの許可が求められるようになります。詳細はこちら。
• AI が Android でモバイル詐欺からユーザーを保護する仕組み: Android は長年にわたり、モバイル詐欺のターゲットとなってきました。Google AI の最先端技術を活用し、詐欺がユーザーに届く前に予測してブロックできる、予防的かつ多層的な保護機能を構築しています。詳細はこちら。

脅威インテリジェンスに関するニュース

• 特権アカウントのモニタリングに関する防御者のガイド: 特権アクセスは、機密性の高いシステムやデータを侵害しようとする攻撃者にとって最も重要な経路です。このガイドでは、特権アカウントを標的とした侵入を防止、検出、対応するための推奨事項と分析情報によって、「王国の鍵」ともいえる最重要のアクセス権を保護するのに役立ちます。詳細はこちら。
• 親ロシアの情報工作がロシアのドローンのポーランド領空侵犯を利用: GTIG は、9 月に発生したロシアのドローンによるポーランド領空への侵入に関するストーリーを広めようとする親ロシア的な情報工作（IO）アクターの事例を複数確認しました。この情報工作活動は、以前にも観察された、ポーランド（より広範囲には、NATO 同盟国と西側諸国）を標的とした親ロシアの情報工作の事例と一致しているように見えます。詳細はこちら。
• ベトナムの攻撃者が偽の求人情報を悪用してマルウェアを配信、認証情報を窃取: GTIG は、ベトナムを拠点に活動する金銭目的の脅威アクターのクラスタを追跡しています。このクラスタは、正規のプラットフォームで偽の求人情報を利用して、デジタル広告やマーケティング業界の個人を標的にするものです。詳細はこちら。

今月公開されたその他の脅威インテリジェンス関連の記事については、Google Cloud 公式ブログをご覧ください。

注目の Google Cloud ポッドキャスト

• 「すべてを収集する」時代の終わり: 一元化からデータアクセスへ: 次の大きな SIEM と SOC の費用削減の鍵は、セキュリティ データアクセスの管理にあるのでしょうか？Axoflow の CEO であり syslog-ng の創業者でもある Balazs Scheidler 氏が、ホストの Anton Chuvakin と Tim Peacock とともに、セキュリティ データの未来について議論します。ポッドキャストを聴く。
• サイバーセキュリティに強い取締役会: 財務諸表を超えた投資の価値: サイバーセキュリティとリスクの専門家であり、取締役会のアドバイザーでもある Andreas Wuchner 氏が、スマートな投資によってリスク管理をブランド価値に変える方法について見解を共有します。ポッドキャストを聴く。
• バイナリの裏側: Black Hat で堅牢なネットワークを構築: Black Hat Network Operations Center（NOC）の運営にも携わる、Corelight のテクニカル マーケティング エンジニア、Mark Overholser 氏をゲストに迎え、ホストの Josh Stroschein が、セキュリティ カンファレンスを支える堅牢なネットワーク構築の哲学とその裏にある課題について語ります。ポッドキャストを聴く。

月に 2 回発行される「Cloud CISO の視点」のメール配信をご希望の場合は、ニュースレターにご登録ください。次回も Google Cloud からセキュリティ関連の最新情報をお届けします。

-Google Threat Intelligence 担当バイス プレジデント、Sandra Joyce