GTIG AI 脅威トラッカー: 脅威アクターによる AI ツール使用の進化

※この投稿は米国時間 2025 年 11 月 6 日に、Google Cloud blog に投稿されたものの抄訳です。

エグゼクティブ サマリー

Google Threat Intelligence グループ（GTIG）は、広範な脅威ランドスケープを対象とした最近の分析から、ここ 1 年に起こったある変化を特定しました。それは、敵対者は生産性向上だけを目的として AI を利用するのではなく、AI 対応の新しいマルウェアを実運用に展開するようになっているという傾向です。これは、実行中に振る舞いを動的に変更するツールの使用を含む、AI 悪用の新たな運用フェーズに入ったことを示しています。

このレポートは、2025 年 1 月の分析「生成 AI の敵対的な不正使用」の最新版として、政府の支援を受けた脅威アクターやサイバー犯罪者が、攻撃ライフサイクル全体にわたって業界全体で AI をどのように統合し、試用しているかを詳しく説明しています。調査結果は、広範な脅威ランドスケープを対象にしています。

Google は、責任ある AI 開発に尽力しており、悪意のある行為者に関連するプロジェクトやアカウントを無効化することで、悪意のある活動を阻止するための積極的な措置を講じています。また、悪用されにくくなるよう、モデルを継続的に改善しています。さらに業界のベスト プラクティスを積極的に共有して防御者を支援し、エコシステム全体でより強固な保護を可能にします。このレポートでは、アセットの無効化や、分類器とモデルの両方を強化して今後の不正使用から保護するためのインテリジェンスの適用など、悪意のあるアクティビティを阻止するために Google が講じた手順を随所で紹介しています。Gemini をどのように保護、防御しているかについて詳しくは、ホワイト ペーパー「Gemini のセキュリティ保護対策の強化」をご覧ください。

主な調査結果

• マルウェアで初の「ジャストインタイム」AI 使用を特定: GTIG は、実行中に大規模言語モデル（LLM）を使用する PROMPTFLUX や PROMPTSTEAL などのマルウェア ファミリーを初めて特定しました。これらのツールは、悪意のあるスクリプトを動的に生成し、検出を回避するために独自のコードを難読化し、マルウェアにハードコードする代わりに AI モデルを活用して悪意のある関数をオンデマンドで作成します。まだ初期段階ではありますが、より自律的で適応性の高いマルウェアの開発に向けた第一歩と言えるでしょう。

• 「ソーシャル エンジニアリング」で安全保護対策を回避: 脅威アクターは、AI の安全保護対策を回避するために、プロンプトでソーシャル エンジニアリングのような偽りのシナリオを使っています。アクターは、Gemini から本来ならばブロックされる情報を抽出してツールの開発を可能にするため、CTF ハッカー コンテストに参加する学生やサイバーセキュリティ研究者を装っていました。

• AI ツール向けのサイバー犯罪マーケットプレイスの成熟: 不正な AI ツールを取り扱うアンダーグラウンド マーケットプレイスが、2025 年に成熟を遂げています。フィッシング、マルウェア開発、脆弱性調査向けに設計された多機能ツールの提供がいくつも確認されており、技術的に未熟なアクターの参入障壁が低くなっています。

• 攻撃ライフサイクル全体の継続的な強化: 北朝鮮、イラン、中華人民共和国（PRC）などの国家支援型アクターは、偵察やフィッシングのおとり素材の作成から、コマンド＆コントロール（C2）の開発、データの窃取まで、あらゆる段階で Gemini を悪用してオペレーションを強化し続けています。

脅威アクターが新たな AI 機能を開発

2025 年、GTIG は、マルウェアの実行中に AI 機能を活用してその振る舞いを動的に変更するコード ファミリーを初めて発見しました。最近の新しい AI 手法の実装には試験的なものもありますが、脅威がどのように進化しているか、そして将来の侵入活動に AI 機能がどのように取り入れられる可能性があるかをいち早く知らせる指標となります。攻撃者は、「バイブ コーディング」や、2024 年に観測された AI ツールを技術サポートに使用するというベースラインを超えてきています。この種の活動は最近確認されるようになったばかりですが、今後は増加することが予想されます。

表 1: 2025 年に GTIG が検出した、新しい AI 機能を備えたマルウェアの概要

Gemini を使用して自己書き換えを行い、検出を回避する実験的なマルウェア

2025 年 6 月上旬、GTIG は PROMPTFLUX として追跡されている試験的なドロッパー マルウェアを特定しました。これは、脅威アクターが LLM を利用して動的な難読化手法を開発しようとしていることを示唆しています。PROMPTFLUX は VBScript で記述されており、Gemini の API を介し特定の VBScript の難読化および回避手法をリクエストして、「ジャストインタイム」の自己書き換えを可能にします。これにより、静的シグネチャベースの検出を回避できる可能性があります。

PROMPTFLUX のサンプルをさらに調査したところ、一部の未完成の機能がコメントアウトされており、マルウェアの Gemini API 呼び出しを制限するメカニズムが存在することがわかり、このコード ファミリーは現在開発またはテスト段階にあることが示唆されました。このマルウェアの現在の状態では、被害組織のネットワークやデバイスを侵害する能力は確認されていません。Google は、この活動に関連するアセットを無効にする措置を講じました。

PROMPTFLUX の最も斬新なコンポーネントは、Gemini に対し定期的にクエリを行い、ウイルス対策ソフトウェアを回避するための新しいコードを取得するように設計されている「思考ロボット」モジュールです。ハードコードされた API キーを使用して Gemini API エンドポイントに POST リクエストを送信します。アクターは「gemini-1.5-flash-latest」モデルの使用を指定しています。「-latest」タグを使うことで、常に最新の安定版が呼び出されるため、モデルの廃止に対して高い復元力を備えたツールになっています。LLM に送信されるプロンプトは非常に具体的で、マシンで解析可能です。ウイルス対策回避のための VBScript コードを要求し、LLM にコード自体のみを出力するように指示しています。

自己書き換え関数（AttemptToUpdateSelf）はコメントアウトされているものの、その存在と、AI の回答を「%TEMP%\thinking_robot_log.txt」にアクティブに記録していることから、作成者が時間とともに進化できる自己変形スクリプトを作成することを目標としていたことは明らかです。

LLM によるコードの再生成を使用した PROMPTFLUX の複数のバリエーションを確認しましたが、そのうちの 1 つは、「Thinking Robot」関数が新しい「Thinging」関数に置き換えられたものでした。この関数は、プロンプトを利用して、マルウェアのソースコード全体を 1 時間ごとに書き換えて検出を回避するよう Gemini API に指示します。このプロンプトは、LLM に「VBScript の難読化の専門家」として行動するよう指示します。元のおとりペイロード、ハードコードされた API キー、完全な自己再生成ロジックを埋め込むことで、新しいバージョンの有効性を確保しつつ、変異の再帰的サイクルが確立されます。

特定の脅威アクターとの関連は確定していませんが、PROMPTFLUX に関連付けられたファイル名から、金銭目的のアクターによくある行動が見受けられます。たとえば「crypted_ScreenRec_webinstall」などのさまざまなソーシャル エンジニアリングのおとり素材は、幅広いユーザーをだますように設計された、地理や業界に依存しない広範なアプローチを浮き彫りにしています。

PROMPTFLUX はまだ研究開発段階にある可能性が高いですが、この種の難読化手法は、悪意のあるオペレーターが今後 AI を使用してどのようにキャンペーンを強化するかを示す、初期の重要な指標となります。

LLM がドキュメントとシステム情報を盗むコマンドを生成

6 月、GTIG は、ロシア政府の支援を受けたアクター APT28（別名 FROZENLAKE）が、ウクライナに対して新しいマルウェアを使用していることを特定しました。このマルウェアは、GTIG が PROMPTSTEAL として追跡し、CERT-UA が LAMEHUG として報告したものです。PROMPTSTEAL は、LLM（Qwen2.5-Coder-32B-Instruct）にクエリを実行して、LLM を含むオープンソースの ML プラットフォームである Hugging Face の API を介してコマンドを生成、実行するデータマイナーです。APT28 による PROMPTSTEAL の使用は、リアルタイムのオペレーションでデプロイされた LLM をクエリするマルウェアの最初の観測例となります。

PROMPTSTEAL は、マルウェア自体にコマンドを直接ハードコードするのではなく、LLM を使用してマルウェアが実行するコマンドを生成するという新しい手法を採用しています。このマルウェアは「画像生成」プログラムを装い、ユーザーに一連のプロンプトを入力させて画像を生成するよう誘導しつつ、Hugging Face API にクエリを送信して、バックグラウンドで実行するコマンドを生成します。

Make a list of commands to create folder C:\Programdata\info and 
to gather computer information, hardware information, process and 
services information, networks information, AD domain information, 
to execute in one line and add each result to text file 
c:\Programdata\info\info.txt. Return only commands, without markdown

図 2: システム情報を収集するコマンドを生成するために使用された PROMPTSTEAL のプロンプト

Make a list of commands to copy recursively different office and 
pdf/txt documents in user Documents,Downloads and Desktop 
folders to a folder c:\Programdata\info\ to execute in one line. 
Return only command, without markdown.

図 3: 標的のドキュメントを収集するコマンドを生成するために使用された PROMPTSTEAL のプロンプト

PROMPTSTEAL は、おそらく盗まれた API トークンを使用して Hugging Face API にクエリを行っています。このプロンプトでは、システム情報を生成するコマンドを出力し、ドキュメントを指定のディレクトリにコピーするよう LLM に具体的に指示しています。これらのコマンドの出力は、PROMPTSTEAL によってローカルで盲目的に実行された後、出力が抜き取られます。Google の分析によると、このマルウェアは現在も開発が進んでおり、新しいサンプルでは難読化機能が追加され、C2 の手法が変更されています。

ソーシャル エンジニアリングで安全保護対策を回避

Google は AI に関する原則に従い、堅牢なセキュリティ対策と強固な安全ガードレールを備えた AI システムを設計しています。脅威アクターは、AI の安全保護対策を回避するために、プロンプトでソーシャル エンジニアリングのような偽りのシナリオを使っています。サイバーセキュリティ研究者向けの CTF コンテストの参加者を装ったアクターが、Gemini を説得して、本来ならばブロックされるはずの情報を入手し、脆弱性の悪用やツールの開発を可能にしようとするケースが確認されました。Google は、こうしたアクターの活動を阻止するだけでなく、これらの分析情報を利用して分類器を継続的に改善し、提供するプロダクトのセキュリティを強化しています。

CTF プレーヤーを装い、大規模な悪用に関する調査を可能にする

中国との関連が疑われるある脅威アクターは、Gemini を悪用して、おとりコンテンツの作成、技術インフラストラクチャの構築、データ窃取のためのツール開発を行い、キャンペーンの効果を高めました。

あるやり取りでは、アクターは侵害されたシステムの脆弱性を特定するよう Gemini に要求しましたが、Gemini は「詳細な回答は安全ではない」と、安全性に配慮した回答を返しました。アクターは続けて、プロンプトを改善し、スキルとテクニックを向上させるためのゲーム化されたサイバーセキュリティ コンペティションであるキャプチャー ザ フラッグ（CTF）演習の参加者を装いました。CTF の演習への支援を求められた Gemini は、システムを悪用するために誤用される可能性のある有用な情報を返しました。

アクターはこのやり取りから学習したとみられ、その後 CTF の口実をフィッシング、脆弱性の悪用、ウェブシェル開発の支援を得るために利用しています。アクターは、特定のソフトウェアやメールサービスの脆弱性悪用について尋ねるプロンプトの多くで、「CTF の問題に取り組んでいます」、「現在 CTF に参加しており、別のチームの人が…と言っていました」といったコメントを添えることで、偽りの「CTF シナリオ」における次の脆弱性利用ステップに関するアドバイスを得ていました。

初歩的なミス: カスタムツールの開発で攻撃者のコア インフラストラクチャが露呈

イラン政府が支援する脅威アクター TEMP.Zagros（別名 MUDDYCOAST、Muddy Water）は、グループの能力を進化させ、カスタム マルウェアの開発を行うための調査に Gemini を使用しました。同グループは現在もフィッシング メールに頼っており、多くの場合、攻撃の信頼性を高めるために侵害された企業メールアカウントを使用します。ただし、公開ツールの使用から、ウェブシェルや Python ベースの C2 サーバーなどのカスタム マルウェアを開発する方向へ移りつつあります。

脅威アクターは、カスタム マルウェア開発のための調査に Gemini を使用しているときに、安全性に配慮した回答に遭遇しました。前述の CTF の例と同様に、Temp.Zagros もプロンプトでさまざまなもっともらしい口実を使用して、セキュリティ ガードレールを回避しました。これには、大学の最終プロジェクトに取り組む学生になりすましたり、サイバーセキュリティに関する「論文」や「国際的な記事」を書いたりするといった口実が含まれます。

観測された事例の中には、脅威アクターが開発に LLM を利用したことが、アクター側の運用セキュリティにおける重大なミスにつながり、より大きな活動阻止が可能になったケースもあります。

脅威アクターは、暗号化されたリクエストをリッスンして復号し、ファイル転送とリモート実行に関連するコマンドを実行するように設計されたスクリプトの作成を Gemini に依頼しました。これにより、C2 ドメインやスクリプトの暗号鍵など、機密性の高いハードコードされた情報が Gemini に開示され、攻撃者のキャンペーンをより広範囲にわたって阻止することが可能になりました。また、攻撃者の進化する運用能力とインフラストラクチャを直接把握することもできました。

アンダーグラウンド フォーラムにおける専用のツールやサービスの販売

業界全体で既存の AI 対応のツールやサービスを不正使用するだけでなく、不法行為を可能にするために構築された AI ツールやサービスに対する関心と市場が拡大しています。アンダーグラウンド フォーラムを通じて提供されるツールやサービスを利用することで、技術的な知識や資金が限られた下位レベルのアクターでも、侵入の頻度、範囲、有効性、複雑さを高めることができます。

進化する脅威について把握するため、GTIG は、AI ツールやサービスに関連する英語とロシア語のアンダーグラウンド フォーラムの投稿や広告、およびテクノロジーに関する議論を追跡しています。アンダーグラウンド フォーラムの広告の多くは、正規 AI モデルのマーケティングで従来使われる表現を反映して、ワークフローと作業の効率を改善する必要性を挙げると同時に、サービスに関心のある見込み顧客にガイダンスを提供していました。

表 2: 英語とロシア語のアンダーグラウンド フォーラムで宣伝されている AI ツール / サービス関連機能

2025 年には、AI 対応ツールのサイバー犯罪マーケットプレイスが成熟し、GTIG は攻撃ライフサイクルの各段階をサポートするように設計された多機能ツールの提供を複数確認しました。興味深いことに、アンダーグラウンド フォーラムで宣伝されている主要なツールのほぼすべてが、フィッシング キャンペーンをサポートする機能をうたっていました。

アンダーグラウンドの広告では、多くの AI ツールやサービスが、攻撃をサポートする従来のツールと同様の技術的機能を宣伝しています。違法な AI サービスの料金モデルも従来のツールの料金モデルを反映しており、多くのデベロッパーがサービスの無料版に広告を挿入し、画像生成、API アクセス、Discord アクセスなどの技術的機能を追加するサブスクリプション料金プランを提供しています。

GTIG は、金銭目的の脅威アクターやアンダーグラウンド コミュニティで活動するその他のアクターが、AI ツールを使用して活動を強化し続けると予測しています。こうしたアプリケーションが入手しやすくなり、フォーラムで AI に関する議論が活発化していることから、AI を利用した脅威活動が今後ますます一般的になると考えられます。

攻撃ライフサイクル全体の継続的な強化

北朝鮮、イラン、中華人民共和国（PRC）の国家支援型アクターは、引き続き Gemini を含む生成 AI ツールを悪用し、偵察やフィッシングの誘い文句の作成から C2 の開発、データ窃取まで、あらゆる段階で活動を強化しています。これは、2025 年 1 月の分析「生成 AI の敵対的な不正使用」で得られた主な調査結果をさらに裏付ける傾向です。

馴染みのない攻撃対象領域に関する知識の拡大

GTIG は、中国との関連が疑われるあるアクターが、侵入キャンペーンの複数の段階で Gemini を利用していることを確認しました。具体的には、関心のある標的の初期偵察、ペイロードを配信するためのフィッシング手法の調査、Gemini へのラテラル ムーブメントに関する支援の要請、被害組織のシステムに侵入した後の C2 活動に関する技術サポートの要求、データ窃取における支援の利用などです。

このアクターは、Windows システムへの侵入活動だけでなく、クラウド インフラストラクチャ、vSphere、Kubernetes など、彼らがあまり精通していない攻撃対象領域への侵入キャンペーンの複数の段階において Gemini の支援を悪用しました。

脅威アクターは、EC2（Elastic Compute Cloud）インスタンス用の AWS トークンにアクセスできることを示し、Gemini を使用して一時的なセッション トークンの使用方法を調査しました。これは、被害組織の環境へのより深いアクセスやデータ窃盗を可能にするためであると考えられます。別のケースでは、アクターは Gemini を利用して Kubernetes システムを特定し、コンテナと Pod を列挙するコマンドを生成しました。また、macOS でホスト権限を取得する方法を調査していることも確認しました。これは、このアクターが macOS システムに対するフィッシング手法に重点を置いていることを示しています。

北朝鮮の脅威アクターによる、攻撃ライフサイクル全体にわたる Gemini の悪用

朝鮮民主主義人民共和国（DPRK）に関連する脅威アクターは、資金調達目的で暗号資産を標的にする取り組みにおいて、攻撃ライフサイクルの各段階で生成 AI ツールを引き続き悪用しています。

特殊なソーシャル エンジニアリング

最近の活動では、UNC1069（別名 MASAN）は、暗号資産のコンセプトを調査し、ユーザーの暗号資産ウォレット アプリケーション データの場所に関連する調査と偵察を行うために Gemini を利用しました。この北朝鮮の脅威アクターは、ソーシャル エンジニアリングを利用した暗号資産窃盗キャンペーンを実施することで知られており、コンピュータのメンテナンスや認証情報の獲得に関連する表現を使用するという特徴があります。

また、暗号資産に関連するおとり素材やその他のメッセージも生成しており、悪意のある活動のためのソーシャル エンジニアリングの取り組みに利用している可能性が高いと見られます。これには、スペイン語の仕事関連の言い訳や会議のリスケジュールを求めるリクエストの生成が含まれており、脅威アクターが標的の範囲を拡大し、キャンペーンを成功させるために言語の壁を乗り越えていることがわかります。

キャンペーンの後半段階においては、UNC1069 は暗号資産を盗むためのコードの開発に加え、ユーザー認証情報の抽出を目的に、ソフトウェア アップデートを装った不正な指示を作成するために Gemini を悪用していました。このアカウントはすでに無効にしています。

ディープフェイクの使用

UNC1069 は Gemini の不正使用に加え、被害組織のシステムに侵入するための同グループのバックドア「BIGMACHO」を配布するソーシャル エンジニアリング キャンペーンの一環として、暗号資産業界の個人になりすましたディープフェイクの画像や動画をおとりとして利用していることが最近確認されています。このキャンペーンでは、不正な「Zoom SDK」リンクをダウンロードしてインストールするようターゲットを促していました。

AI を使用した新機能開発の試み

サプライ チェーンの侵害で知られる北朝鮮の脅威アクターである UNC4899（別名 PUKCHONG）は、コードの開発、脆弱性利用型不正プログラム（エクスプロイト）の調査、ツールキットの改善など、さまざまな目的で Gemini を使用しました。脆弱性と脆弱性利用型不正プログラムの開発に関する調査は、同グループがエッジ デバイスと最新のブラウザを標的とする機能を開発していることを示している可能性があります。この脅威アクターのアカウントは、すでに無効にしています。

データキャプチャ: 「データ処理エージェント」開発の試み

イラン政府が支援する攻撃者である APT42 による Gemini の使用は、同グループが効果的なフィッシング キャンペーンの作成に焦点をおいていることを反映しています。最近の活動では、APT42 は Gemini のテキスト生成および編集機能を使用して、フィッシング キャンペーンの素材を作成していました。多くの場合、著名なシンクタンクなどの評判の良い組織の個人を装い、セキュリティ技術、イベントの招待、地政学的な議論に関連するおとり素材を使用していました。APT42 は、専門用語を含む記事やメッセージの翻訳、一般的な調査、イスラエルの防衛に関する継続的な調査にも Gemini を使用していました。

さらに「データ処理エージェント」の構築も試み、ツールの開発、テストのために Gemini を悪用しました。このエージェントは、自然言語のリクエストを SQL クエリに変換して、機密性の高い個人データから分析情報を抽出します。また脅威アクターは、電話番号と所有者の関連付け、個人の移動パターンの追跡、共通の属性を持つ人物リストの生成など、複雑なクエリを実行するために、Gemini にさまざまなデータ型のスキーマを提供しました。この脅威アクターのアカウントは、すでに無効化されています。

コード開発: C2 の開発と難読化のサポート

脅威アクターは、継続的な活動を強化するために生成 AI ツールを適応させ続けており、戦術、手法、手順（TTP）を強化して、より迅速かつ大規模に攻撃を仕掛けようとしています。技術のあるアクターにとって、生成 AI ツールはサイバー脅威アクティビティでの Metasploit や Cobalt Strike の使用と同じように、便利なフレームワークになります。また、これらのツールは、技術的な知識や言語能力に関係なく、下位レベルの脅威アクターが高度なツールを開発し、既存の技術を迅速に統合して、キャンペーンの効果を高める機会を提供します。

2025 年 8 月を通じて、GTIG は中国政府の支援を受けた APT41 に関連する脅威活動で、コード開発の支援に Gemini が利用されているのを観測しました。このグループは、モバイル デバイスとデスクトップ デバイスの両方でさまざまなオペレーティング システムを標的としてきた過去があり、ソーシャル エンジニアリングによる侵害を利用しています。具体的には、オープン フォーラムを利用して、被害組織を脆弱性利用型不正プログラムをホストするインフラストラクチャに誘導し、悪意のあるモバイルアプリをインストールさせます。

こうしたキャンペーンをサポートするために、アクターが OSSTUN と呼ぶ C2 フレームワークを含む複数のツールの C++ および Golang コードに関して技術サポートを求めていました。また、このグループがコードの難読化について Gemini に支援を求めていることも確認されています。そのプロンプトは、一般公開されている 2 つの難読化ライブラリに関連するものでした。

情報工作と Gemini

GTIG は、情報工作（IO）アクターが調査、コンテンツ作成、翻訳に Gemini を利用していることを引き続き確認しています。これは、悪意のある活動を支援するために Gemini を使用していた以前の状況と一致しています。脅威アクターが記事の作成や、ワークフローの一部を自動化するツールの構築に Gemini の支援を利用していることを示すアクティビティが確認されています。しかし、Google はこれらの生成された記事を実際に確認しておらず、この新しく構築されたツールを利用してワークフローの自動化に成功したことを確認する証拠も特定していません。これらの試みは、IO キャンペーンの画期的な機能を生み出すには至っていません。

安全な責任ある AI の構築

Google は、AI へのアプローチは大胆かつ責任あるものでなければならないと考えています。これは課題に対処しつつ、社会への利益を最大化するような方法で AI を開発することを意味します。Google は AI に関する原則に従い、堅牢なセキュリティ手法と強固な安全ガードレールを備えた AI システムを設計し、自社モデルのセキュリティと安全性を継続的にテストして改良しています。

Google のポリシー ガイドラインおよび使用禁止に関するポリシーでは、Google の生成 AI ツールの安全性と責任ある使用が最優先とされています。Google のポリシー策定プロセスには、最近の傾向の特定、エンドツーエンドの思考、安全性を念頭に置いた設計が含まれています。Google は自社プロダクトの安全保護対策を常に強化し続け、全世界のユーザーにスケーリングされた保護機能を提供します。

Google は、敵対的なオペレーションを阻止するため脅威インテリジェンスを活用しています。自社のプロダクト、サービス、ユーザー、プラットフォームの乱用を調査します。これには、政府の支援を受けた脅威アクターによる悪意のあるサイバー アクティビティも含まれ、該当する場合は法執行機関と協力して対応します。さらに、悪意のあるアクティビティに対抗する中で得た知見は、Google のプロダクト開発にフィードバックされ、AI モデルの安全性とセキュリティの向上に活用されます。これらの変更は、分類器とモデルの両方のレベルで行うことができ、防御の俊敏性を維持し、さらなる悪用を防ぐために不可欠です。

Google DeepMind も、潜在的な脆弱性を特定する生成 AI の脅威モデルを開発しており、不正使用に対処する新しい評価およびトレーニング手法を作成しています。この研究と併せて、Google DeepMind は、防御機能に加え、間接的なプロンプト インジェクション攻撃に対する AI の脆弱性を自動的にレッドチーム化できる堅牢な評価フレームワークを含む測定ツールとモニタリング ツールを AI システムに積極的に実装していると公表しています。

Google の AI 開発チームと Trust & Safety チームも、不正使用を阻止するため、Google の脅威インテリジェンス、セキュリティ、およびモデル作成チームと密接に協力しています。

AI、特に生成 AI がもたらす可能性は無限大です。イノベーションが進むにつれて、業界では責任ある AI を構築して実装するためのセキュリティ基準が求められています。このため、Google はセキュアな AI システムの概念的枠組みであるセキュア AI フレームワーク（SAIF）を導入しています。Google は、責任を持って AI モデルを設計、構築、評価するための包括的なデベロッパー向けツールキットと、リソースやガイダンスを共有しました。また、Google は安全保護対策を実装して、モデルの安全性を評価し、レッドチーム評価により AI システムをテストして安全性を保証するためのベスト プラクティスも共有しました。

さらに責任ある AI の構築を確実にし、リスクを自動的に発見する AI の可能性を活用するために AI 研究に継続的に投資しています。昨年、Google は Google DeepMind と Google Project Zero が開発した AI エージェントである Big Sleep を発表しました。これは、ソフトウェアの未知のセキュリティ脆弱性を積極的に検索して発見するものです。Big Sleep はその後、実世界で初のセキュリティ脆弱性を発見しました。脅威アクターがすぐにでも利用するであろう脆弱性が見つかったことで、GTIG はこれを事前に阻止することができました。また、脆弱性の発見だけでなく、パッチの適用にも AI を活用する試験運用を行っています。Google は最近、Gemini モデルの高度な推論機能を活用して重大なコードの脆弱性を自動的に修正する、AI を活用した試験運用版エージェント CodeMender を導入しました。 

著者略歴

Google Threat Intelligence グループは、Alphabet、Google のユーザー、Google のお客様に対するさまざまなクラス全体のサイバー脅威を特定、分析、緩和し、取り除くことを重要な目的としています。活動内容には、政府の支援を受けた攻撃者、ターゲットが絞られたゼロデイ脆弱性利用型不正プログラム、調整された情報工作（IO）、そして深刻なサイバー犯罪ネットワークからの脅威に立ち向かうことが含まれます。Google Threat Intelligence グループのインテリジェンスを適用することで Google の防御を強化し、Google のユーザーとお客様を保護します。

-Google Threat Intelligence グループ