レポート: 83%の組織がエージェント型 AI に対応するためにインフラストラクチャのアップグレードを必要としている
Drew Bradstock
Sr. Director, Product, Orchestration & Kubernetes
※この投稿は米国時間 2026 年 7 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。
長年にわたり、企業向け AI といえば、日常的に利用するカスタマー サービス bot やデジタル アシスタントなどの会話型 AI を指していました。しかし今、市場は大きく変化しています。私たちは、簡単なチャットに回答する AI から、自ら行動し、ワークフローを自動化し、複雑なタスクを実行する AI へと本格的に移行しました。これにより、まったく新しいユースケースが生まれる一方で、課題もあります。これまで利用してきた基盤インフラストラクチャに、大きな負荷がかかるためです。
Google は先ごろ、「AI インフラストラクチャの現状」レポートの作成にあたり、1,400 人を超える IT 部門の上級リーダーを対象に調査を実施しました。その結果、AI に対する構想とインフラストラクチャの実態との隔たりが広がっているという明確な傾向が浮かび上がりました。実際、83% の組織が、本番運用に対応できるエージェント型 AI を支えるには、インフラストラクチャのアップグレードが必要だと回答しています。
その理由は、従来のインフラストラクチャが、自律的に行動するエージェントを想定して構築されていないためです。
このブログ投稿では、変化に強く柔軟な基盤を構築するために、先進的な組織がインフラストラクチャをどのように見直しているのかについて、調査から得られた主な知見を紹介します。さらに詳しい内容については、レポート全文をダウンロードしてご覧ください。
フルイド コンピューティングで「推論税」から脱却する
エージェント型 AI のワークロードでは、従来とは異なる規模への対応が求められます。1 つのプロンプトから数百もの後続処理が実行され、膨大なコンテキストをメモリ上に保持しなければならない場合があるためです。このような継続的な推論ループを従来のアーキテクチャ上で実行しようとすると、コスト面で持続不可能になります。実際、リーダーの 62% が、データの外向き転送料金、ストレージ使用量の肥大化、稼働していない専用ハードウェアによって生じる多額の「推論税」に直面しています。さらに、81% が、運用の複雑さを AI の大規模展開に伴う隠れたコストとして挙げています。
この問題を解決するには、フルイド コンピューティングが必要です。これは、運用上のオーバーヘッドを最小限に抑えながら、タスクに応じて最適なシリコンを動的に割り当てる能力を指します。
-
大規模なモデル学習: 新しい TPU 8t などのコンピューティング アクセラレータは、世界で最も高度なモデルの学習に必要な圧倒的なスケーラビリティを提供します。
-
低レイテンシの推論: 一方、TPU 8i はオンチップ メモリ容量を最大化するよう専用設計されており、エージェントをリアルタイムで推論し、応答できるようにします。
-
オーケストレーション: CPU を基盤とする汎用コンピューティングは、AI コントロール プレーンの運用を支える重要な要素として存在感を高めています。Google Axion のような高効率の Arm ベース プロセッサを使用することで、組織は強化学習シミュレーションを費用対効果の高い方法で実行し、エージェントをオーケストレートできます。
一元化されたガバナンスでエージェントの乱立を管理する
エージェントは、メールの閲覧、データベースへの問い合わせ、組織全体にわたるワークフローの実行などを自律的に行うよう設計されています。しかし、エージェント型 AI の導入が拡大するにつれ、組織は「エージェントの乱立」という新たな課題に直面しています。可視性や制御を失うことなく、多様なプラットフォームに分散する数千もの自律型エージェントをどのように管理すればよいのでしょうか。
テクノロジー リーダーの 79% が、推論を大規模に展開するうえで最大の課題として、セキュリティ、ガバナンス、MLOps を挙げているのも不思議ではありません。エージェントの時代にイノベーションを進めるには、まず成熟したガバナンス戦略を整える必要があります。そのためには、エージェントの権限、ID、ワークフローに関する信頼できる一元的な記録基盤となる、中央管理型のコントロール プレーンを構築することが求められます
先進的な企業は、互いに異なるツールをつなぎ合わせて使用するのではなく、Agent Gateway のようなソリューションを活用して、エンタープライズ グレードのガバナンスを適用しています。Agent Gateway を使用すると、エージェントがデータをどのように共有しているかを正確に把握できます。また、読み取り / 書き込み権限の範囲を細かく定義し、すべてのやり取りについて完全な監査証跡を保持できます。さらに、重要な操作を実行する前に承認が必要な場合には、人間参加型の監視も提供します。こうした統一的でわかりやすいガバナンスへの需要を背景に、現在では 78% の組織が生成 AI ソリューションを主要クラウド パートナーから直接調達しています。これは 2025 年と比べて 30 ポイントの増加です。
統合データレイヤ
エージェントは推論を行うため、組織内のさまざまなデータに対して継続的に負荷の高いクエリを実行します。データがサイロ化され、分断されていれば、AI は実質的に何も見えない状態で動作することになります。
先進的な組織は、分断されたデータを個別に管理する状態から脱却し、自社固有の実用的なビジネス コンテキストを引き出すために、統合データレイヤを採用しています。非構造化データに自動でアノテーションを付けて検索可能にする Smart Storage や、Cross-Cloud Lakehouse などのツールを活用することで、エージェントは、データの保存場所を問わず、その内容を直接読み取って理解できます。カスタム パイプラインを構築したり、データを複製したりする必要もありません。
ハイブリッド マルチクラウドとデジタル主権
パブリック クラウドとローカル コンピューティングのどちらを選ぶべきかという議論は、すでに決着しています。目指すべき形はハイブリッドです。実際、現在では 52% の組織がハイブリッド マルチクラウド アーキテクチャを採用しています。
テクノロジー リーダーがこの方向へ移行する主な要因は、デジタル主権とデータ グラビティです。実際、リーダーの 48% が、厳格なデータ所在地管理に対応できるインフラストラクチャを優先しています。各国または各地域の法令が変化しても、要件を満たす場所で AI を実行できる柔軟性が必要です。幅広いコンピューティング需要にはパブリック クラウドを活用し、エアギャップ環境が必要な場合には Google Distributed Cloud を通じて基盤モデルを完全にオンプレミスに導入するなど、最新のインフラストラクチャは地政学的な現実に合わせて適応しなければなりません。その逆ではありません。
エッジ AI
テクノロジー リーダーやインフラストラクチャ アーキテクトにとって、エージェントによるすべてのやり取りを一元化されたクラウド環境だけで処理することは、現実的な戦略ではありません。現在、組織の 90% が AI の取り組みにおいてエッジへのデプロイを重要と位置付けており、そのうち 72% は「非常に重要」または「きわめて重要」と回答しています。
AI をエッジに移行することで、次の 3 つの課題に対処できます。
- レイテンシのボトルネック: リアルタイムで動作するエージェント、特に音声、動画、金融取引アルゴリズムを利用するエージェントでは、遠隔地のデータセンターとの往復で生じるわずかな遅延も許容できません。
- 運用継続性: インターネット接続が途切れても、業務を停止することはできません。エッジにデプロイすることで、製造工場、小売店舗、病院などで稼働するエージェントは、接続が失われた場合でも自律的に動作し続けることができます。
- 費用対効果の維持: クラウド上で常時、継続的な推論を実行すると、多額のコストがかかります。スマートフォン、IoT デバイス、倉庫内のローカル サーバーなどのエッジデバイスで高度に最適化されたモデルを利用することで、コンピューティング負荷をローカル側に移し、トークン単位で発生する変動コストを大幅に削減できます。
エネルギーの壁を打破する
かつて、エネルギー消費量は年次報告書で扱われるサステナビリティ指標にすぎませんでした。しかし現在では、事業運営を左右する重要な要素となっています。今やリーダーの 91% がハードウェアの選定時に消費電力を考慮しており、61% がこれを主要または重要な判断要因と位置付けています。
テクノロジー リーダーにとって、消費電力は成長を阻む次の 3 つの障壁となっています。
- 電力網の供給制約: 地域によっては、追加の電力を確保すること自体ができません。そのため、導入可能なコンピューティング インフラストラクチャの規模が大幅に制限されます。
- 規制遵守: エネルギー効率は今や、事業を運営するうえで満たすべき厳格な法的要件となっています。たとえばドイツでは、新設するデータセンターの電力使用効率（PUE）を 1.2 以下にすることが求められています。またアイルランドでは、大規模データセンターに対し、電力網からの使用量の 100% に相当するオンサイトの出力調整可能な発電能力を確保することが義務付けられています。
- インフラストラクチャの経済性: 電力効率の低い構成は、AI 導入の総所有コスト（TCO）を大幅に押し上げます。消費電力の大きいハードウェアを運用するには、高度な冷却アーキテクチャ、専用のラック設計、施設の改修に多額の設備投資（CapEx）が必要となります。
エネルギーの壁を乗り越えるには、テクノロジー リーダーがエネルギーを戦略的資産として捉える必要があります。最適化の重点を、ワットあたりのパフォーマンスへと移すことも重要です。こうした背景から、共同設計されたシリコンの重要性が高まっています。たとえば、新しい TPU 8t は、前世代の約 3 倍のパフォーマンスを実現すると同時に、エネルギー効率を最大 2 倍に高めています。
AI に最適化された統合インフラストラクチャ
従来のアーキテクチャでは、次世代のエージェント型システムがもたらす課題に対応できません。エンジニアリング チームが、異種のコンピューティング、ストレージ、ネットワークの各レイヤを手作業で統合しなければならない場合、基本的な相互運用性を確保するだけでも、組織には大きな運用負荷がかかります。
そこでテクノロジー リーダーは、迅速かつ費用対効果の高いイノベーションを実現するために、包括的に統合されたシステムへと移行しています。
Google Cloud の AI Hypercomputer は、こうした考え方に基づいています。すべてのレイヤが連携して機能するよう、共同で設計および開発されたアーキテクチャです。カスタム シリコン（TPU、GPU、CPU）を単独で設計するのではなく、超広帯域ネットワーク（Virgo Network）、ストレージ（Managed Lustre、Hyperdisk）、ソフトウェア オーケストレーション レイヤ（GKE）と一体的に設計しています。
デジタル世界と現実世界をつなぐ
このような共同設計による包括的なアプローチを採用することで、その効果はさらに広がります。スケーラビリティと柔軟性に優れたインテリジェンスをエッジで利用できるようになり、私たちはフィジカル AI の時代を迎えつつあります。新世代の自律型ロボットは、現実世界を認識し、シミュレーションしながら移動できます。また、実環境に投入される前に、Google Cloud 上のデジタルツイン シミュレーションでタスクを数百万回も反復できます。複雑な産業検査から映画品質の映像撮影まで、AI は現実世界の具体的な課題を解決し始めています。
エージェント型 AI のための設計指針
エージェント型アプリケーションがシステムに求める要件に合わせてインフラストラクチャを整備することで、試験導入から本番運用への移行を進めやすくなります。2026 年に成長が期待される組織は、コスト効率に優れ、エッジでも高い復元性を発揮し、自律的な動作に最適化され、ガバナンスが標準で組み込まれた統合基盤を採用しています。
準備はできましたか。「AI インフラストラクチャの現状」レポートをダウンロードして、今回の調査結果を裏付けるデータをご確認ください。また、他の組織が成功に向けてどのような基盤づくりを進めているのかもご覧いただけます。
オーケストレーションおよび Kubernetes プロダクト担当シニア ディレクター、Drew Bradstock
