Borderless Lakehouse: AWS、Databricks、Snowflake のデータを AI エージェントで活用

※この投稿は米国時間 2026 年 7 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。

現在、データ レイクハウスは単なるデータ リポジトリではなく、常時稼働する自律型 AI エージェントを通じて積極的にタスクを実行する「アクション システム」としての役割を強めています。これらのエージェントは、静的なレポートの出力を待つのではなく、リアルタイムの推論ループを絶え間なく回し続けます。サプライ チェーンをモニタリングして異常をいち早く察知し、ビジネス ワークフローを自律的に実行します。このモデルをスケールさせるには、AI エージェントがデータ資産全体にアクセスできる環境に加え、どのデータをいつ活用すべきかを判断するための適切なコンテキストが不可欠です。しかし、コストの増大、セキュリティの分断、ガバナンスの欠如といった問題を抱える従来のデータ アーキテクチャでは、これを容易に実現することはできません。

このたび、Google は Next Tokyo で、これらの課題を解決する Borderless Lakehouse を発表いたします。オープンな Apache Iceberg を基盤とするこの仕組みは、オンプレミス、クロスクラウド、SaaS アプリケーションをシームレスに接続します。これにより、データを移動させることなく、保存場所を問わずにクエリを実行し、データを活用できるようになります。

Iceberg REST で複数のカタログを統合

Borderless Lakehouse は、データの物理的な場所に関係なく、Gemini Enterprise と会話エージェントがデータを分析して行動に移すことを可能にします。Iceberg REST カタログ上に構築されているため、リモートデータを瞬時に見つけ出してクエリを実行できます。これにより、データ パイプライン構築に伴う膨大なコストや遅延といった課題を根本から解決します。この接続性を可能にしているのが、AWS Glue、Databricks Unity、Snowflake Horizon のカタログ フェデレーション（現在プレビュー版）です。BigQuery、Managed Service for Apache Spark、さらに Iceberg 互換のあらゆるエンジンを介して、セキュアな双方向アクセスを提供します。

このオープンなアプローチはアプリケーション レイヤにも広がっており、SAP、Salesforce、Workday といった主要な SaaS アプリケーションとのゼロコピー データ統合を可能にします。BigQuery からこれらのプラットフォーム上のライブデータに直接クエリを実行できるため、複雑な ETL パイプラインはもう不要です。同時に、BigQuery の AI エンジンを自社データに直接適用できるため、財務、人事、顧客データを簡単に統合できます。これらの機能は、次の 3 つの大きなメリットをもたらします。

• ゼロコピーのクロスクラウド分析: ファイルを複製することなくプラットフォームをまたいで企業データを即座に検出してクエリを実行できるため、さまざまなデータチームが同一の Apache Iceberg データを共有して分析することができます。

• 双方向の相互運用性: 環境をまたいだデータの読み書きが可能です。BigQuery や Managed Spark から外部テーブルをクエリし、Google AI で強化した派生データセットをパートナー システムへ戻すことで、後続のアクションに活用できます。

• 統合されたガバナンスとアクセス制御: 信頼できるコンテキストと Gemini の分析情報を活用して、エージェントのガバナンスを特別な設定なしで実現できます。どのプラットフォームからクエリが実行されても、認証情報の自動払い出しをサポートし、テーブルレベルでセキュアなアクセス制御を実現します。

Borderless Lakehouse の機能は Google Cloud のデータベース ポートフォリオにまで広がっており、トランザクション システムとデータ レイクハウスの統合を実現します。Spanner Omni によるマルチクラウド環境での高スケーラブルなデータベース実行や、AlloyDB 向け Lakehouse Federation によるウェアハウスへの直接クエリなど、活用の幅が大きく広がります。費用のかかるデータ移動が不要になるため、ライブの運用データと過去のデータをセキュアかつ効率的にリアルタイムで一元的に分析できるようになります。これで、レイクハウスが真の意味でボーダーレスになります。

Google AI を AWS と Azure のデータに直接活用

これまで、クラウドをまたいで高度な分析を実行したり、ML モデルをトレーニングしたりするには「クラウド間の税金」、つまり高額な外向き料金、ネットワーク レイテンシ、脆弱な ETL パイプラインが必要でした。Borderless Lakehouse は、Cross-Cloud Interconnect でこれを解決します。これらの専用のプライベート リンクは、従来のクロスクラウド接続のわずか数分の一のコストで、パブリック インターネットよりも安定した帯域幅と低いレイテンシを提供します。

Borderless Lakehouse では、AWS からデータにアクセスする際、従量課金の外向きデータ転送料はかかりません1。パートナー Cross-Cloud Interconnect の料金体系なら、SLA で保護された接続を予測可能な月額料金で利用できます。このマネージドなプライベート接続は、定額制のサブスクリプション モデルを採用しており、1 G から 100 G までのプロビジョニングを簡素化します。

さらに、Borderless Lakehouse のインテリジェントなクロスクラウド キャッシュ機能は、リモートデータの断片を Google Cloud 内に一時的かつセキュアに保存します。これにより、アドホック クエリや BI クエリのたびに発生していた高コストなデータ転送の繰り返しを排除できます。これらの機能に、BigQuery のベクトル化処理やマルチモーダル分析用の BigQuery AI 関数、Spark の Lightning Engine ランタイム、スケーラブルなメタデータ ストレージと組み合わせることで、パフォーマンスを犠牲にすることなくペタバイト規模までデータを拡張して以下のような高度な処理も実現できます。

• インプレース AI と ML: データを移行することなく、AWS や Azure 上のデータに強力な AI モデルや Gemini を直接適用できます。メタデータとコンテキストをデータがある場所でそのまま取り込むことで、グラウンディングの精度を高め、市場投入までの時間を短縮できます。

• データコピーの費用と遅延を解消: 他のクラウドに保存されているライブデータを直接クエリし、データをエージェントがすぐに活用できる環境を整えます。

• 統合された分析エクスペリエンス: マルチクラウド コンピューティングを Google Cloud のインフラストラクチャに一元化することで、BigQuery、Spark、オープンソース エンジン全体で、ハードウェアに最適化された一貫したパフォーマンスを実現します。

ユニバーサル コンテキストでエージェントの信頼性のギャップを解消

ハルシネーションを防ぐには、AI エージェントに技術的なメタデータだけでなく、ビジネスに関する深いコンテキストを提供する必要があります。ボーダーレス Lakehouse は、常時稼働のエージェント コンテキスト エンジンである Knowledge Catalog を利用して、物理ファイルを移動することなく、マルチクラウド環境での企業コンテキストの一元管理を実現します。

これをサポートするために、Borderless Lakehouse のランタイム カタログは、AWS Glue、Databricks Unity Catalog、Snowflake Horizon と自動的に同期されます（すべてプレビュー版）。Knowledge Catalog はこれらのフィードを取り込んでメタデータを集約、抽出、インデックス化し、未加工のスキーマをわかりやすいビジネス用語に変換して、検索可能な列レベルのリネージを作成します。スキーマが変更されると、それを即座にビジネス定義へ反映し、以下のメリットを実現します。

• コストとオーバーヘッドの削減: 膨大なコストと時間を要するデータ移行パイプラインを最小限に抑えつつ、マルチクラウド環境全体の統合ビューを構築できます。

• 信頼できる AI の意思決定: エージェントに明確なセマンティック レイヤとリネージ トラッキングを提供し、データの迅速な特定、信頼性の確認、そして正確な解釈を可能にします。

• 自動化されたガバナンス: セキュリティをメタデータ レイヤに直接組み込むことで、AI エージェントによるコンプライアンス ガードレールとアクセス権限の厳格な遵守を徹底します。

Gemini Enterprise によるエージェントの構築とスケーリング

オープンソースの Google Cloud Data Agent Kit と Conversational Analytics API を連携させることで、Borderless Lakehouse で動作するカスタム データ エージェントを構築し、Gemini Enterprise に直接公開できます。これにより、ビジネス ユーザーは自然言語を使用してデータと対話できるようになります。Data Agent Kit は、エージェント構築機能のフルスタック コレクションです。開発者は使い慣れた IDE（VS Code など）内で、事前にコード化された分析スキルや Model Context Protocol（MCP）ツールをパッケージ化できます。Borderless Lakehouse では、エージェントがデータ資産全体を対象に動作し、以下を支援します。

• 統合されたデータとエージェントのエコシステム: 組み込みの MCP ツールが BigQuery、Managed Spark、Cloud Storage へのセキュアな直接接続を確立します。これにより、複雑なパイプライン コードを記述したり、大規模なテーブル スキーマを LLM プロンプトにコピー＆ペーストしたりする必要がなくなります。

• セルフサービス分析: ビジネス ユーザーが静的なダッシュボードに頼ることなく、Gemini Enterprise インターフェース内でマルチクラウド データセットを平易な言葉で即座にクエリして可視化できます。

• グラウンディングされた高精度なエージェント出力: Knowledge Catalog 上でエージェントを実行することで、自然言語から SQL への変換が精査されたビジネス スキーマに基づいて行われます。これにより、高度なセキュリティと厳格なガバナンスに裏打ちされた正確な結果が得られます。

Borderless Lakehouse とエージェントの経済性

ボーダーレスなレイクハウスは、データ転送、コンピューティング、トークン消費の各領域で相乗的なコスト削減を実現することで、エンタープライズ AI の経済性を再定義します。Cross-Cloud Interconnect とゼロコピー共有を利用することで、脆弱なデータ パイプラインや予測不可能な外向き料金を回避し、予測可能な定額料金でリモート データセットをクエリできます。Knowledge Catalog は、各プロンプトに必要な正確かつ最小限のビジネス コンテキストをフィルタして提供することで、トークンの肥大化を防ぎ、不要な推論ループを排除します。BigQuery AI は、組み込みのトークン制御により、クエリ前にトークン使用量を推定し、厳格な上限を適用して、より小さな蒸留モデルを自動的に使用する最適化モードを活用することで、エージェントによる予期せぬ課金増加を防ぎます。実際、BigQuery のコスト最適化済みの組み込み AI 関数を利用することでトークン消費量を 230 分の 1 に削減できたケースもあります。

次のステップ

未来は「アクション システム」の時代です。Borderless Lakehouse で、AI エージェントがデータが保存されている場所を問わず安全かつ迅速に、費用対効果の高い方法で、データのクエリ、推論、アクションを実行できるようにしましょう。構築を開始するには、公式の Google Cloud Lakehouse の概要ガイドをご確認ください。また、ボーダーレスなレイクハウス構築の Codelab もぜひお試しください。

-プロダクト マネジメント担当バイス プレジデント、Sirish Chandrasekaran

-グループ プロダクト マネージャー、Will Ochandarena

^{1. 相互接続サービスの時間単位の料金はかかります}