Lakehouse for Apache Iceberg（旧 BigLake）

Google のレイクハウスでデータ基盤をモダナイズしましょう。従来の Hadoop をサーバーレスの Cloud Storage に移行し、BigQuery で Iceberg と Delta Lake を直接クエリして、クラウド間のデータを統合します。Lakehouse Iceberg REST カタログはサイロを排除し、Spark、Trino、Flink の相互運用可能なランタイムを提供します。Hive カタログのサポートにより、Hadoop ワークロードを Iceberg に簡単にモダナイズできます。

既存の Iceberg パイプラインを移行し、BigQuery またはマネージド Spark を使用してそれらのテーブルにシームレスに読み書きしながら、BigQuery の高度な機能で簡単にモダナイズできます。Spark ETL と BigQuery AI をまったく同じ Iceberg テーブルで実行することで、データ移動なしでデータ サイエンスを強化できます。S3 のデータを使用する会話型分析エージェントを BigQuery で構築する。

BigQuery AI を使用して、構造化された Iceberg テーブルと非構造化データを BigQuery ObjectRefs で組み合わせて、単一の SQL 推論でマルチモーダル分析を強化します。タイムトラベルを使用して Gemini Enterprise エージェント プラットフォーム モデルをトレーニングし、データドリフトをデバッグします。グローバルな REST カタログを統合データメッシュに統合し、大規模なログを手頃な価格で分析するとともに、統合されたノートブックで直接モデルを構築して、AI ワークフローを加速します。

スムーズな Spark エクスペリエンスを実現しましょう。統合された IDE を使用して、Iceberg データの単一コピーで SQL、Spark、Python を実行します。新しい Antigravity VS Code 拡張機能は、パイプラインの生成、コードのデバッグ、自然言語からの CI/CD の自動化を行う AI パートナーとして機能します。さらに、ベクトル化された Lightning Engine は、コードを変更することなく Spark の実行を最大 4.5 倍高速化します。

柔軟なストレージを維持しながら、BigQuery のスケールを活用できます。BigQuery でマルチステートメント トランザクションを実行して、複数の Iceberg テーブルを単一のアトミック ユニットとして更新し、財務グレードの整合性を確保します。BigQuery の高度なランタイムと Iceberg のパーティショニング サポートを使用して、ブロック プルーニングを活用するパーティション分割テーブルやクラスタ化テーブルを作成し、高速で費用対効果の高いクエリを実行できます。

トランザクション データと分析データを統合することで、イベント ドリブンな AI エージェントを強化します。Spanner と AlloyDB から Lakehouse Iceberg テーブルへの直接かつ継続的な CDC レプリケーションを自動化します。次に、SQL 継続的クエリを使用してこのストリーミング データをモニタリングし、AI 推論を即座に実行して、ダウンストリーム アクションをトリガーします。これにより、最も重要な運用ワークロードにリアルタイムの分析情報を付与します。

Knowledge Catalog は、Cloud Storage 内の Iceberg テーブルを自動的に検出し、そのメタデータをレイクハウス ランタイム カタログに直接登録することで、統合されたガバナンス レイヤを提供します。この統合により、一元化されたセキュリティ ポリシーを定義して、BigQuery とオープンソースの処理エンジンの両方で一貫した行レベルと列レベルのアクセス制御を確保できます。