BigLake

BigLake を使って Apache Iceberg レイクハウスを構築する

オープンでマネージドされた高パフォーマンスの Iceberg レイクハウスを構築し、自動化されたデータ マネジメントと組み込みのガバナンスによって、高度な分析とデータ サイエンスを有効にします。

Apache Iceberg は Apache Software Foundation の商標です。



機能

トランザクション データと分析データの間で相互運用可能

BigLake metastore は、すべての Iceberg テーブルに対応するサーバーレスのメタストアです。Apache Spark、BigQuery、サードパーティ プラットフォームなどのエンジンからテーブルの作成や管理に使用でき、データの整合性のあるビューと統合されたアクセス制御を提供します。BigLake Metastore は、Apache Iceberg Rest カタログをサポートし、OSS やサードパーティ エンジンとの統合を容易にします。Iceberg テーブルは、AlloyDB(プレビュー版)でもアクセス可能なデータであり、トランザクション プラットフォームと分析プラットフォーム間の相互運用性を実現します。

統合されたデータ マネジメントとガバナンス

BigLake は Google Cloud Storage 管理機能を拡張し、ストレージの自動クラスを使用してコールドデータを効率的に階層化し、ストレージ バケットに顧客管理の暗号鍵(CMEK)を適用できるようにします。BigLake metastore は Dataplex Universal Catalog とネイティブに統合されているため、一元的に定義されたガバナンス ポリシーを複数のエンジン間に一貫して適用できます。また、セマンティック検索、データリネージ、プロファイリング、品質チェックも可能です。

BigQuery による高パフォーマンスの分析、ストリーミング、AI

Apache Iceberg 用 BigLake テーブルは、BigQuery と併用することで、エンタープライズ対応のフルマネージド Iceberg エクスペリエンスを提供します。Apache Iceberg データを独自の Google Cloud Storage バケットに保存し、BigQuery の高度に拡張可能なリアルタイム メタデータ管理機能を活用することで、GCS に関連するオープン性とデータ所有権、ストリーミング、高度な分析、AI ユースケース向けの Iceberg データによる BigQuery のフルマネージド機能へのアクセスという、両方の長所を活用できます。


仕組み

BigLake は、Cloud Storage 上の Apache Iceberg のネイティブ実装を提供します。これにより、BigQuery または任意のオープンソース エンジンを Iceberg データで直接利用できます。BigLake Metastore はデータ マネジメントを簡素化し、Dataplex ユニバーサル カタログと統合して統一されたガバナンスを実現します。

一般的な使用例

Iceberg でオープンなレイクハウスを構築

オープン データ レイクハウスの Google Cloud コンポーネントを理解する

BigLake を使用して Iceberg レイクハウスを構築するには、まずデータを Cloud Storage に保存します。次に、Apache Iceberg 用 BigLake テーブルを使用してこのデータを定義します。BigLake Metastore は、これらの Iceberg テーブルの一元化されたサーバーレス カタログとして機能し、複雑なインフラストラクチャを管理する必要がなくなります。この設定により、Iceberg 対応のエンジンであればどれでも一貫してデータにアクセスして管理できるため、統合されたオープンで拡張可能なレイクハウス環境を簡単に構築できます。

    オープン データ レイクハウスの Google Cloud コンポーネントを理解する

    BigLake を使用して Iceberg レイクハウスを構築するには、まずデータを Cloud Storage に保存します。次に、Apache Iceberg 用 BigLake テーブルを使用してこのデータを定義します。BigLake Metastore は、これらの Iceberg テーブルの一元化されたサーバーレス カタログとして機能し、複雑なインフラストラクチャを管理する必要がなくなります。この設定により、Iceberg 対応のエンジンであればどれでも一貫してデータにアクセスして管理できるため、統合されたオープンで拡張可能なレイクハウス環境を簡単に構築できます。

      BigQuery を使った高度な分析

      金融サービス向けにリアルタイムの分析情報と予測を提供

      Apache Iceberg は、トランザクションや市場フィードなどの進化するデータレイク データセットに使用できます。BigLake を使用すると、BigQuery はデータを移動することなく、ネイティブ ストレージとともに Iceberg テーブルをクエリできます。リアルタイム ストリームを BigQuery に取り込み、BigLake を介して履歴 Iceberg データと組み合わせて、即座に包括的な分析を行うことができます。BigQuery ML は、市場の変動や不正行為の検出などのリアルタイムの分析情報と、信用リスクや顧客行動などの予測モデルを生成します。

        金融サービス向けにリアルタイムの分析情報と予測を提供

        Apache Iceberg は、トランザクションや市場フィードなどの進化するデータレイク データセットに使用できます。BigLake を使用すると、BigQuery はデータを移動することなく、ネイティブ ストレージとともに Iceberg テーブルをクエリできます。リアルタイム ストリームを BigQuery に取り込み、BigLake を介して履歴 Iceberg データと組み合わせて、即座に包括的な分析を行うことができます。BigQuery ML は、市場の変動や不正行為の検出などのリアルタイムの分析情報と、信用リスクや顧客行動などの予測モデルを生成します。

          すべてのデータユーザーが単一のデータコピーを利用できるようにする

          BigLake は、Cloud Storage 内の単一のデータコピーへの安全で一貫したアクセスを提供します。Dataplex ユニバーサル カタログは、このデータを自動的にカタログ化するため、すべてのデータユーザーとエンジンがアクセスできます。これにより、データ定義の一貫性、容易なデータ検索、統合されたガバナンスが確保され、サイロを排除するとともに、単一の信頼できる情報源に基づくコラボレーションが促進されます。

            BigLake は、Cloud Storage 内の単一のデータコピーへの安全で一貫したアクセスを提供します。Dataplex ユニバーサル カタログは、このデータを自動的にカタログ化するため、すべてのデータユーザーとエンジンがアクセスできます。これにより、データ定義の一貫性、容易なデータ検索、統合されたガバナンスが確保され、サイロを排除するとともに、単一の信頼できる情報源に基づくコラボレーションが促進されます。

              料金

              BigLake の料金の仕組みBigLake の料金は、テーブル管理、メタデータ ストレージ、メタデータ アクセスに基づきます
              サービスと用途説明料金(米ドル)

              BigLake テーブルの管理

              テーブル ストレージの自動最適化に使用される BigLake テーブル管理コンピューティング リソース。

              目安

              $0.12

              DCU 時間あたり

              BigLake メタデータ ストレージ

              BigLake Metastore では、保存されているメタデータに対して課金されます。無料枠には、1 か月あたり 1 GiB のメタデータ ストレージが含まれます。

              目安

              $0.04

              1 GiB あたりの月額

              BigLake メタデータへのアクセス

              クラス A オペレーション: 書き込み、更新、一覧参照、作成、構成オペレーションに対する BigLake メタデータ アクセス料金。1 か月あたり 5,000 オペレーションの無料枠が含まれます。

              目安

              $6.00

              100 万オペレーションあたり

              クラス B オペレーション: 読み取り、取得、削除オペレーションに対する BigLake メタデータ アクセス料金。1 か月あたり 50,000 オペレーションの無料枠が含まれます。

              目安

              $0.90

              100 万オペレーションあたり

              BigLake の料金の仕組み

              BigLake の料金は、テーブル管理、メタデータ ストレージ、メタデータ アクセスに基づきます

              BigLake テーブルの管理

              説明

              テーブル ストレージの自動最適化に使用される BigLake テーブル管理コンピューティング リソース。

              料金(米ドル)

              Starting at

              $0.12

              DCU 時間あたり

              BigLake メタデータ ストレージ

              説明

              BigLake Metastore では、保存されているメタデータに対して課金されます。無料枠には、1 か月あたり 1 GiB のメタデータ ストレージが含まれます。

              料金(米ドル)

              Starting at

              $0.04

              1 GiB あたりの月額

              BigLake メタデータへのアクセス

              説明

              クラス A オペレーション: 書き込み、更新、一覧参照、作成、構成オペレーションに対する BigLake メタデータ アクセス料金。1 か月あたり 5,000 オペレーションの無料枠が含まれます。

              料金(米ドル)

              Starting at

              $6.00

              100 万オペレーションあたり

              クラス B オペレーション: 読み取り、取得、削除オペレーションに対する BigLake メタデータ アクセス料金。1 か月あたり 50,000 オペレーションの無料枠が含まれます。

              説明

              Starting at

              $0.90

              100 万オペレーションあたり

              料金計算ツール

              リージョン固有の料金と手数料を含む、BigLake の毎月の費用を試算する

              カスタムの見積もり

              カスタム見積もりをご希望の場合は、Google のセールスチームにお問い合わせください。

              概念実証を開始する

              レイクハウス ジャンプスタート ソリューション

              大規模なプロジェクトを計画していますか?

              Apache Iceberg 用 BigLake テーブル

              Apache Iceberg REST カタログを使用する

              Apache Iceberg データにクエリを実行する

              • Google Cloud プロダクト
              • 100 種類を超えるプロダクトをご用意しています。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。また、すべてのお客様に 25 以上のプロダクトを無料でご利用いただけます(毎月の使用量上限があります)。
              Google Cloud