BigLake
BigLake は、BigQuery と Spark などのオープンソース フレームワークから、詳細なアクセス制御によりデータにアクセスできるようにすることで、データ ウェアハウスとデータレイクを統合するストレージ エンジンです。BigLake は、マルチクラウド ストレージや Apache Iceberg などのオープン フォーマットにまたがってクエリ パフォーマンスを向上させます。
-
データのコピーを 1 つ保存して、データ ウェアハウスとデータレイク全体で統一された機能を使用します。
-
分散データに対するきめ細かいアクセス制御とマルチクラウド ガバナンス。
-
オープンソースの分析ツールとオープン データ形式を使用したシームレスな統合。
利点
選択の自由
データの保存場所や方法に関係なく、分散データの分析が可能になります。また、データのコピーの 1 つを基にして、最適な分析ツール、オープンソース、またはクラウド ネイティブを選択できます。
安全で高性能なデータレイク
Apache Spark、Presto、Trino などのオープンソース エンジンや Parquet などのオープン フォーマットをカバーするきめ細かなアクセス制御。BigQuery を利用したデータレイクで効率の良いクエリを行います。
大規模なガバナンスと管理の統合
Dataplex と統合して、論理データ編成、ポリシーとメタデータの一元管理、品質とライフサイクル管理などの大規模な管理を行い、分散データ間の整合性を確保します。
主な機能
主な機能
きめ細かいセキュリティ管理
BigLake を使用すると、エンドユーザーにファイルレベルのアクセス権を付与する必要がなくなります。既存の BigQuery テーブルと同様のオブジェクト ストア テーブルに、テーブル、行、列レベルのセキュリティ ポリシーを適用します。
マルチクラウド ガバナンス
Amazon S3、Azure データレイク Gen 2 で定義したものも含め、すべての BigLake テーブルを Data Catalog で探します。 BigQuery Omni を使用してクエリを実行する場合、きめ細かいアクセス制御を構成して、クラウド全体で適用させます。
パフォーマンスの加速
実績のある BigQuery インフラストラクチャを利用して、Google Cloud、AWS、Azure のデータレイク テーブルで、業界トップクラスのパフォーマンスを実現します。
オープン フォーマット上に構築
Parquet、Avro、ORC、CSV、JSON などの一般的なオープン データ形式にアクセスできます。この API は、Apache Arrow で複数のコンピューティング エンジンに対応します。
「e コマース企業が急速に成長するにつれて、データも急速に成長しています。BigLake を使用することで、ビューに対するアクセス制御が可能になると同時に、ユーザーに統一されたインターフェースを提供し、データ ストレージのコストを低く抑えることができます。これにより、データレイクの価値を解き放つことができます。その結果、ユーザーがデータセットをすばやく分析できるようになります。」
ドキュメント
ドキュメント
BigLake の概要
BigLake のコンセプトを紹介し、分析を簡略化するために BigLake でできることについて学習します。
BigLake のスタートガイド
BigLake テーブルの作成と管理を行う方法、コネクタを使用して BigQuery などのオープンソース エンジンで BigLake テーブルにクエリを実行する方法を学習します。
料金
料金
BigLake の料金は、次のような BigLake テーブルに対するクエリに基づいています。
1. BigQuery の料金は、Google Cloud Storage で定義された BigLake テーブルに対するクエリに適用されます。
2. Amazon S3 と Azure Data Lake Gen 2 で定義された BigLake テーブルに対するクエリには BigQuery Omni の料金が適用されます。
3. BigLake コネクタを使用するオープンソース エンジンからのクエリ: BigLake コネクタは BigQuery Storage API を使用し、対応する料金が適用されます（バイト数の読み取りと下りの料金が請求されます）。
4. メタデータ キャッシュ、オブジェクト テーブル、BigLake Metastore を使用したクエリの高速化には、追加の費用が適用されます。
例: * 毎月 1 TB までは、BigQuery でのデータ処理を無料でご利用いただけます。