接続の概要
BigQuery では、BigQuery の外部に保存されているデータをクエリできます。たとえば Cloud Storage や Cloud Spanner などの Google Cloud サービス、あるいは AWS や Azure などのサードパーティ ソースにあるデータです。これらの外部接続では、BigQuery Connection API を使用します。
たとえば、お客様の注文に関する詳細を Cloud SQL に、販売データを BigQuery に格納し、1 つのクエリで 2 つのテーブルを結合する必要があるとします。BigQuery Connection API を使用すると、外部データベースへの Cloud SQL 接続を作成できます。接続では、データベース認証情報がクリアテキストとして送信されることはありません。
接続は暗号化され、BigQuery 接続サービスに安全に保存されます。BigQuery 接続の Identity and Access Management(IAM)ロールを付与することで、ユーザーに接続へのアクセス権を付与できます。
接続タイプ
BigQuery では、次の外部データソースの接続が提供されます。
BigLake テーブル: BigLake 接続を使用すると、きめ細かな BigQuery アクセス制御とセキュリティを維持しながら、次の外部データソースに接続できます。
- Cloud Storage 内の構造化データ
- Cloud Storage 内の非構造化データ
- Amazon S3(BigQuery Omni を使用)
- Azure Blob Storage(BigQuery Omni を使用)
詳細については、BigLake テーブルの概要をご覧ください。
連携クエリ: 連携接続では、クエリの送信前に次のデータベースへの接続を確立します。連携クエリのデータベース認証情報は接続によって処理されます。
詳細については、連携クエリの概要をご覧ください。
リモート関数: BigQuery リモート関数を使用すると、Cloud Functions または Cloud Run でサポートされる任意の言語で関数を実装できます。BigQuery 接続では、Cloud Functions または Cloud Run に接続してこれらの関数を実行できます。
詳細については、リモート関数の操作とリモート関数を使用してオブジェクト テーブルを分析するをご覧ください。
Apache Spark: Apache Spark 用のストアド プロシージャでは、BigQuery を使用して、Python で記述されたストアド プロシージャを実行できます。Spark 接続を使用すると、Dataproc Serverless に接続して Apache Spark 用のストアド プロシージャを実行できます。
詳細については、Apache Spark のストアド プロシージャを操作するをご覧ください。
監査ログ
BigQuery は、接続に関する使用状況と管理リクエストをログに記録します。詳しくは、BigQuery 監査ログの概要をご覧ください。