接続の概要
BigQuery では、BigQuery の外部に保存されているデータをクエリできます。たとえば Cloud Storage や Cloud Spanner などの Google Cloud サービス、あるいは AWS や Azure などのサードパーティ ソースにあるデータです。これらの外部接続では、BigQuery Connection API を使用します。
たとえば、お客様の注文に関する詳細を Cloud SQL に、販売データを BigQuery に格納し、1 つのクエリで 2 つのテーブルを結合する必要があるとします。BigQuery Connection API を使用すると、外部データベースへの Cloud SQL 接続を作成できます。接続では、データベース認証情報がクリアテキストとして送信されることはありません。
接続は暗号化され、BigQuery 接続サービスに安全に保存されます。BigQuery 接続の Identity and Access Management(IAM)ロールを付与することで、ユーザーに接続へのアクセス権を付与できます。
接続タイプ
BigQuery では、次の外部データソースに対して、さまざまな接続タイプが提供されます。
- Amazon Simple Storage Service(Amazon S3)
- Apache Spark
- Azure Blob Storage
- Google Cloud リソース(Vertex AI リモートモデル、リモート関数、BigLake など)
- Spanner
- Cloud SQL
- AlloyDB for PostgreSQL
- SAP Datasphere
Amazon S3 接続
BigQuery Omni で Amazon S3 接続を作成するには、Amazon S3 に接続するをご覧ください。
既存の Amazon S3 接続がある場合は、次の操作を実施します。
- Amazon S3 に外部テーブルを作成する
- Amazon S3 データに対してクエリを実行する
- 結果を Amazon S3 にエクスポートする
- AWS Glue データベースに基づいてデータセットを作成する
Spark 接続
Spark 用のストアド プロシージャでは、BigQuery を使用して、Python で記述されたストアド プロシージャを実行できます。Spark 接続を使用すると、Dataproc Serverless に接続して Spark 用のストアド プロシージャを実行できます。
この接続を作成するには、接続を作成するをご覧ください。
Blob Storage 接続
BigQuery Omni で Blob Storage 接続を作成するには、Blob Storage に接続するをご覧ください。
既存の Blob Storage 接続がある場合は、次の操作を実施します。
Google Cloud リソース接続
Google Cloud リソース接続は、他の Google Cloud リソース(Vertex AI リモートモデル、リモート関数、BigLake など)へのアクセスを承認するための接続です。Google Cloud リソース接続の設定方法については、Cloud リソース接続を作成して設定するをご覧ください。
既存の Google Cloud リソース接続がある場合は、次の BigQuery オブジェクトを作成できます。
- リモートモデル。詳細については、LLM を介したリモートモデルのための CREATE MODEL ステートメント、Cloud AI サービスを介したリモートモデルのための CREATE MODEL ステートメント、Vertex AI でホストされているモデルに対するリモートモデルの CREATE MODEL ステートメントをご覧ください。
- リモート関数。BigQuery のリモート関数を使用すると、Cloud Run functions または Cloud Run でサポートされる任意の言語で関数を実装できます。リモート関数接続では、Cloud Run functions または Cloud Run に接続してこれらの関数を実行できます。BigQuery リモート関数接続を作成するには、接続を作成するをご覧ください。
- BigLake テーブル。BigLake 接続を使用すると、Cloud Storage 内の構造化データと非構造化データの両方について、きめ細かな BigQuery アクセス制御とセキュリティを維持しながら、BigLake テーブルを外部データソースに接続できます。
- オブジェクト テーブル。詳細については、オブジェクト テーブルの概要をご覧ください。
Spanner 接続
Spanner 接続を作成するには、Spanner に接続するをご覧ください。
既存の Spanner 接続がある場合は、連携クエリを実行できます。
Cloud SQL 接続
Cloud SQL 接続を作成するには、Cloud SQL に接続するをご覧ください。
既存の Cloud SQL 接続がある場合は、連携クエリを実行できます。
AlloyDB 接続
AlloyDB 接続を作成するには、AlloyDB for PostgreSQL に接続するをご覧ください。
既存の AlloyDB 接続がある場合は、連携クエリを実行できます。
SAP Datasphere 接続
SAP Datasphere 接続を作成するには、SAP Datasphere に接続するをご覧ください。
既存の SAP Datasphere 接続がある場合は、連携クエリを実行できます。
監査ログ
BigQuery は、接続に関する使用状況と管理リクエストをログに記録します。詳しくは、BigQuery 監査ログの概要をご覧ください。
次のステップ
- 接続を管理する方法について学習する。
- リモート関数を使用してオブジェクト テーブルを分析する方法を学習する。
- 保存されたデータに対してクエリを実行する方法を学習する。
- Amazon S3 に保存されているデータをクエリする。
- Blob Storage に保存されているデータをクエリする。
- Cloud Storage に保存されている構造化データをクエリする。
- Cloud Storage に保存されている非構造化データをクエリする。
- Spanner に保存されているデータをクエリする。
- Cloud SQL に保存されているデータをクエリする。
- AlloyDB に保存されているデータをクエリする。
- リモート関数を使用してデータをクエリする。
- リモート関数を使用して非構造化データをクエリする。
- Apache Spark 用のストアド プロシージャを使用してデータをクエリする。
- 外部テーブルについて学習する。