Pengantar koneksi

Dengan BigQuery, Anda dapat membuat kueri data yang disimpan di luar BigQuery di layanan Google Cloud seperti Cloud Storage atau Spanner, atau di sumber pihak ketiga seperti AWS atau Azure. Koneksi eksternal ini menggunakan BigQuery Connection API.

Sebagai contoh, misalkan Anda menyimpan detail tentang pesanan pelanggan di Cloud SQL dan data tentang penjualan di BigQuery, dan Anda ingin menggabungkan kedua tabel tersebut dalam satu kueri. Anda dapat membuat koneksi Cloud SQL ke database eksternal menggunakan BigQuery Connection API. Dengan koneksi, Anda tidak akan pernah mengirim kredensial database sebagai cleartext.

Koneksi dienkripsi dan disimpan dengan aman di layanan koneksi BigQuery. Anda dapat memberi pengguna akses ke koneksi dengan memberi mereka peran Identity and Access Management (IAM) koneksi BigQuery.

Jenis koneksi

BigQuery menyediakan berbagai jenis koneksi untuk sumber data eksternal berikut:

• Layanan Simple Storage Amazon (Amazon S3)
• Apache Spark
• Azure Blob Storage
• Resource Google Cloud seperti model jarak jauh Vertex AI, fungsi jarak jauh, dan BigLake
• Spanner
• Cloud SQL
• AlloyDB untuk PostgreSQL
• SAP Datasphere

Catatan: Anda tidak memerlukan koneksi untuk membuat kueri data di Bigtable dan Google Drive.

Koneksi Amazon S3

Untuk membuat koneksi Amazon S3 dengan BigQuery Omni, lihat Menghubungkan ke Amazon S3.

Setelah memiliki koneksi Amazon S3, Anda dapat melakukan hal berikut:

• Membuat tabel eksternal di Amazon S3
• Membuat kueri data Amazon S3
• Mengekspor hasil ke Amazon S3
• Membuat set data berdasarkan database AWS Glue.

Koneksi Spark

Prosedur tersimpan untuk Spark memungkinkan Anda menjalankan prosedur tersimpan yang ditulis dalam Python menggunakan BigQuery. Koneksi Spark memungkinkan Anda terhubung ke Dataproc Serverless dan menjalankan prosedur tersimpan untuk Spark.

Untuk membuat koneksi ini, lihat Membuat koneksi.

Koneksi Blob Storage

Untuk membuat koneksi Blob Storage dengan BigQuery Omni, lihat artikel Menghubungkan ke Blob Storage.

Setelah memiliki koneksi Blob Storage, Anda dapat melakukan hal berikut:

• Membuat tabel eksternal berdasarkan Blob Storage
• Membuat kueri data Blob Storage
• Mengekspor hasil ke Blob Storage

Koneksi resource Google Cloud

Koneksi resource Google Cloud adalah koneksi untuk memberikan otorisasi akses ke resource Google Cloud lainnya, seperti model jarak jauh Vertex AI, fungsi jarak jauh, dan BigLake. Untuk mengetahui detail cara menyiapkan koneksi resource Google Cloud, lihat Membuat dan menyiapkan koneksi resource Cloud.

Setelah memiliki koneksi resource Google Cloud, Anda dapat membuat objek BigQuery berikut dengan koneksi tersebut:

• Model jarak jauh. Untuk informasi selengkapnya, lihat Pernyataan CREATE MODEL untuk model jarak jauh melalui LLM, Pernyataan CREATE MODEL untuk model jarak jauh melalui layanan Cloud AI, dan Pernyataan CREATE MODEL untuk model jarak jauh melalui model yang dihosting Vertex AI.
• Fungsi jarak jauh. Fungsi jarak jauh BigQuery memungkinkan Anda menerapkan fungsi dengan bahasa yang didukung di fungsi Cloud Run atau Cloud Run. Koneksi fungsi jarak jauh memungkinkan Anda terhubung dengan fungsi Cloud Run atau Cloud Run dan menjalankan fungsi ini. Untuk membuat koneksi fungsi jarak jauh BigQuery, lihat Membuat koneksi.
• Tabel BigLake. Koneksi BigLake menghubungkan tabel BigLake ke sumber data eksternal sambil mempertahankan kontrol akses dan keamanan BigQuery yang mendetail untuk data terstruktur dan tidak terstruktur di Cloud Storage.
• Tabel objek. Untuk mengetahui informasi selengkapnya, lihat Pengantar tabel objek.

Koneksi Spanner

Untuk membuat koneksi Spanner, lihat Menghubungkan ke Spanner.

Setelah memiliki koneksi Spanner, Anda dapat menjalankan kueri gabungan.

Koneksi Cloud SQL

Untuk membuat koneksi Cloud SQL, lihat Menghubungkan ke Cloud SQL.

Setelah memiliki koneksi Cloud SQL, Anda dapat menjalankan kueri gabungan.

Koneksi AlloyDB

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Untuk membuat koneksi AlloyDB, lihat Menghubungkan ke AlloyDB untuk PostgreSQL.

Setelah memiliki koneksi AlloyDB, Anda dapat menjalankan kueri gabungan.

Koneksi SAP Datasphere

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Untuk membuat koneksi SAP Datasphere, lihat Menghubungkan ke SAP Datasphere.

Setelah memiliki koneksi SAP Datasphere, Anda dapat menjalankan kueri gabungan.

Log audit

BigQuery mencatat permintaan penggunaan dan pengelolaan koneksi ke dalam log. Untuk mengetahui informas selengkapnya, lihat Ringkasan log audit BigQuery.

Langkah selanjutnya

• Pelajari cara mengelola koneksi.
• Pelajari cara menganalisis tabel objek menggunakan fungsi jarak jauh.
• Pelajari cara membuat kueri untuk data yang disimpan:
  • Buat kueri data yang disimpan di Amazon S3.
  • Buat kueri data yang disimpan di Blob Storage.
  • Buat kueri data terstruktur yang disimpan di Cloud Storage.
  • Buat kueri data tidak terstruktur yang disimpan di Cloud Storage.
  • Buat kueri data yang disimpan di Spanner.
  • Buat kueri data yang disimpan di Cloud SQL.
  • Buat kueri data yang disimpan di AlloyDB.
  • Buat kueri data menggunakan fungsi jarak jauh.
  • Buat kueri data tidak terstruktur menggunakan fungsi jarak jauh.
  • Buat kueri data menggunakan prosedur tersimpan untuk Apache Spark.
• Pelajari tabel eksternal.