Pengantar koneksi

BigQuery memungkinkan Anda membuat kueri data yang disimpan di luar BigQuery dalam layanan Google Cloud seperti Cloud Storage atau Spanner, atau di sumber pihak ketiga seperti AWS atau Azure. Koneksi eksternal ini menggunakan BigQuery Connection API.

Sebagai contoh, misalkan Anda menyimpan detail tentang pesanan pelanggan di Cloud SQL dan data tentang penjualan di BigQuery, dan Anda ingin menggabungkan kedua tabel tersebut dalam satu kueri. Anda dapat membuat koneksi Cloud SQL ke database eksternal menggunakan BigQuery Connection API. Dengan koneksi, Anda tidak akan pernah mengirim kredensial database sebagai cleartext.

Koneksi dienkripsi dan disimpan dengan aman di layanan koneksi BigQuery. Anda dapat memberi pengguna akses ke koneksi dengan memberi mereka peran Identity and Access Management (IAM) koneksi BigQuery.

Jenis koneksi

BigQuery menyediakan koneksi untuk sumber data eksternal berikut:

• Tabel BigLake: Koneksi BigLake membantu menghubungkan sumber data eksternal berikut sambil mempertahankan kontrol akses dan keamanan BigQuery yang mendetail:

  • Data terstruktur di Cloud Storage
  • Data tidak terstruktur di Cloud Storage
  • Amazon S3 dengan BigQuery Omni
  • Azure Blob Storage dengan BigQuery Omni

  Untuk informasi selengkapnya, lihat Pengantar tabel BigLake.

• Kueri federasi: Koneksi federasi akan menghubungkan ke database berikut sebelum Anda mengirim kueri. Koneksi menangani kredensial database untuk kueri gabungan.

  • Spanner
  • Cloud SQL

  Untuk mengetahui informasi selengkapnya, lihat Pengantar kueri federasi.

• Fungsi jarak jauh: Fungsi jarak jauh BigQuery memungkinkan Anda mengimplementasikan fungsi dengan bahasa yang didukung di Cloud Functions atau Cloud Run. Koneksi BigQuery memungkinkan Anda terhubung dengan Cloud Functions atau Cloud Run dan menjalankan fungsi-fungsi ini.

  Untuk mengetahui informasi selengkapnya, lihat Bekerja dengan fungsi jarak jauh dan Menganalisis tabel objek menggunakan fungsi jarak jauh.

• Apache Spark: Prosedur tersimpan untuk Apache Spark memungkinkan Anda menjalankan prosedur tersimpan yang ditulis dalam Python menggunakan BigQuery. Koneksi Spark memungkinkan Anda terhubung ke Dataproc Serverless dan menjalankan prosedur yang tersimpan untuk Apache Spark.

  Untuk mengetahui informasi selengkapnya, lihat Bekerja dengan prosedur tersimpan untuk Apache Spark.

Catatan: Anda tidak memerlukan koneksi untuk membuat kueri data di Bigtable dan Google Drive.

Log audit

BigQuery mencatat permintaan penggunaan dan pengelolaan koneksi ke dalam log. Untuk mengetahui informas selengkapnya, lihat Ringkasan log audit BigQuery.

Langkah selanjutnya

• Pelajari cara membuat kueri untuk data yang disimpan:
  • Buat kueri data yang disimpan di Amazon S3.
  • Buat kueri data yang disimpan di Blob Storage.
  • Buat kueri data terstruktur yang disimpan di Cloud Storage.
  • Buat kueri data tidak terstruktur yang disimpan di Cloud Storage.
  • Buat kueri data yang disimpan di Spanner.
  • Buat kueri data yang disimpan di Cloud SQL.
  • Buat kueri data menggunakan fungsi jarak jauh.
  • Buat kueri data tidak terstruktur menggunakan fungsi jarak jauh.
  • Buat kueri data menggunakan prosedur tersimpan untuk Apache Spark.
• Pelajari cara mengelola koneksi.
• Pelajari tentang tabel eksternal.