Konektor BigQuery

Anda dapat menggunakan konektor BigQuery untuk mengaktifkan akses baca/tulis terprogram ke BigQuery. Ini adalah cara yang ideal untuk memproses data yang disimpan di BigQuery. Akses command line tidak terekspos. Konektor BigQuery adalah library yang memungkinkan aplikasi Spark dan Hadoop memproses data dari BigQuery dan menulis data ke BigQuery menggunakan terminologi native.

Pertimbangan harga

Saat menggunakan konektor, biayanya mencakup biaya penggunaan BigQuery. Biaya khusus layanan berikut mungkin juga berlaku:

  • Cloud Storage - konektor mendownload data ke dalam bucket Cloud Storage sebelum atau selama eksekusi tugas. Setelah tugas berhasil diselesaikan, data akan dihapus dari Cloud Storage. Anda akan dikenai biaya untuk penyimpanan ini sesuai dengan harga Cloud Storage. Untuk menghindari tagihan yang berlebihan, periksa akun Cloud Storage Anda dan hapus file sementara yang tidak diperlukan.
  • BigQuery Storage API - untuk mencapai performa yang lebih baik, konektor akan membaca data menggunakan BigQuery Storage API. Anda akan dikenai biaya untuk penggunaan ini sesuai dengan harga BigQuery Storage API.

Konektor yang tersedia

Konektor BigQuery berikut tersedia untuk digunakan di ekosistem Hadoop:

  1. Spark BigQuery Connector menambahkan sumber data Spark, yang memungkinkan DataFrames berinteraksi langsung dengan tabel BigQuery menggunakan operasi read dan write Spark.
  2. Hive BigQuery Connector menambahkan Pengendali Penyimpanan, sehingga Apache Hive dapat berinteraksi langsung dengan tabel BigQuery menggunakan sintaksis HiveQL.
  3. Hadoop BigQuery Connector memungkinkan mapper dan pengurang Hadoop berinteraksi dengan tabel BigQuery menggunakan versi abstrak class InputFormat dan OutputFormat.

Menggunakan konektor

Untuk memulai dengan cepat menggunakan konektor BigQuery, lihat contoh berikut:

Langkah selanjutnya