BigQuery

Konektor BigQuery memungkinkan Anda melakukan operasi penyisipan, penghapusan, pembaruan, dan pembacaan pada data Google BigQuery.

Sebelum memulai

Sebelum menggunakan konektor BigQuery, lakukan tugas berikut:

  • Di project Google Cloud Anda:
    • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
    • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
      • roles/bigquery.dataEditor

      Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu melakukan autentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.

    • Aktifkan layanan berikut:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

    Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Mengonfigurasi konektor mengharuskan Anda membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Artinya, jika memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

  1. Di Konsol Cloud, buka halaman Integration Connectors > Connections, lalu pilih atau buat project Google Cloud.

    Buka halaman Connections

  2. Klik + CREATE NEW untuk membuka halaman Create Connection.
  3. Di bagian Lokasi, pilih lokasi untuk koneksi.
    1. Region: Pilih lokasi dari menu drop-down.

      Untuk mengetahui daftar semua wilayah yang didukung, lihat Lokasi.

    2. Klik BERIKUTNYA.
  4. Di bagian Connection Details, selesaikan tindakan berikut:
    1. Konektor: Pilih BigQuery dari menu drop-down Konektor yang tersedia.
    2. Versi konektor: Pilih versi Konektor dari menu drop-down versi yang tersedia.
    3. Di kolom Connection Name, masukkan nama untuk instance Connection.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus kecil.
      • Nama koneksi harus dimulai dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh lebih dari 63 karakter.
    4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
    5. Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
    6. Secara opsional, konfigurasikan Setelan node koneksi:

      • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
      • Jumlah maksimum node: Masukkan jumlah maksimum node koneksi.

      {i>Node<i} adalah unit (atau replika) koneksi yang memproses transaksi. Lebih banyak node diperlukan untuk memproses lebih banyak transaksi untuk sebuah koneksi dan sebaliknya, lebih sedikit node diperlukan untuk memproses transaksi yang lebih sedikit. Untuk memahami pengaruh node terhadap harga konektor Anda, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum akan ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

    7. Project ID: ID project Google Cloud tempat data berada.
    8. ID Set Data: ID Set Data BigQuery.
    9. Use proxy: Centang kotak ini guna mengonfigurasi server proxy untuk koneksi dan mengonfigurasi nilai berikut:
      • Proxy Auth Scheme: Pilih jenis autentikasi untuk mengautentikasi dengan server proxy. Jenis autentikasi berikut didukung:
        • Dasar: Autentikasi HTTP dasar.
        • Ringkasan: Autentikasi HTTP ringkasan.
      • Pengguna Proxy: Nama pengguna yang akan digunakan untuk melakukan autentikasi dengan server proxy.
      • Sandi Proxy: Rahasia Secret manager sandi pengguna.
      • Jenis SSL Proxy: Jenis SSL yang akan digunakan saat terhubung ke server proxy. Jenis autentikasi berikut didukung:
        • Otomatis: Setelan default. Jika URL adalah URL HTTPS, opsi Tunnel akan digunakan. Jika URL adalah URL HTTP, opsi JANGAN digunakan.
        • Selalu: Koneksi selalu mengaktifkan SSL.
        • Tidak pernah: Koneksi tidak mengaktifkan SSL.
        • Tunnel: Koneksi melalui proxy tunneling. Server proxy membuka koneksi ke host jarak jauh dan traffic mengalir bolak-balik melalui proxy.
      • Di bagian Server Proxy, masukkan detail server proxy.
        1. Klik + Tambahkan tujuan.
        2. Pilih Jenis Tujuan.
          • Alamat host: Tentukan nama host atau alamat IP tujuan.

            Jika ingin membuat koneksi pribadi ke sistem backend Anda, lakukan hal berikut:

    10. Secara opsional, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci/nilai.
    11. Klik BERIKUTNYA.
  5. Di bagian Authentication, masukkan detail autentikasi.
    1. Koneksi BigQuery tidak memerlukan autentikasi apa pun.
    2. Klik BERIKUTNYA.
  6. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
  7. Klik Create.

Entitas, operasi, dan tindakan

Semua Integration Connectors menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ditampilkan kepada Anda sebagai entity, operasi, dan tindakan.

  • Entity: Entity dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entity berbeda dari konektor ke konektor. Misalnya, pada konektor database, tabel adalah entity, pada konektor server file, folder adalah entity, dan di konektor sistem pesan, antrean adalah entity.

    Namun, mungkin saja konektor tidak mendukung atau memiliki entitas, dalam hal ini daftar Entities akan kosong.

  • Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:

    Memilih entity dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entity tersebut. Untuk deskripsi operasi secara mendetail, lihat operasi entity tugas Konektor. Namun, jika konektor tidak mendukung salah satu operasi entity, operasi yang tidak didukung tersebut tidak akan dicantumkan dalam daftar Operations.

  • Tindakan: Tindakan adalah fungsi kelas pertama yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Namun, mungkin saja konektor tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Keterbatasan sistem

Konektor BigQuery dapat memproses maksimum 8 transaksi per detik, per node, dan men-throttle transaksi apa pun di luar batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk satu koneksi.

Untuk informasi tentang batas yang berlaku untuk Konektor Integrasi, lihat Batas.

Jenis data yang didukung

Berikut adalah jenis data yang didukung untuk konektor ini:

  • BIGINT
  • BINARY
  • BIT
  • BOOLEAN
  • CHAR
  • DATE
  • DECIMAL
  • DOUBLE
  • FLOAT
  • INTEGER
  • PANJANG VARCHAR
  • VARCHAR PANJANG
  • NCHAR
  • NUMERIC
  • NVARCHAR
  • NYATA
  • INT KECIL
  • WAKTU
  • TIMESTAMP
  • INT TINY
  • VARBINARY
  • VARCHAR

Masalah umum

Konektor BigQuery tidak mendukung kunci utama dalam tabel BigQuery. Ini berarti Anda tidak dapat melakukan operasi entity Mendapatkan, Mengupdate, dan Menghapus dengan menggunakan entityId. Atau, Anda dapat menggunakan klausa filter untuk memfilter kumpulan data berdasarkan ID.

Tindakan

Bagian ini menjelaskan tindakan yang tersedia di konektor BigQuery.

Tindakan CancelJob

Tindakan ini memungkinkan Anda membatalkan tugas BigQuery yang sedang berjalan.

Tabel berikut menjelaskan parameter input dari tindakan CancelJob.

Nama parameter Jenis data Deskripsi
JobId String ID pekerjaan yang ingin Anda batalkan. Kolom ini wajib diisi.
Region String Region tempat tugas sedang dijalankan. Hal ini tidak diwajibkan jika pekerjaan tersebut berada di region Amerika Serikat atau Uni Eropa.

Tindakan GetJob

Tindakan ini memungkinkan Anda mengambil informasi konfigurasi dan status eksekusi tugas yang ada.

Tabel berikut menjelaskan parameter input dari tindakan GetJob.

Nama parameter Jenis data Deskripsi
JobId String ID tugas yang konfigurasinya ingin Anda ambil. Kolom ini wajib diisi.
Region String Region tempat tugas sedang dijalankan. Hal ini tidak diwajibkan jika pekerjaan tersebut berada di region Amerika Serikat atau Uni Eropa.

Tindakan InsertJob

Tindakan ini memungkinkan Anda menyisipkan tugas BigQuery, yang kemudian dapat dipilih nanti untuk mengambil hasil kueri.

Tabel berikut menjelaskan parameter input dari tindakan InsertJob.

Nama parameter Jenis data Deskripsi
Mengkueri String Kueri yang akan dikirim ke BigQuery. Kolom ini wajib diisi.
IsDML String Harus ditetapkan ke true jika kuerinya adalah pernyataan DML atau false jika tidak. Nilai defaultnya adalah false.
DestinationTable String Tabel tujuan untuk kueri, dalam format DestProjectId:DestDatasetId.DestTable.
WriteDisposition String Menentukan cara menulis data ke tabel tujuan; seperti memotong hasil yang ada, menambahkan hasil yang ada, atau menulis hanya jika tabel kosong. Berikut adalah nilai yang didukung:
  • WRITE_TRUNCATE
  • WRITE_APPEND
  • WRITE_EMPTY
Nilai defaultnya adalah WRITE_TRUNCATE.
DryRun String Menentukan apakah eksekusi tugas adalah uji coba.
MaximumBytesBilled String Menentukan byte maksimum yang dapat diproses oleh tugas. BigQuery membatalkan tugas jika tugas tersebut mencoba memproses byte lebih dari nilai yang ditetapkan.
Region String Menentukan region tempat tugas harus dijalankan.

Tindakan InsertLoadJob

Tindakan ini memungkinkan Anda menyisipkan tugas pemuatan BigQuery, yang menambahkan data dari Google Cloud Storage ke dalam tabel yang sudah ada.

Tabel berikut menjelaskan parameter input dari tindakan InsertLoadJob.

Nama parameter Jenis data Deskripsi
SourceURIs String Daftar URI Google Cloud Storage yang dipisahkan spasi.
SourceFormat String Format sumber file. Berikut adalah nilai yang didukung:
  • AVRO
  • NEWLINE_DELIMITED_JSON
  • DATASTORE_BACKUP
  • PARQUET
  • ORC
  • CSV
DestinationTable String Tabel tujuan untuk kueri, dalam format DestProjectId.DestDatasetId.DestTable.
DestinationTableProperties String Objek JSON yang menentukan nama yang sesuai untuk tabel, deskripsi, dan daftar label.
DestinationTableSchema String Daftar JSON yang menentukan kolom yang digunakan untuk membuat tabel.
DestinationEncryptionConfiguration String Objek JSON yang menentukan setelan enkripsi KMS untuk tabel.
SchemaUpdateOptions String Daftar JSON yang menentukan opsi yang akan diterapkan saat memperbarui skema tabel tujuan.
TimePartitioning String Objek JSON yang menentukan jenis dan kolom partisi waktu.
RangePartitioning String Objek JSON yang menentukan kolom dan bucket partisi rentang.
Dukungan String Objek JSON yang menentukan kolom yang akan digunakan untuk pengelompokan.
Deteksi otomatis String Menentukan apakah opsi dan skema harus ditentukan secara otomatis untuk file JSON dan CSV.
CreateDisposition String Menentukan apakah tabel tujuan perlu dibuat jika belum ada. Berikut adalah nilai yang didukung:
  • CREATE_IF_NEEDED
  • CREATE_NEVER
Nilai defaultnya adalah CREATE_IF_NEEDED.
WriteDisposition String Menentukan cara menulis data ke tabel tujuan, seperti; memotong hasil yang ada, menambahkan hasil yang ada, atau menulis hanya jika tabel kosong. Berikut ini adalah nilai yang didukung:
  • WRITE_TRUNCATE
  • WRITE_APPEND
  • WRITE_EMPTY
Nilai defaultnya adalah WRITE_APPEND.
Region String Menentukan region tempat tugas harus dijalankan. Resource Google Cloud Storage dan set data BigQuery harus berada di region yang sama.
DryRun String Menentukan apakah eksekusi tugas adalah uji coba. Nilai defaultnya adalah false.
MaximumBadRecords String Menentukan jumlah data yang dapat menjadi tidak valid sebelum seluruh tugas dibatalkan. Secara default, semua data harus valid. Nilai defaultnya adalah 0.
IgnoreUnknownValues String Menentukan apakah kolom yang tidak diketahui harus diabaikan dalam file input atau memperlakukannya sebagai error. Secara default, peristiwa ini dianggap sebagai error. Nilai defaultnya adalah false.
AvroUseLogicalTypes String Menentukan apakah jenis logis AVRO harus digunakan untuk mengonversi data AVRO ke jenis BigQuery. Nilai default-nya adalah true.
CSVSkipLeadingRows String Menentukan jumlah baris yang harus dilewati di awal file CSV. Fungsi ini biasanya digunakan untuk melewati baris {i>header<i}.
CSVEncoding String Jenis encoding file CSV. Berikut adalah nilai yang didukung:
  • ISO-8859-1
  • UTF-8
Nilai defaultnya adalah UTF-8.
CSVNullMarker String Jika disediakan, string ini akan digunakan untuk nilai NULL dalam file CSV. Secara default, file CSV tidak dapat menggunakan NULL.
CSVFieldDelimiter String Karakter yang digunakan untuk memisahkan kolom dalam file CSV. Nilai defaultnya adalah koma (,).
CSVQuote String Karakter yang digunakan untuk kolom dengan tanda kutip dalam file CSV. Dapat disetel ke kosong untuk menonaktifkan penawaran harga. Nilai defaultnya adalah tanda kutip ganda (").
CSVAllowQuotedNewlines String Menentukan apakah file CSV dapat berisi baris baru dalam kolom yang dikutip. Nilai defaultnya adalah false.
CSVAllowJaggedRows String Menentukan apakah file CSV dapat berisi kolom yang tidak ada. Nilai defaultnya adalah false.
DSBackupProjectionFields String Daftar JSON kolom yang akan dimuat dari cadangan datastore Cloud.
ParquetOptions String Objek JSON yang menentukan opsi impor khusus Parquet.
DecimalTargetTypes String Daftar JSON yang memberikan urutan preferensi yang diterapkan pada jenis numerik.
HivePartitioningOptions String Objek JSON yang menentukan opsi partisi sisi sumber.

Menjalankan kueri SQL kustom

Untuk membuat kueri kustom, ikuti langkah-langkah berikut:

  1. Ikuti petunjuk mendetail untuk menambahkan tugas konektor.
  2. Saat Anda mengonfigurasi tugas konektor, pada jenis tindakan yang ingin dilakukan, pilih Tindakan.
  3. Dalam daftar Action, pilih Execute custom query, lalu klik Done.
  4. Luaskan bagian Task input, lalu lakukan tindakan berikut:
    1. Di kolom Timeout after, masukkan jumlah detik untuk menunggu hingga kueri dieksekusi.

      Nilai default: 180 detik.

    2. Di kolom Maximum number of rows, masukkan jumlah maksimum baris yang akan ditampilkan dari database.

      Nilai default: 25.

    3. Untuk memperbarui kueri kustom, klik Edit Kueri Kustom. Dialog Editor skrip akan terbuka.
    4. Dalam dialog Editor skrip, masukkan kueri SQL, lalu klik Simpan.

      Anda dapat menggunakan tanda tanya (?) dalam pernyataan SQL untuk mewakili satu parameter yang harus ditentukan dalam daftar parameter kueri. Misalnya, kueri SQL berikut memilih semua baris dari tabel Employees yang cocok dengan nilai yang ditentukan untuk kolom LastName: 

      SELECT * FROM Employees where LastName=?

    5. Jika telah menggunakan tanda tanya dalam kueri SQL, Anda harus menambahkan parameter dengan mengklik + Tambahkan Nama Parameter untuk setiap tanda tanya. Saat menjalankan integrasi, parameter ini menggantikan tanda tanya (?) dalam kueri SQL secara berurutan. Misalnya, jika Anda telah menambahkan tiga tanda tanya (?), Anda harus menambahkan tiga parameter secara berurutan. Untuk menambahkan parameter kueri, lakukan tindakan berikut:
      1. Dari daftar Jenis, pilih jenis data parameter.
      2. Di kolom Nilai, masukkan nilai parameter.
      3. Untuk menambahkan beberapa parameter, klik + Tambahkan Parameter Kueri.

Gunakan terraform untuk membuat koneksi

Anda dapat menggunakan resource Terraform untuk membuat koneksi baru.

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.

Untuk melihat contoh template terraform untuk pembuatan koneksi, lihat contoh template.

Saat membuat koneksi ini menggunakan Terraform, Anda harus menetapkan variabel berikut dalam file konfigurasi Terraform:

Nama parameter Jenis data Diperlukan Deskripsi
project_id STRING Benar ID project yang berisi set data BigQuery, misalnya myproject.
dataset_id STRING Salah ID set data dari set data BigQuery tanpa nama project, misalnya mydataset.
proxy_enabled BOOLEAN Salah Pilih kotak centang ini untuk mengonfigurasi server proxy untuk koneksi.
proxy_auth_scheme ENUM Salah Jenis autentikasi yang akan digunakan untuk mengautentikasi ke proxy ProxyServer. Nilai yang didukung adalah: BASIC, DIGEST, NONE
proxy_user STRING Salah Nama pengguna yang akan digunakan untuk mengautentikasi ke proxy ProxyServer.
proxy_password SECRET Salah Sandi yang akan digunakan untuk mengautentikasi ke proxy ProxyServer.
proxy_ssltype ENUM Salah Jenis SSL yang akan digunakan saat menghubungkan ke proxy ProxyServer. Nilai yang didukung adalah: AUTO, ALWAYS, NEVER, WorkManager

Menggunakan koneksi BigQuery dalam sebuah integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Apigee, lihat Tugas konektor.
  • Untuk memahami cara membuat dan menggunakan tugas Konektor dalam Application Integration, lihat tugas konektor.

Dapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Cloud Forums.

Langkah selanjutnya