Mengelola koneksi
Dokumen ini menjelaskan cara melihat, mencantumkan, membagikan, mengedit, menghapus, dan memecahkan masalah koneksi BigQuery.
Sebagai administrator BigQuery, Anda dapat membuat dan mengelola koneksi yang digunakan untuk terhubung ke layanan dan sumber data eksternal. Analis BigQuery menggunakan koneksi ini untuk mengirimkan kueri ke sumber data eksternal tanpa memindahkan atau menyalin data ke BigQuery. Anda dapat membuat jenis koneksi berikut:
- Koneksi Amazon S3
- Koneksi Apache Spark
- Koneksi Blob Storage
- Koneksi resource cloud untuk terhubung ke data Cloud Storage dan untuk mengimplementasikan fungsi jarak jauh
- Koneksi Spanner
- Koneksi Cloud SQL
Sebelum memulai
Mengaktifkan BigQuery Connection API.
Pastikan Anda dapat melihat daftar akun layanan di project Anda. BigQuery membuat dan menggunakan akun layanan untuk terhubung ke sumber data eksternal Anda. Saat Anda membuat koneksi, akun layanan Identity and Access Management (IAM) yang dikelola Google Cloud akan dibuat untuk Anda. Untuk melihat akun layanan yang terkait dengan koneksi tertentu, lihat detail koneksi.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk mengelola koneksi, minta administrator untuk memberi Anda peran IAM berikut:
-
Melihat detail koneksi:
BigQuery Connection User (
roles/bigquery.connectionUser
) di set data Anda -
Buat daftar semua koneksi:
BigQuery Connection User (
roles/bigquery.connectionUser
) di set data Anda -
Membagikan koneksi:
BigQuery Connection Admin (
roles/bigquery.connectionAdmin
) di koneksi Anda -
Mengedit koneksi:
BigQuery Connection Admin (
roles/bigquery.connectionAdmin
) pada koneksi Anda -
Menghapus koneksi:
BigQuery Connection Admin (
roles/bigquery.connectionAdmin
) pada koneksi Anda
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran yang telah ditetapkan lainnya.
Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk melakukan tugas dalam dokumen ini. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:
Izin yang diperlukan
- Melihat detail koneksi:
bigquery.connections.get
- Membuat daftar semua koneksi:
bigquery.connections.list
- Mengedit dan menghapus koneksi:
bigquery.connections.update
- Membagikan koneksi:
bigquery.connections.setIamPolicy
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran yang telah ditetapkan sebelumnya.
Buat daftar semua koneksi
Pilih salah satu opsi berikut:
Konsol
Buka halaman BigQuery.
Koneksi dicantumkan dalam project Anda, dalam grup yang disebut Koneksi eksternal.
Di panel Explorer, klik nama project Anda > Koneksi eksternal untuk melihat daftar semua koneksi singkat ini.
bq
Masukkan perintah bq ls
dan tentukan flag --connection
. Secara opsional,
tentukan flag --project_id
dan --location
untuk mengidentifikasi project
dan lokasi koneksi yang akan dicantumkan.
bq ls --connection --project_id=PROJECT_ID --location=REGION
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud AndaREGION
: region koneksi
API
Gunakan metode projects.locations.connections.list
di bagian referensi REST API.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Melihat detail koneksi
Setelah membuat koneksi, Anda bisa mendapatkan informasi tentang konfigurasi koneksi. Konfigurasi menyertakan nilai yang Anda berikan saat membuat transfer.
Pilih salah satu opsi berikut:
Konsol
Buka halaman BigQuery.
Koneksi dicantumkan dalam project Anda, dalam grup yang disebut Koneksi eksternal.
Di panel Penjelajah, klik nama project Anda > Koneksi eksternal > koneksi.
bq
Masukkan perintah bq show
dan tentukan flag --connection
. Secara opsional, tentukan ID koneksi dengan project ID dan region koneksi.
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud AndaREGION
: region koneksiCONNECTION_I
: ID koneksi
API
Gunakan
metode projects.locations.connections.get
di bagian referensi REST API.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Berbagi koneksi dengan pengguna
Anda dapat memberikan peran berikut untuk mengizinkan pengguna membuat kueri data dan mengelola koneksi:
roles/bigquery.connectionUser
: memungkinkan pengguna menggunakan koneksi untuk terhubung dengan sumber data eksternal dan menjalankan kueri pada sumber data tersebut.roles/bigquery.connectionAdmin
: memungkinkan pengguna mengelola koneksi.
Untuk informasi selengkapnya tentang peran dan izin IAM di BigQuery, baca Peran dan izin bawaan.
Pilih salah satu opsi berikut:
Konsol
Buka halaman BigQuery.
Koneksi dicantumkan dalam project Anda, dalam grup yang disebut Koneksi eksternal.
Di panel Penjelajah, klik nama project Anda > Koneksi eksternal > koneksi.
Di panel Detail, klik Bagikan untuk membagikan koneksi. Kemudian, lakukan hal berikut:
Dalam dialog Izin koneksi, bagikan koneksi dengan akun utama lain dengan menambahkan atau mengedit akun utama.
Klik Save.
bq
Anda tidak dapat berbagi koneksi dengan alat command line bq. Untuk berbagi koneksi, gunakan konsol Google Cloud atau metode BigQuery Connections API untuk melakukannya.
API
Gunakan
metode projects.locations.connections.setIAM
di bagian referensi REST API Koneksi BigQuery, dan
berikan instance resource policy
.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Mengedit koneksi
Koneksi menggunakan kredensial pengguna yang membuatnya. Jika perlu mengubah pengguna yang terhubung ke koneksi, Anda dapat memperbarui kredensial pengguna tersebut. Hal ini berguna jika pengguna yang membuat koneksi tidak lagi bekerja di organisasi Anda.
Anda tidak dapat mengedit elemen koneksi berikut:
- Connection type
- ID Koneksi
- Location
Pilih salah satu opsi berikut:
Konsol
Buka halaman BigQuery.
Koneksi dicantumkan dalam project Anda, dalam grup yang disebut Koneksi eksternal.
Di panel Penjelajah, klik nama project Anda > Koneksi eksternal > koneksi.
Di panel Detail, untuk mengedit detailnya, klik
Edit detail. Kemudian, lakukan hal berikut:Pada dialog Edit koneksi, edit detail koneksi termasuk kredensial pengguna.
Klik Perbarui koneksi.
bq
Masukkan perintah bq update
dan berikan flag koneksi:
--connection
. connection_id
yang sepenuhnya memenuhi syarat wajib diisi.
bq update --connection --connection_type='CLOUD_SQL' --properties='{"instanceId" : "INSTANCE", "database" : "DATABASE", "type" : "MYSQL" }' --connection_credential='{"username":"USERNAME", "password":"PASSWORD"}' PROJECT.REGION.CONNECTION_ID
Ganti kode berikut:
INSTANCE
: instance Cloud SQLDATABASE
: nama databaseUSERNAME
: nama pengguna database Cloud SQL AndaPASSWORD
: sandi untuk database Cloud SQL AndaPROJECT
: project ID Google CloudREGION
: region koneksiCONNECTION_ID
: ID koneksi
Misalnya, perintah berikut memperbarui koneksi dalam
project dengan ID federation-test
dan ID koneksi test-mysql
.
bq update --connection --connection_type='CLOUD_SQL' --properties='{"instanceId" : "federation-test:us-central1:new-mysql", "database" : "imdb2", "type" : "MYSQL" }' --connection_credential='{"username":"my_username", "password":"my_password"}' federation-test.us.test-mysql
API
Lihat metode projects.locations.connections.patch
di bagian referensi REST API, dan berikan instance connection
.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Menghapus koneksi
Pilih salah satu opsi berikut:
Konsol
Buka halaman BigQuery.
Koneksi dicantumkan dalam project Anda, dalam grup yang disebut Koneksi eksternal.
Di panel Penjelajah, klik nama project Anda > Koneksi eksternal > koneksi.
Di panel Detail, klik
Hapus untuk menghapus koneksi.Di kotak dialog Hapus koneksi?, masukkan
delete
untuk mengonfirmasi penghapusan.Klik Delete.
bq
Masukkan perintah bq rm
dan berikan flag koneksi:
--connection
. connection_id
yang sepenuhnya memenuhi syarat wajib diisi.
bq rm --connection PROJECT_ID.REGION.CONNECTION_ID
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud AndaREGION
: region koneksiCONNECTION_ID
: ID koneksi
API
Lihat metode projects.locations.connections.delete
di bagian referensi REST API.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Langkah selanjutnya
- Pelajari cara menggunakan fungsi jarak jauh.
- Pelajari cara menggunakan prosedur tersimpan untuk Apache Spark.