Mengelola koneksi

Dokumen ini menjelaskan cara melihat, mencantumkan, membagikan, mengedit, menghapus, dan memecahkan masalah koneksi BigQuery.

Sebagai administrator BigQuery, Anda dapat membuat dan mengelola koneksi yang digunakan untuk terhubung ke layanan dan sumber data eksternal. Analis BigQuery menggunakan koneksi ini untuk mengirimkan kueri ke sumber data eksternal tanpa memindahkan atau menyalin data ke BigQuery. Anda dapat membuat jenis koneksi berikut:

Koneksi Amazon S3
Koneksi Apache Spark
Koneksi Blob Storage
Koneksi resource cloud untuk terhubung ke data Cloud Storage dan untuk mengimplementasikan fungsi jarak jauh
Koneksi Spanner
Koneksi Cloud SQL

Sebelum memulai

Mengaktifkan BigQuery Connection API.

Mengaktifkan API
Pastikan Anda dapat melihat daftar akun layanan di project Anda. BigQuery membuat dan menggunakan akun layanan untuk terhubung ke sumber data eksternal Anda. Saat Anda membuat koneksi, akun layanan Identity and Access Management (IAM) yang dikelola Google Cloud akan dibuat untuk Anda. Untuk melihat akun layanan yang terkait dengan koneksi tertentu, lihat detail koneksi.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengelola koneksi, minta administrator untuk memberi Anda peran IAM berikut:

Melihat detail koneksi: BigQuery Connection User (roles/bigquery.connectionUser) di set data Anda
Buat daftar semua koneksi: BigQuery Connection User (roles/bigquery.connectionUser) di set data Anda
Membagikan koneksi: BigQuery Connection Admin (roles/bigquery.connectionAdmin) di koneksi Anda
Mengedit koneksi: BigQuery Connection Admin (roles/bigquery.connectionAdmin) pada koneksi Anda
Menghapus koneksi: BigQuery Connection Admin (roles/bigquery.connectionAdmin) pada koneksi Anda

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran yang telah ditetapkan lainnya.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk melakukan tugas dalam dokumen ini. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Melihat detail koneksi: bigquery.connections.get
Membuat daftar semua koneksi: bigquery.connections.list
Mengedit dan menghapus koneksi: bigquery.connections.update
Membagikan koneksi: bigquery.connections.setIamPolicy

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran yang telah ditetapkan sebelumnya.

Buat daftar semua koneksi

Pilih salah satu opsi berikut:

Konsol

Buka halaman BigQuery.

Buka BigQuery

Koneksi dicantumkan dalam project Anda, dalam grup yang disebut Koneksi eksternal.
Di panel Explorer, klik nama project Anda > Koneksi eksternal untuk melihat daftar semua koneksi singkat ini.

bq

Masukkan perintah bq ls dan tentukan flag --connection. Secara opsional, tentukan flag --project_id dan --location untuk mengidentifikasi project dan lokasi koneksi yang akan dicantumkan.

bq ls --connection --project_id=PROJECT_ID --location=REGION

Ganti kode berikut:

PROJECT_ID: ID project Google Cloud Anda
REGION: region koneksi

API

Gunakan metode projects.locations.connections.list di bagian referensi REST API.

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.

import com.google.cloud.bigquery.connection.v1.ListConnectionsRequest;
import com.google.cloud.bigquery.connection.v1.LocationName;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import java.io.IOException;

// Sample to get list of connections
public class ListConnections {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    listConnections(projectId, location);
  }

  static void listConnections(String projectId, String location) throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      LocationName parent = LocationName.of(projectId, location);
      int pageSize = 10;
      ListConnectionsRequest request =
          ListConnectionsRequest.newBuilder()
              .setParent(parent.toString())
              .setPageSize(pageSize)
              .build();
      client
          .listConnections(request)
          .iterateAll()
          .forEach(con -> System.out.println("Connection Id :" + con.getName()));
    }
  }
}

Melihat detail koneksi

Setelah membuat koneksi, Anda bisa mendapatkan informasi tentang konfigurasi koneksi. Konfigurasi menyertakan nilai yang Anda berikan saat membuat transfer.

Pilih salah satu opsi berikut:

Konsol

Buka halaman BigQuery.

Buka BigQuery

Koneksi dicantumkan dalam project Anda, dalam grup yang disebut Koneksi eksternal.
Di panel Penjelajah, klik nama project Anda > Koneksi eksternal > koneksi.

bq

Masukkan perintah bq show dan tentukan flag --connection. Secara opsional, tentukan ID koneksi dengan project ID dan region koneksi.

bq show --connection PROJECT_ID.REGION.CONNECTION_ID

Ganti kode berikut:

PROJECT_ID: ID project Google Cloud Anda
REGION: region koneksi
CONNECTION_I: ID koneksi

API

Gunakan metode projects.locations.connections.get di bagian referensi REST API.

Java

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.

import com.google.cloud.bigquery.connection.v1.Connection;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigquery.connection.v1.GetConnectionRequest;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import java.io.IOException;

// Sample to get connection
public class GetConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    getConnection(projectId, location, connectionId);
  }

  static void getConnection(String projectId, String location, String connectionId)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ConnectionName name = ConnectionName.of(projectId, location, connectionId);
      GetConnectionRequest request =
          GetConnectionRequest.newBuilder().setName(name.toString()).build();
      Connection response = client.getConnection(request);
      System.out.println("Connection info retrieved successfully :" + response.getName());
    }
  }
}

Anda dapat memberikan peran berikut untuk mengizinkan pengguna membuat kueri data dan mengelola koneksi:

roles/bigquery.connectionUser: memungkinkan pengguna menggunakan koneksi untuk terhubung dengan sumber data eksternal dan menjalankan kueri pada sumber data tersebut.
roles/bigquery.connectionAdmin: memungkinkan pengguna mengelola koneksi.

Untuk informasi selengkapnya tentang peran dan izin IAM di BigQuery, baca Peran dan izin bawaan.

Pilih salah satu opsi berikut:

Konsol

Buka halaman BigQuery.

Buka BigQuery

Koneksi dicantumkan dalam project Anda, dalam grup yang disebut Koneksi eksternal.
Di panel Penjelajah, klik nama project Anda > Koneksi eksternal > koneksi.
Di panel Detail, klik Bagikan untuk membagikan koneksi. Kemudian, lakukan hal berikut:
1. Dalam dialog Izin koneksi, bagikan koneksi dengan akun utama lain dengan menambahkan atau mengedit akun utama.
2. Klik Save.

bq

Anda tidak dapat berbagi koneksi dengan alat command line bq. Untuk berbagi koneksi, gunakan konsol Google Cloud atau metode BigQuery Connections API untuk melakukannya.

API

Gunakan metode projects.locations.connections.setIAM di bagian referensi REST API Koneksi BigQuery, dan berikan instance resource policy.

Java

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.

import com.google.api.resourcenames.ResourceName;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import com.google.iam.v1.Binding;
import com.google.iam.v1.Policy;
import com.google.iam.v1.SetIamPolicyRequest;
import java.io.IOException;

// Sample to share connections
public class ShareConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    shareConnection(projectId, location, connectionId);
  }

  static void shareConnection(String projectId, String location, String connectionId)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ResourceName resource = ConnectionName.of(projectId, location, connectionId);
      Binding binding =
          Binding.newBuilder()
              .addMembers("group:example-analyst-group@google.com")
              .setRole("roles/bigquery.connectionUser")
              .build();
      Policy policy = Policy.newBuilder().addBindings(binding).build();
      SetIamPolicyRequest request =
          SetIamPolicyRequest.newBuilder()
              .setResource(resource.toString())
              .setPolicy(policy)
              .build();
      client.setIamPolicy(request);
      System.out.println("Connection shared successfully");
    }
  }
}

Mengedit koneksi

Koneksi menggunakan kredensial pengguna yang membuatnya. Jika perlu mengubah pengguna yang terhubung ke koneksi, Anda dapat memperbarui kredensial pengguna tersebut. Hal ini berguna jika pengguna yang membuat koneksi tidak lagi bekerja di organisasi Anda.

Anda tidak dapat mengedit elemen koneksi berikut:

Connection type
ID Koneksi
Location

Pilih salah satu opsi berikut:

Konsol

Buka halaman BigQuery.

Buka BigQuery

Koneksi dicantumkan dalam project Anda, dalam grup yang disebut Koneksi eksternal.
Di panel Penjelajah, klik nama project Anda > Koneksi eksternal > koneksi.
Di panel Detail, untuk mengedit detailnya, klik Edit detail. Kemudian, lakukan hal berikut:
1. Pada dialog Edit koneksi, edit detail koneksi termasuk kredensial pengguna.
2. Klik Perbarui koneksi.

bq

Masukkan perintah bq update dan berikan flag koneksi: --connection. connection_id yang sepenuhnya memenuhi syarat wajib diisi.

  bq update --connection --connection_type='CLOUD_SQL'
      --properties='{"instanceId" : "INSTANCE",
      "database" : "DATABASE", "type" : "MYSQL" }'
      --connection_credential='{"username":"USERNAME", "password":"PASSWORD"}'
      PROJECT.REGION.CONNECTION_ID

Ganti kode berikut:

INSTANCE: instance Cloud SQL
DATABASE: nama database
USERNAME: nama pengguna database Cloud SQL Anda
PASSWORD: sandi untuk database Cloud SQL Anda
PROJECT: project ID Google Cloud
REGION: region koneksi
CONNECTION_ID: ID koneksi

Misalnya, perintah berikut memperbarui koneksi dalam project dengan ID federation-test dan ID koneksi test-mysql.

bq update --connection --connection_type='CLOUD_SQL'
    --properties='{"instanceId" : "federation-test:us-central1:new-mysql",
    "database" : "imdb2", "type" : "MYSQL" }'
    --connection_credential='{"username":"my_username",
    "password":"my_password"}' federation-test.us.test-mysql

API

Lihat metode projects.locations.connections.patch di bagian referensi REST API, dan berikan instance connection.

Java

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.

import com.google.cloud.bigquery.connection.v1.Connection;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigquery.connection.v1.UpdateConnectionRequest;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import com.google.protobuf.FieldMask;
import com.google.protobuf.util.FieldMaskUtil;
import java.io.IOException;

// Sample to update connection
public class UpdateConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    String description = "MY_DESCRIPTION";
    Connection connection = Connection.newBuilder().setDescription(description).build();
    updateConnection(projectId, location, connectionId, connection);
  }

  static void updateConnection(
      String projectId, String location, String connectionId, Connection connection)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ConnectionName name = ConnectionName.of(projectId, location, connectionId);
      FieldMask updateMask = FieldMaskUtil.fromString("description");
      UpdateConnectionRequest request =
          UpdateConnectionRequest.newBuilder()
              .setName(name.toString())
              .setConnection(connection)
              .setUpdateMask(updateMask)
              .build();
      Connection response = client.updateConnection(request);
      System.out.println("Connection updated successfully :" + response.getDescription());
    }
  }
}

Menghapus koneksi

Pilih salah satu opsi berikut:

Konsol

Buka halaman BigQuery.

Buka BigQuery

Koneksi dicantumkan dalam project Anda, dalam grup yang disebut Koneksi eksternal.
Di panel Penjelajah, klik nama project Anda > Koneksi eksternal > koneksi.
Di panel Detail, klik Hapus untuk menghapus koneksi.
Di kotak dialog Hapus koneksi?, masukkan delete untuk mengonfirmasi penghapusan.
Klik Delete.

bq

Masukkan perintah bq rm dan berikan flag koneksi: --connection. connection_id yang sepenuhnya memenuhi syarat wajib diisi.

bq rm --connection PROJECT_ID.REGION.CONNECTION_ID

Ganti kode berikut:

PROJECT_ID: ID project Google Cloud Anda
REGION: region koneksi
CONNECTION_ID: ID koneksi

API

Lihat metode projects.locations.connections.delete di bagian referensi REST API.

Java

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.

import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigquery.connection.v1.DeleteConnectionRequest;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import java.io.IOException;

// Sample to delete a connection
public class DeleteConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionName = "MY_CONNECTION_NAME";
    deleteConnection(projectId, location, connectionName);
  }

  static void deleteConnection(String projectId, String location, String connectionName)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ConnectionName name = ConnectionName.of(projectId, location, connectionName);
      DeleteConnectionRequest request =
          DeleteConnectionRequest.newBuilder().setName(name.toString()).build();
      client.deleteConnection(request);
      System.out.println("Connection deleted successfully");
    }
  }
}

Langkah selanjutnya

Pelajari cara menggunakan fungsi jarak jauh.
Pelajari cara menggunakan prosedur tersimpan untuk Apache Spark.

Mengelola koneksi

Sebelum memulai

Peran yang diperlukan

Izin yang diperlukan

Buat daftar semua koneksi

Konsol

bq

API

Java

Melihat detail koneksi

Konsol

bq

API

Java

Berbagi koneksi dengan pengguna

Konsol

bq

API

Java

Mengedit koneksi

Konsol

bq

API

Java

Menghapus koneksi

Konsol

bq

API

Java

Langkah selanjutnya