연결 관리

이 문서에서는 BigQuery 연결을 확인, 나열, 공유, 수정, 삭제하고 문제를 해결하는 방법을 설명합니다.

BigQuery 관리자는 서비스 및 외부 데이터 소스에 연결하는 데 사용되는 연결을 만들고 관리할 수 있습니다. BigQuery 분석가는 BigQuery로 데이터를 이동하거나 복사하지 않고도 이러한 연결을 사용하여 외부 데이터 소스에 대해 쿼리를 제출할 수 있습니다. 만들 수 있는 연결 유형은 다음과 같습니다.

Amazon S3 연결
Apache Spark 연결
Blob Storage 연결
Cloud Storage 데이터에 연결하고 원격 함수를 구현하기 위한 Cloud 리소스 연결
Spanner 연결
Cloud SQL 연결

시작하기 전에

BigQuery Connection API 사용 설정하기

API 사용 설정하기
프로젝트의 서비스 계정 목록을 볼 수 있는지 확인합니다. BigQuery는 서비스 계정을 만들고 사용하여 외부 데이터 소스에 연결합니다. 연결을 만들면 Google Cloud 관리 Identity and Access Management(IAM) 서비스 계정이 자동으로 생성됩니다. 특정 연결에 연결된 서비스 계정을 보려면 연결 세부정보를 확인합니다.

필요한 역할

연결을 관리하는 데 필요한 권한을 얻으려면 관리자에게 다음의 IAM 역할을 부여해 달라고 요청하세요.

연결 세부정보 보기: 데이터 세트의 BigQuery 연결 사용자(roles/bigquery.connectionUser)
모든 연결 나열: 데이터 세트의 BigQuery 연결 사용자(roles/bigquery.connectionUser)
연결 공유: 연결에 대한 BigQuery 연결 관리자(roles/bigquery.connectionAdmin)
연결 수정: 연결에 대한 BigQuery 연결 관리자(roles/bigquery.connectionAdmin)
연결 삭제: 연결에 대한 BigQuery 연결 관리자(roles/bigquery.connectionAdmin)

역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

이러한 사전 정의된 역할에는 이 문서의 작업을 수행하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 확장하세요.

필수 권한

연결 세부정보 보기: bigquery.connections.get
모든 연결 나열: bigquery.connections.list
연결 수정 및 삭제: bigquery.connections.update
연결 공유: bigquery.connections.setIamPolicy

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

모든 연결 나열

다음 옵션 중 하나를 선택합니다.

콘솔

BigQuery 페이지로 이동합니다.

BigQuery로 이동

이러한 연결은 프로젝트의 외부 연결 그룹에 나열됩니다.
탐색기 창에서 프로젝트 이름 > 외부 연결을 클릭하면 모든 연결 목록이 표시됩니다.

bq

bq ls 명령어를 입력하고 --connection 플래그를 지정합니다. 선택적으로 나열할 연결 위치 및 프로젝트를 식별하기 위해 --project_id 및 --location 플래그를 지정합니다.

bq ls --connection --project_id=PROJECT_ID --location=REGION

다음을 바꿉니다.

PROJECT_ID: Google Cloud 프로젝트 ID
REGION: 연결 리전

API

REST API 참조 섹션에서 projects.locations.connections.list 메서드를 사용합니다.

자바

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.

import com.google.cloud.bigquery.connection.v1.ListConnectionsRequest;
import com.google.cloud.bigquery.connection.v1.LocationName;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import java.io.IOException;

// Sample to get list of connections
public class ListConnections {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    listConnections(projectId, location);
  }

  static void listConnections(String projectId, String location) throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      LocationName parent = LocationName.of(projectId, location);
      int pageSize = 10;
      ListConnectionsRequest request =
          ListConnectionsRequest.newBuilder()
              .setParent(parent.toString())
              .setPageSize(pageSize)
              .build();
      client
          .listConnections(request)
          .iterateAll()
          .forEach(con -> System.out.println("Connection Id :" + con.getName()));
    }
  }
}

연결 세부정보 보기

연결을 만든 후에는 연결의 구성에 대한 정보를 가져올 수 있습니다. 구성에는 전송을 만들 때 사용자가 입력한 값이 포함됩니다.

다음 옵션 중 하나를 선택합니다.

콘솔

BigQuery 페이지로 이동합니다.

BigQuery로 이동

연결은 프로젝트의 외부 연결 그룹에 나열됩니다.
탐색기 창에서 프로젝트 이름 > 외부 연결 > 연결을 클릭합니다.

bq

bq show 명령어를 입력하고 --connection 플래그를 지정합니다. 선택적으로 연결 ID를 해당 연결의 프로젝트 ID 및 리전과 연결합니다.

bq show --connection PROJECT_ID.REGION.CONNECTION_ID

다음을 바꿉니다.

PROJECT_ID: Google Cloud 프로젝트 ID
REGION: 연결 리전
CONNECTION_I: 연결 ID

API

REST API 참조 섹션에서 projects.locations.connections.get 메서드를 사용합니다.

자바

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.

import com.google.cloud.bigquery.connection.v1.Connection;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigquery.connection.v1.GetConnectionRequest;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import java.io.IOException;

// Sample to get connection
public class GetConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    getConnection(projectId, location, connectionId);
  }

  static void getConnection(String projectId, String location, String connectionId)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ConnectionName name = ConnectionName.of(projectId, location, connectionId);
      GetConnectionRequest request =
          GetConnectionRequest.newBuilder().setName(name.toString()).build();
      Connection response = client.getConnection(request);
      System.out.println("Connection info retrieved successfully :" + response.getName());
    }
  }
}

데이터를 쿼리하고 연결을 관리할 수 있도록 사용자에게 다음 역할을 부여할 수 있습니다.

roles/bigquery.connectionUser: 사용자가 연결을 사용하여 외부 데이터 소스에 연결하고 쿼리를 실행할 수 있습니다.
roles/bigquery.connectionAdmin: 사용자가 연결을 관리할 수 있습니다.

BigQuery의 IAM 역할과 권한에 대한 자세한 내용은 사전 정의된 역할 및 권한을 참조하세요.

다음 옵션 중 하나를 선택합니다.

콘솔

BigQuery 페이지로 이동합니다.

BigQuery로 이동

이러한 연결은 프로젝트의 외부 연결 그룹에 나열됩니다.
탐색기 창에서 프로젝트 이름 > 외부 연결 > 연결을 클릭합니다.
세부정보 창에서 공유를 클릭하여 연결을 공유합니다. 다음 작업을 수행합니다.
1. 연결 권한 대화상자에서 주 구성원을 추가하거나 수정하여 다른 주 구성원과 연결을 공유합니다.
2. 저장을 클릭합니다.

bq

bq 명령줄 도구로 연결을 공유할 수 없습니다. 연결을 공유하려면 Google Cloud 콘솔 또는 BigQuery Connections API 메서드를 사용하여 연결을 공유합니다.

API

BigQuery 연결 REST API 참조 섹션의 projects.locations.connections.setIAM 메서드를 사용하고 policy 리소스의 인스턴스를 지정합니다.

Java

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.

import com.google.api.resourcenames.ResourceName;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import com.google.iam.v1.Binding;
import com.google.iam.v1.Policy;
import com.google.iam.v1.SetIamPolicyRequest;
import java.io.IOException;

// Sample to share connections
public class ShareConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    shareConnection(projectId, location, connectionId);
  }

  static void shareConnection(String projectId, String location, String connectionId)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ResourceName resource = ConnectionName.of(projectId, location, connectionId);
      Binding binding =
          Binding.newBuilder()
              .addMembers("group:example-analyst-group@google.com")
              .setRole("roles/bigquery.connectionUser")
              .build();
      Policy policy = Policy.newBuilder().addBindings(binding).build();
      SetIamPolicyRequest request =
          SetIamPolicyRequest.newBuilder()
              .setResource(resource.toString())
              .setPolicy(policy)
              .build();
      client.setIamPolicy(request);
      System.out.println("Connection shared successfully");
    }
  }
}

연결 수정

연결에는 연결을 만든 사용자의 사용자 인증 정보가 사용됩니다. 연결에 연결된 사용자를 변경해야 할 경우 사용자의 사용자 인증 정보를 업데이트할 수 있습니다. 이 기능은 연결을 만든 사용자가 조직에 더 이상 없을 때 유용합니다.

연결의 다음 요소는 수정할 수 없습니다.

연결 유형
연결 ID
위치

다음 옵션 중 하나를 선택합니다.

콘솔

BigQuery 페이지로 이동합니다.

BigQuery로 이동

이러한 연결은 프로젝트의 외부 연결 그룹에 나열됩니다.
탐색기 창에서 프로젝트 이름 > 외부 연결 > 연결을 클릭합니다.
세부정보 패널에서 세부정보를 수정하려면 세부정보 수정을 클릭합니다. 다음 작업을 수행합니다.
1. 연결 수정 대화상자에서 사용자 인증 정보를 포함한 연결 세부정보를 수정합니다.
2. 연결 업데이트를 클릭합니다.

bq

bq update 명령어를 입력하고 연결 플래그 --connection을 지정합니다. 정규화된 connection_id가 필요합니다.

  bq update --connection --connection_type='CLOUD_SQL'
      --properties='{"instanceId" : "INSTANCE",
      "database" : "DATABASE", "type" : "MYSQL" }'
      --connection_credential='{"username":"USERNAME", "password":"PASSWORD"}'
      PROJECT.REGION.CONNECTION_ID

다음을 바꿉니다.

INSTANCE: Cloud SQL 인스턴스
DATABASE: 데이터베이스 이름
USERNAME: Cloud SQL 데이터베이스의 사용자 이름
PASSWORD: Cloud SQL 데이터베이스의 비밀번호
PROJECT: Google Cloud 프로젝트 ID
REGION: 연결 리전
CONNECTION_ID: 연결 ID

예를 들어 다음 명령어는 ID federation-test 및 연결 ID test-mysql로 프로젝트에 있는 연결을 업데이트합니다.

bq update --connection --connection_type='CLOUD_SQL'
    --properties='{"instanceId" : "federation-test:us-central1:new-mysql",
    "database" : "imdb2", "type" : "MYSQL" }'
    --connection_credential='{"username":"my_username",
    "password":"my_password"}' federation-test.us.test-mysql

API

REST API 참조 섹션에서 projects.locations.connections.patch 메서드를 참조하고 connection의 인스턴스를 지정합니다.

자바

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.

import com.google.cloud.bigquery.connection.v1.Connection;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigquery.connection.v1.UpdateConnectionRequest;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import com.google.protobuf.FieldMask;
import com.google.protobuf.util.FieldMaskUtil;
import java.io.IOException;

// Sample to update connection
public class UpdateConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    String description = "MY_DESCRIPTION";
    Connection connection = Connection.newBuilder().setDescription(description).build();
    updateConnection(projectId, location, connectionId, connection);
  }

  static void updateConnection(
      String projectId, String location, String connectionId, Connection connection)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ConnectionName name = ConnectionName.of(projectId, location, connectionId);
      FieldMask updateMask = FieldMaskUtil.fromString("description");
      UpdateConnectionRequest request =
          UpdateConnectionRequest.newBuilder()
              .setName(name.toString())
              .setConnection(connection)
              .setUpdateMask(updateMask)
              .build();
      Connection response = client.updateConnection(request);
      System.out.println("Connection updated successfully :" + response.getDescription());
    }
  }
}

연결 삭제

다음 옵션 중 하나를 선택합니다.

콘솔

BigQuery 페이지로 이동합니다.

BigQuery로 이동

이러한 연결은 프로젝트의 외부 연결 그룹에 나열됩니다.
탐색기 창에서 프로젝트 이름 > 외부 연결 > 연결을 클릭합니다.
세부정보 창에서 삭제를 클릭하여 연결을 삭제합니다.
연결을 삭제할까요? 대화상자에서 삭제 확인을 위해 delete를 입력합니다.
삭제를 클릭합니다.

bq

bq rm 명령어를 입력하고 연결 플래그 --connection을 지정합니다. 정규화된 connection_id가 필요합니다.

bq rm --connection PROJECT_ID.REGION.CONNECTION_ID

다음을 바꿉니다.

PROJECT_ID: Google Cloud 프로젝트 ID
REGION: 연결 리전
CONNECTION_ID: 연결 ID

API

REST API 참조 섹션의 projects.locations.connections.delete 메서드를 참조하세요.

자바

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.

import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigquery.connection.v1.DeleteConnectionRequest;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import java.io.IOException;

// Sample to delete a connection
public class DeleteConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionName = "MY_CONNECTION_NAME";
    deleteConnection(projectId, location, connectionName);
  }

  static void deleteConnection(String projectId, String location, String connectionName)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ConnectionName name = ConnectionName.of(projectId, location, connectionName);
      DeleteConnectionRequest request =
          DeleteConnectionRequest.newBuilder().setName(name.toString()).build();
      client.deleteConnection(request);
      System.out.println("Connection deleted successfully");
    }
  }
}

다음 단계

원격 함수 사용 방법 알아보기
Apache Spark에 저장 프로시저를 사용하는 방법 알아보기

연결 관리

시작하기 전에

필요한 역할

필수 권한

모든 연결 나열

콘솔

bq

API

자바

연결 세부정보 보기

콘솔

bq

API

자바

사용자와 연결 공유

콘솔

bq

API

Java

연결 수정

콘솔

bq

API

자바

연결 삭제

콘솔

bq

API

자바

다음 단계