Oracle 전송 예약

Oracle용 BigQuery Data Transfer Service 커넥터를 사용하면 Oracle에서 BigQuery로 로드하는 반복 작업을 자동으로 예약하고 관리할 수 있습니다.

제한사항

Oracle 전송에는 다음과 같은 제한사항이 적용됩니다.

  • Oracle 데이터베이스에 대한 최대 동시 연결 수가 제한되어 있으므로 단일 Oracle 데이터베이스에 대한 동시 전송 실행 수는 해당 최대 수로 제한됩니다.
  • Oracle 데이터베이스 연결에 공개 IP를 사용할 수 없는 경우 다음 요구사항에 따라 네트워크 연결을 설정해야 합니다.
    • 네트워크 연결이 있는 서브넷에서 데이터 소스에 액세스할 수 있어야 합니다.
    • 네트워크 연결은 240.0.0.0/24 범위 내의 서브넷에 있지 않아야 합니다.
    • 연결에 대한 활성 연결이 있으면 네트워크 연결을 삭제할 수 없습니다. 네트워크 연결을 삭제하려면 Cloud Customer Care에 문의하세요.
    • us 멀티 리전의 경우 네트워크 연결은 us-central1 리전에 있어야 합니다. eu 멀티 리전의 경우 네트워크 연결은 europe-west4 리전에 있어야 합니다.
  • Google Cloud 콘솔은 NORMAL Oracle 사용자 역할을 사용하여 Oracle을 BigQuery Data Transfer Service에 연결할 수 있도록 지원합니다. BigQuery CLI를 사용하여 SYSDBA 및 SYSOPER Oracle 사용자 역할로 연결해야 합니다.
  • 반복 Oracle 전송 사이의 최소 간격은 15분입니다. 반복 전송의 기본 간격은 24시간입니다.

시작하기 전에

다음 섹션에서는 Oracle 전송을 만들기 전에 수행해야 하는 단계를 설명합니다.

Oracle 기본 요건

Oracle 전송을 만들 때 다음 Oracle 데이터베이스 정보도 있어야 합니다.

매개변수 이름 설명
database 데이터베이스 이름입니다.
host

데이터베이스의 호스트 이름 또는 IP 주소입니다.
port

데이터베이스의 포트 번호입니다.
username

데이터베이스에 액세스할 사용자 이름입니다.
password

데이터베이스에 액세스할 비밀번호입니다.
connectionType

연결 유형입니다. 이 값은 SERVICE, SID 또는 TNS입니다.

oracleObjects

전송할 Oracle 객체 목록입니다.

BigQuery 기본 요건

필요한 BigQuery 역할

전송을 만드는 데 필요한 권한을 얻으려면 관리자에게 BigQuery 관리자(roles/bigquery.admin) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이 사전 정의된 역할에는 전송을 만드는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

전송을 만들려면 다음 권한이 필요합니다.

  • 사용자에 대한 bigquery.transfers.update
  • 대상 데이터 세트에 대한 bigquery.datasets.get
  • 대상 데이터 세트에 대한 bigquery.datasets.update

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

Oracle 데이터 전송 설정

다음 옵션 중 하나를 선택합니다.

콘솔

  1. Google Cloud 콘솔의 데이터 전송 페이지로 이동합니다.

    데이터 전송으로 이동

  2. 전송 만들기를 클릭합니다.

  3. 소스 유형 섹션의 소스에서 Oracle을 선택합니다.

  4. 데이터 소스 세부정보 섹션에서 다음을 수행합니다.

    • 네트워크 연결의 경우 기존 네트워크 연결을 선택하거나 네트워크 연결 만들기를 클릭합니다.
    • 호스트의 경우 데이터베이스의 호스트 이름 또는 IP를 입력합니다.
    • 포트의 경우 Oracle 데이터베이스가 수신 연결에 사용하는 포트 번호를 입력합니다(예: 1520).
    • 데이터베이스 이름의 경우 Oracle 데이터베이스 이름을 입력합니다.
    • 연결 유형에는 연결 URL 유형(SERVICE, SID 또는 TNS)을 입력합니다.
    • 사용자 이름에 Oracle 데이터베이스 연결을 시작하는 사용자의 사용자 이름을 입력합니다.
    • 비밀번호에 Oracle 데이터베이스 연결을 시작하는 사용자의 비밀번호를 입력합니다.

    • 전송할 Oracle 객체에서 찾아보기를 클릭하여 BigQuery 대상 데이터 세트로 전송할 테이블을 선택합니다.

      • 데이터 전송에 포함할 객체를 이 필드에 직접 입력할 수도 있습니다.

      Oracle 전송 구성 설정

  5. 대상 설정 섹션의 데이터 세트에 데이터를 저장하기 위해 만든 데이터 세트를 선택합니다.

  6. 전송 구성 이름 섹션의 표시 이름에 데이터 전송 이름을 입력합니다.

  7. 일정 옵션 섹션에서 다음을 수행합니다.

    • 반복 빈도 목록에서 이 데이터 전송 실행 빈도를 지정하는 옵션을 선택합니다. 커스텀 반복 빈도를 지정하려면 커스텀을 선택합니다. 주문형을 선택하면 이 전송은 수동으로 전송을 트리거할 때 실행됩니다.

    • 해당하는 경우 지금 시작 또는 설정 시간에 시작을 선택하고 시작 날짜와 실행 시간을 제공합니다.

  8. 서비스 계정 메뉴에서 Google Cloud 프로젝트와 연결된 서비스 계정을 선택합니다. 선택한 서비스 계정에는 이 데이터 전송을 실행하는 데 필요한 역할이 있어야 합니다.

    제휴 ID로 로그인한 경우 서비스 계정이 데이터 전송을 만드는 데 필요합니다. Google 계정으로 로그인한 경우 전송에 사용되는 서비스 계정은 선택사항입니다.

    데이터 전송에서 서비스 계정을 사용하는 방법에 대한 자세한 내용은 서비스 계정 사용을 참조하세요.

  9. 선택사항: 알림 옵션 섹션에서 다음을 수행합니다.

    • 이메일 알림을 사용 설정하려면 이메일 알림 전환 버튼을 클릭합니다. 이 옵션을 사용 설정하면 전송 실행이 실패할 때 전송 관리자에게 이메일 알림이 발송됩니다.
    • 이 전송에 Pub/Sub 전송 실행 알림을 사용 설정하려면 Pub/Sub 알림 전환 버튼을 클릭합니다. 주제 이름을 선택하거나 주제 만들기를 클릭하여 주제를 만들 수 있습니다.

  10. 저장을 클릭합니다.

bq

bq mk 명령어를 입력하고 전송 생성 플래그 --transfer_config를 지정합니다.

bq mk \
    --transfer_config \
    --project_id=PROJECT_ID \
    --data_source=DATA_SOURCE \
    --display_name=DISPLAY_NAME \
    --target_dataset=DATASET \
    --params='PARAMETERS'

각 항목의 의미는 다음과 같습니다.

  • PROJECT_ID(선택사항): Google Cloud 프로젝트 ID입니다. 특정 프로젝트를 지정하는 --project_id가 입력되지 않으면 기본 프로젝트가 사용됩니다.
  • DATA_SOURCE: 데이터 소스 — oracle입니다.
  • DISPLAY_NAME: 전송 구성의 표시 이름입니다. 데이터 전송 이름은 나중에 수정해야 할 경우를 대비해 간편하게 전송을 식별할 수 있는 값이면 됩니다.
  • DATASET. 전송 구성의 대상 데이터 세트입니다.

  • PARAMETERS: JSON 형식으로 생성된 전송 구성의 매개변수입니다. 예를 들면 --params='{"param":"param_value"}'입니다. 다음은 Oracle 데이터 전송을 위한 파라미터입니다.

    • connector.networkAttachment(선택사항): Oracle 데이터베이스에 연결할 네트워크 연결의 이름입니다.
    • connector.authentication.Username: Oracle 계정의 사용자 이름입니다.
    • connector.authentication.Password: Oracle 계정의 비밀번호입니다.
    • connector.database: Oracle 데이터베이스의 이름입니다.
    • connector.endpoint.host: 데이터베이스의 호스트 이름 또는 IP입니다.
    • connector.endpoint.port: Oracle 데이터베이스가 수신 연결에 사용하는 포트 번호(예: 1520)입니다.
    • connector.connectionType: 연결 URL 유형(SERVICE, SID 또는 TNS)입니다.
    • assets: DATABASE_NAME/SCHEMA_NAME/TABLE_NAME 형식을 사용하여 BigQuery로 전송할 Oracle 객체의 경로입니다.

예를 들어 다음 명령어는 필요한 모든 매개 변수를 사용하여 기본 프로젝트에서 Oracle 데이터 전송을 생성합니다.

bq mk \
    --transfer_config \
    --target_dataset=mydataset \
    --data_source=oracle \
    --display_name='My Transfer' \
    --params='{"assets":["DB1/USER1/DEPARTMENT","DB1/USER1/EMPLOYEES"], \
        "connector.authentication.username": "User1", \
        "connector.authentication.password":"ABC12345", \
        "connector.database":"DB1", \
        "Connector.endpoint.host":"192.168.0.1", \
        "Connector.endpoint.port":"1520", \
        "connector.connectionType":"SERVICE", \
        "connector.networkAttachment": \
        "projects/dev-project1/regions/us-central1/networkattachments/na1"}'

API

projects.locations.transferConfigs.create 메서드를 사용하고 TransferConfig 리소스의 인스턴스를 지정합니다.

데이터 유형 매핑

다음 표는 Oracle 데이터 유형을 상응하는 BigQuery 데이터 유형에 매핑합니다.

Oracle 데이터 유형 BigQuery 데이터 유형
BFILE BYTES
BINARY_DOUBLE FLOAT
BINARY_FLOAT FLOAT
BLOB BYTES
CHAR STRING
CLOB STRING
DATE DATETIME
FLOAT FLOAT
INTERVAL DAY TO SECOND STRING
INTERVAL YEAR TO MONTH STRING
LONG STRING
LONG RAW BYTES
NCHAR STRING
NCLOB STRING
NUMBER (without precision and scale) STRING
NUMBER (with precision and scale) NUMERIC
NVARCHAR2 STRING
RAW BYTES
ROWID STRING
TIMESTAMP DATETIME
TIMESTAMP WITH LOCAL TIME ZONE DATETIME
TIMESTAMP WITH TIME ZONE TIMESTAMP
UROWID STRING
VARCHAR STRING
VARCHAR2 STRING

전송 설정 문제 해결

데이터 전송을 설정하는 데 문제가 있으면 Oracle 전송 문제를 참조하세요.

가격 책정

이 기능이 미리보기 상태인 동안에는 Oracle 데이터를 BigQuery로 전송하는 데 비용이 들지 않습니다.

다음 단계