Cloud Storage to Cloud Spanner 템플릿

서버리스 Dataproc Cloud Storage to Spanner 템플릿을 사용하여 Cloud Storage에서 Spanner로 데이터를 추출하세요.

템플릿 사용하기

gcloud CLI 또는 Dataproc API를 사용해서 템플릿을 실행합니다.

gcloud

아래의 명령어 데이터를 사용하기 전에 다음을 바꿉니다.

PROJECT_ID: 필수. IAM 설정에 나열된 Google Cloud 프로젝트 ID입니다.
REGION: 필수. Compute Engine 리전입니다.
SUBNET: 선택사항. 서브넷이 지정되지 않은 경우 default 네트워크의 지정된 리전에 있는 서브넷이 선택됩니다.
예시: projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
TEMPLATE_VERSION: 필수. 최신 템플릿 버전 또는 특정 버전의 날짜로 latest를 지정합니다(예: 2023-03-17_v0.1.0-beta). 사용 가능한 템플릿 버전을 나열하려면 gs://dataproc-templates-binaries를 방문하거나 gsutil ls gs://dataproc-templates-binaries를 실행하세요.
CLOUD_STORAGE_INPUT_PATH: (필수) 입력 데이터를 읽을 Cloud Storage 경로입니다.
예시: gs://example-bucket/example-folder/
FORMAT: (필수) 입력 데이터 형식입니다. 옵션: avro, parquet, orc. 참고: avro의 경우 'file:///usr/lib/spark/external/spark-avro.jar'을 jars gcloud CLI 플래그 또는 API 필드에 추가해야 합니다.
예시(file:// 접두사는 Dataproc Serverless jar 파일을 참조):
--jars=file:///usr/lib/spark/external/spark-avro.jar, [ ... 기타 jar]
INSTANCE: (필수) Spanner 인스턴스 ID입니다.
DATABASE: 필수. Spanner 데이터베이스 ID입니다.
TABLE: 필수. Spanner 출력 테이블 이름입니다.
MODE: 선택사항. Spanner 출력의 쓰기 모드입니다. 옵션: Append, Overwrite, Ignore, ErrorifExists. 기본값은 ErrorifExists입니다.
PRIMARY_KEY: 필수. Spanner 출력 테이블을 만들 때 필요한 쉼표로 구분된 기본 키 열입니다.
BATCHSIZE: (선택사항) 한 번의 왕복으로 Spanner 테이블에 삽입할 레코드 수입니다. 기본값은 1000입니다.
SERVICE_ACCOUNT: 선택사항. 입력하지 않으면 기본 Compute Engine 서비스 계정이 사용됩니다.
PROPERTY 및 PROPERTY_VALUE: 선택사항. Spark 속성=value 쌍의 쉼표로 구분된 목록입니다.
LABEL 및 LABEL_VALUE: (선택사항) label=value 쌍의 쉼표로 구분된 목록입니다.
LOG_LEVEL: 선택사항. 로깅 수준입니다. ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN 중 하나일 수 있습니다. 기본값은 INFO입니다.
KMS_KEY: 선택사항. 암호화에 사용할 Cloud Key Management Service 키입니다. 키를 지정하지 않으면 Google 관리 키를 사용하여 데이터가 저장 상태에서 암호화됩니다.
예시: projects/PROJECT_ID/regions/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

다음 명령어를 실행합니다.

Linux, macOS 또는 Cloud Shell

gcloud dataproc batches submit spark \
    --class=com.google.cloud.dataproc.templates.main.DataProcTemplate \
    --version="1.1" \
    --project="PROJECT_ID" \
    --region="REGION" \
    --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar" \
    --subnet="SUBNET" \
    --kms-key="KMS_KEY" \
    --service-account="SERVICE_ACCOUNT" \
    --properties="PROPERTY=PROPERTY_VALUE" \
    --labels="LABEL=LABEL_VALUE" \
    -- --template GCSTOSPANNER \
    --templateProperty log.level="LOG_LEVEL" \
    --templateProperty project.id="PROJECT_ID" \
    --templateProperty gcs.spanner.input.format="FORMAT" \
    --templateProperty gcs.spanner.input.location="CLOUD_STORAGE_INPUT_PATH" \
    --templateProperty gcs.spanner.output.instance="INSTANCE" \
    --templateProperty gcs.spanner.output.database="DATABASE" \
    --templateProperty gcs.spanner.output.table="TABLE" \
    --templateProperty gcs.spanner.output.saveMode="MODE" \
    --templateProperty gcs.spanner.output.primaryKey="PRIMARY_KEY" \
    --templateProperty gcs.spanner.output.batchInsertSize="BATCHSIZE"

Windows(PowerShell)

gcloud dataproc batches submit spark `
    --class=com.google.cloud.dataproc.templates.main.DataProcTemplate `
    --version="1.1" `
    --project="PROJECT_ID" `
    --region="REGION" `
    --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar" `
    --subnet="SUBNET" `
    --kms-key="KMS_KEY" `
    --service-account="SERVICE_ACCOUNT" `
    --properties="PROPERTY=PROPERTY_VALUE" `
    --labels="LABEL=LABEL_VALUE" `
    -- --template GCSTOSPANNER `
    --templateProperty log.level="LOG_LEVEL" `
    --templateProperty project.id="PROJECT_ID" `
    --templateProperty gcs.spanner.input.format="FORMAT" `
    --templateProperty gcs.spanner.input.location="CLOUD_STORAGE_INPUT_PATH" `
    --templateProperty gcs.spanner.output.instance="INSTANCE" `
    --templateProperty gcs.spanner.output.database="DATABASE" `
    --templateProperty gcs.spanner.output.table="TABLE" `
    --templateProperty gcs.spanner.output.saveMode="MODE" `
    --templateProperty gcs.spanner.output.primaryKey="PRIMARY_KEY" `
    --templateProperty gcs.spanner.output.batchInsertSize="BATCHSIZE"

Windows(cmd.exe)

gcloud dataproc batches submit spark ^
    --class=com.google.cloud.dataproc.templates.main.DataProcTemplate ^
    --version="1.1" ^
    --project="PROJECT_ID" ^
    --region="REGION" ^
    --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar" ^
    --subnet="SUBNET" ^
    --kms-key="KMS_KEY" ^
    --service-account="SERVICE_ACCOUNT" ^
    --properties="PROPERTY=PROPERTY_VALUE" ^
    --labels="LABEL=LABEL_VALUE" ^
    -- --template GCSTOSPANNER ^
    --templateProperty log.level="LOG_LEVEL" ^
    --templateProperty project.id="PROJECT_ID" ^
    --templateProperty gcs.spanner.input.format="FORMAT" ^
    --templateProperty gcs.spanner.input.location="CLOUD_STORAGE_INPUT_PATH" ^
    --templateProperty gcs.spanner.output.instance="INSTANCE" ^
    --templateProperty gcs.spanner.output.database="DATABASE" ^
    --templateProperty gcs.spanner.output.table="TABLE" ^
    --templateProperty gcs.spanner.output.saveMode="MODE" ^
    --templateProperty gcs.spanner.output.primaryKey="PRIMARY_KEY" ^
    --templateProperty gcs.spanner.output.batchInsertSize="BATCHSIZE"

REST

요청 데이터를 사용하기 전에 다음을 바꿉니다.

PROJECT_ID: 필수. IAM 설정에 나열된 Google Cloud 프로젝트 ID입니다.
REGION: 필수. Compute Engine 리전입니다.
SUBNET: 선택사항. 서브넷이 지정되지 않은 경우 default 네트워크의 지정된 리전에 있는 서브넷이 선택됩니다.
예시: projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
TEMPLATE_VERSION: 필수. 최신 템플릿 버전 또는 특정 버전의 날짜로 latest를 지정합니다(예: 2023-03-17_v0.1.0-beta). 사용 가능한 템플릿 버전을 나열하려면 gs://dataproc-templates-binaries를 방문하거나 gsutil ls gs://dataproc-templates-binaries를 실행하세요.
CLOUD_STORAGE_INPUT_PATH: (필수) 입력 데이터를 읽을 Cloud Storage 경로입니다.
예시: gs://example-bucket/example-folder/
FORMAT: (필수) 입력 데이터 형식입니다. 옵션: avro, parquet, orc. 참고: avro의 경우 'file:///usr/lib/spark/external/spark-avro.jar'을 jars gcloud CLI 플래그 또는 API 필드에 추가해야 합니다.
예시(file:// 접두사는 Dataproc Serverless jar 파일을 참조):
--jars=file:///usr/lib/spark/external/spark-avro.jar, [ ... 기타 jar]
INSTANCE: (필수) Spanner 인스턴스 ID입니다.
DATABASE: 필수. Spanner 데이터베이스 ID입니다.
TABLE: 필수. Spanner 출력 테이블 이름입니다.
MODE: 선택사항. Spanner 출력의 쓰기 모드입니다. 옵션: Append, Overwrite, Ignore, ErrorifExists. 기본값은 ErrorifExists입니다.
PRIMARY_KEY: 필수. Spanner 출력 테이블을 만들 때 필요한 쉼표로 구분된 기본 키 열입니다.
BATCHSIZE: (선택사항) 한 번의 왕복으로 Spanner 테이블에 삽입할 레코드 수입니다. 기본값은 1000입니다.
SERVICE_ACCOUNT: 선택사항. 입력하지 않으면 기본 Compute Engine 서비스 계정이 사용됩니다.
PROPERTY 및 PROPERTY_VALUE: 선택사항. Spark 속성=value 쌍의 쉼표로 구분된 목록입니다.
LABEL 및 LABEL_VALUE: (선택사항) label=value 쌍의 쉼표로 구분된 목록입니다.
LOG_LEVEL: 선택사항. 로깅 수준입니다. ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN 중 하나일 수 있습니다. 기본값은 INFO입니다.
KMS_KEY: 선택사항. 암호화에 사용할 Cloud Key Management Service 키입니다. 키를 지정하지 않으면 Google 관리 키를 사용하여 데이터가 저장 상태에서 암호화됩니다.
예시: projects/PROJECT_ID/regions/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

HTTP 메서드 및 URL:

POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches

JSON 요청 본문:


{
  "environmentConfig":{
    "executionConfig":{
      "subnetworkUri":"SUBNET",
      "kmsKey": "KMS_KEY",
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  },
  "labels": {
    "LABEL": "LABEL_VALUE"
  },
  "runtimeConfig": {
    "version": "1.1",
    "properties": {
      "PROPERTY": "PROPERTY_VALUE"
    }
  },
  "sparkBatch": {
    "mainClass": "com.google.cloud.dataproc.templates.main.DataProcTemplate",
    "args": [
      "--template","GCSTOSPANNER",
      "--templateProperty","project.id=PROJECT_ID",
      "--templateProperty","log.level=LOG_LEVEL",
      "--templateProperty","gcs.spanner.input.format=FORMAT",
      "--templateProperty","gcs.spanner.input.location=CLOUD_STORAGE_INPUT_PATH",
      "--templateProperty","gcs.spanner.output.instance=INSTANCE",
      "--templateProperty","gcs.spanner.output.database=DATABASE",
      "--templateProperty","gcs.spanner.output.table=TABLE",
      "--templateProperty","gcs.spanner.output.saveMode=MODE",
      "--templateProperty","gcs.spanner.output.primaryKey=PRIMARY_KEY",
      "--templateProperty","gcs.spanner.output.batchInsertSize=BATCHSIZE"
    ],
    "jarFileUris":[
      "gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar"
    ]
  }
}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS, Cloud Shell)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하거나 gcloud CLI에 자동으로 로그인하는 Cloud Shell을 사용하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches"

PowerShell(Windows)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches" | Select-Object -Expand Content

다음과 비슷한 JSON 응답이 표시됩니다.


{
  "name": "projects/PROJECT_ID/regions/REGION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.dataproc.v1.BatchOperationMetadata",
    "batch": "projects/PROJECT_ID/locations/REGION/batches/BATCH_ID",
    "batchUuid": "de8af8d4-3599-4a7c-915c-798201ed1583",
    "createTime": "2023-02-24T03:31:03.440329Z",
    "operationType": "BATCH",
    "description": "Batch"
  }
}