이 페이지에서는 전송 작업을 만들고 시작하는 방법을 보여줍니다.
소스 및 대상(싱크라고도 함)이 Storage Transfer Service에서 지원되는지 확인하려면 지원되는 소스 및 싱크를 참조하세요.
에이전트 및 에이전트 풀
소스 및 대상에 따라 에이전트 풀을 만들어 구성하고 소스 또는 대상에 대한 액세스 권한이 있는 머신에 에이전트를 설치해야 할 수도 있습니다.
Amazon S3, Microsoft Azure, URL 목록 또는 Cloud Storage에서 Cloud Storage로 전송 시 에이전트와 에이전트 풀이 필요하지 않습니다.
해당 소스 또는 대상이 파일 시스템이거나 S3 호환 스토리지의 전송은 에이전트 및 에이전트 풀이 필요하지 않습니다. 자세한 내용은 에이전트 풀 관리를 참조하세요.
시작하기 전에
전송을 구성하기 전에 다음에 대한 액세스를 구성했는지 확인하세요.
- 사용자 및 서비스 계정:
- 소스 데이터 및 대상
gcloud 명령어를 사용하는 경우 gcloud CLI를 설치합니다.
전송 만들기
전송 작업 이름에 개인 식별 정보(PII) 또는 보안 데이터와 같은 민감한 정보를 포함하지 마세요. 리소스 이름은 다른 Google Cloud 리소스의 이름으로 전파될 수 있으며 프로젝트 외부의 Google 내부 시스템에 노출될 수 있습니다.
Google Cloud 콘솔
Google Cloud 콘솔의 Storage Transfer Service 페이지로 이동합니다.
전송 작업 만들기를 클릭합니다. 전송 작업 만들기 페이지가 표시됩니다.
소스를 선택합니다.
Cloud Storage
소스 계정과 대상 버킷을 선택하려면 사용자 계정에 storage.buckets.get 권한이 있어야 합니다. 또는 버킷 이름을 직접 입력할 수 있습니다. 자세한 내용은 액세스 문제 해결을 참조하세요.
소스 유형에서 Cloud Storage를 선택합니다.
대상 유형을 선택합니다.
대상이 Cloud Storage인 경우 예약 모드를 선택합니다. 일괄 전송은 일회성 또는 예약된 방식으로 실행됩니다. 이벤트 기반 전송은 소스가 추가되거나 수정될 때 소스를 지속적으로 모니터링하고 전송합니다.
이벤트 기반 전송을 구성하려면 이벤트 기반 전송의 안내를 따르세요.
다음 단계를 클릭합니다.
다음 중 하나를 수행하여 버킷과 해당 버킷의 폴더(선택사항)를 선택합니다.
버킷 또는 폴더 필드에 프리픽스
gs://없이 기존 Cloud Storage 버킷 이름과 경로를 입력합니다. 예를 들면my-test-bucket/path/to/files입니다. 다른 프로젝트의 Cloud Storage 버킷을 지정하려면 버킷 이름 필드에 이름을 정확하게 입력합니다.찾아보기를 클릭한 후 버킷을 선택하여 프로젝트의 기존 버킷 목록을 선택합니다.
찾아보기를 클릭할 때 프로젝트 ID를 클릭하고 새 프로젝트 ID와 버킷을 선택하여 다른 프로젝트에서 버킷을 선택할 수 있습니다.
새 버킷을 만들려면
새 버킷 만들기를 클릭합니다.
이벤트 기반 전송인 경우 다음 형식으로 Pub/Sub 구독 이름을 입력합니다.
projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID
- 원하는 경우 프리픽스를 기준으로 객체를 필터링하거나 최종 수정 날짜를 기준으로 객체를 필터링하도록 선택합니다. 폴더를 소스 위치로 지정한 경우 프리픽스 필터는 해당 폴더를 기준으로 합니다. 예를 들어 소스가
my-test-bucket/path/인 경우file의 포함 필터는my-test-bucket/path/file로 시작하는 모든 파일을 포함합니다. 다음 단계를 클릭합니다.
Amazon S3
소스 유형에서 Amazon S3를 선택합니다.
대상 유형으로 Google Cloud Storage를 선택합니다.
예약 모드를 선택합니다. 일괄 전송은 일회성 또는 예약된 방식으로 실행됩니다. 이벤트 기반 전송은 소스가 추가되거나 수정될 때 소스를 지속적으로 모니터링하고 전송합니다.
이벤트 기반 전송을 구성하려면 이벤트 기반 전송의 안내를 따르세요.
다음 단계를 클릭합니다.
버킷 또는 폴더 이름 필드에 소스 버킷 이름을 입력합니다.
버킷 이름은 AWS 관리 콘솔에 나타나는 이름입니다.
S3에서 CloudFront 배포를 사용하여 전송하는 경우 CloudFront domain 필드에 배포 도메인 이름을 입력하세요. 예를 들면
https://dy1h2n3l4ob56.cloudfront.net입니다. CloudFront 배포를 구성하려면 CloudFront를 통해 S3에서 전송을 참조하세요.Amazon Web Services(AWS) 인증 방법을 선택합니다. ID 제휴를 위해 AWS 액세스 키 또는 Amazon 리소스 이름(ARN)을 제공할 수 있습니다.
액세스 키: 액세스 키 ID 필드에 액세스 키를 입력하고 보안 비밀 액세스 키 필드에 액세스 키와 연관된 보안 비밀을 입력합니다.
ARN: 다음 구문을 사용해서 AWS IAM 역할 ARN 필드에 ARN을 입력합니다.
arn:aws:iam::ACCOUNT:role/ROLE-NAME-WITH-PATH
각 항목의 의미는 다음과 같습니다.
ACCOUNT: 하이픈이 없는 AWS 계정 ID입니다.ROLE-NAME-WITH-PATH: 경로가 포함된 AWS 역할 이름입니다.
ARN에 관한 자세한 내용은 IAM ARN을 참조하세요.
이벤트 기반 전송인 경우 다음 형식을 사용하는 Amazon SQS 큐 ARN을 입력합니다.
arn:aws:sqs:us-east-1:1234567890:event-queue
- 원하는 경우 프리픽스를 기준으로 객체를 필터링하거나 최종 수정 날짜를 기준으로 객체를 필터링하도록 선택합니다. 폴더를 소스 위치로 지정한 경우 프리픽스 필터는 해당 폴더를 기준으로 합니다. 예를 들어 소스가
my-test-bucket/path/인 경우file의 포함 필터는my-test-bucket/path/file로 시작하는 모든 파일을 포함합니다. 다음 단계를 클릭합니다.
S3 호환 스토리지
소스 유형에서 S3 호환 객체 스토리지를 선택합니다.
다음 단계를 클릭합니다.
이 전송에 필요한 정보를 지정합니다.
이 전송에 대해 구성한 에이전트 풀을 선택합니다.
엔드포인트를 기준으로 버킷 이름을 입력합니다. 예를 들어 데이터가 다음 위치에 있는 경우:
https://us-east-1.example.com/folder1/bucket_afolder1/bucket_a입력엔드포인트를 입력합니다. 프로토콜(
http://또는https://)을 포함하지 마세요. 이전 단계의 예시의 경우 다음과 같이 입력합니다.us-east-1.example.com
이 전송의 선택적 속성을 지정합니다.
요청 서명에 사용할 서명 리전을 입력합니다. 소스에 서명 리전이 필요하지 않으면 이 필드를 비워 둡니다.
이 요청에 대한 서명 프로세스를 선택합니다.
주소 지정 스타일을 선택합니다. 이에 따라 버킷 이름이 경로 스타일로 제공되는지 여부(예:
https://s3.region.example.com/bucket-name/key-name) 또는 가상 호스팅 스타일(예:https://bucket-name.s3.region.example.com/key-name)입니다. 자세한 내용은 Amazon 문서의 [Virtual hosting of buckets]를 참조하세요.네트워크 프로토콜을 선택합니다.
사용할 목록 API 버전을 선택합니다. 자세한 내용은 ListObjectsV2 및 ListObjects 문서를 참조하세요.
다음 단계를 클릭합니다.
Microsoft Azure Blob Storage
소스 유형에서 Azure Blob Storage 또는 Data Lake Storage Gen2를 선택합니다.
다음 단계를 클릭합니다.
다음 사항을 지정합니다.
스토리지 계정 이름 — 소스 Microsoft Azure Storage 계정 이름입니다.
스토리지 계정 이름은 모든 서비스 > 스토리지 > 스토리지 계정의 Microsoft Azure Storage 포털에 표시됩니다.
컨테이너 이름 — Microsoft Azure Storage 컨테이너 이름입니다.
컨테이너 이름은 스토리지 탐색기 > Blob 컨테이너의 Microsoft Azure Storage 포털에 표시됩니다.
공유 액세스 서명(SAS) — 저장된 액세스 정책에서 만든 Microsoft Azure Storage SAS 토큰입니다. 자세한 내용은 공유 액세스 서명(SAS)을 사용하여 Azure Storage 리소스에 대한 제한된 액세스 권한 부여를 참조하세요.
SAS 토큰의 기본 만료 시간은 8시간입니다. SAS 토큰을 만들 때 전송을 성공적으로 완료할 수 있도록 적절한 만료 시간을 설정해야 합니다.
- 원하는 경우 프리픽스를 기준으로 객체를 필터링하거나 최종 수정 날짜를 기준으로 객체를 필터링하도록 선택합니다. 폴더를 소스 위치로 지정한 경우 프리픽스 필터는 해당 폴더를 기준으로 합니다. 예를 들어 소스가
my-test-bucket/path/인 경우file의 포함 필터는my-test-bucket/path/file로 시작하는 모든 파일을 포함합니다. 다음 단계를 클릭합니다.
파일 시스템
소스 유형에서 POSIX 파일 시스템을 선택합니다.
대상 유형을 선택하고 다음 단계를 클릭합니다.
기존 에이전트 풀을 선택하거나 에이전트 풀 만들기를 선택하고 안내에 따라 새 풀을 만듭니다.
파일 시스템 디렉터리의 정규화된 경로를 지정합니다.
다음 단계를 클릭합니다.
HDFS
HDFS에서 Cloud Storage로 전송을 참조하세요.
URL 목록
소스 유형에서 URL 목록을 선택하고 다음 단계를 클릭합니다.
TSV 파일의 URL에서 탭으로 구분된 값(TSV) 파일의 URL을 입력합니다. TSV 파일을 만드는 방법에 대한 자세한 내용은 URL 목록 만들기를 참조하세요.
- 원하는 경우 프리픽스를 기준으로 객체를 필터링하거나 최종 수정 날짜를 기준으로 객체를 필터링하도록 선택합니다. 폴더를 소스 위치로 지정한 경우 프리픽스 필터는 해당 폴더를 기준으로 합니다. 예를 들어 소스가
my-test-bucket/path/인 경우file의 포함 필터는my-test-bucket/path/file로 시작하는 모든 파일을 포함합니다. 다음 단계를 클릭합니다.
대상 위치 선택:
Cloud Storage
버킷 또는 폴더 필드에 대상 버킷과 폴더 이름(선택사항)을 입력하거나 찾아보기를 클릭하여 현재 프로젝트의 기존 목록에서 버킷을 선택합니다. 새 버킷을 만들려면
새 버킷 만들기를 클릭합니다.다음 단계를 클릭합니다.
전송 작업의 설정을 선택합니다. 일부 옵션은 특정 소스/싱크 조합에만 사용할 수 있습니다.
설명 필드에 전송 설명을 입력합니다. 작업을 구분할 수 있도록 의미 있고 고유한 설명을 입력하는 것이 좋습니다.
메타데이터 옵션에서 기본 옵션을 사용하도록 선택하거나 옵션 보기 및 선택을 클릭하여 지원되는 모든 메타데이터의 값을 지정합니다. 자세한 내용은 메타데이터 보존을 참조하세요.
덮어쓸 시점에서 다음 중 하나를 선택합니다.
다른 경우: 이름이 같은 소스 파일에 다른 Etag 또는 체크섬 값이 있는 경우 대상 파일을 덮어씁니다.
항상: 소스 파일 이름이 같으면 동일하더라도 항상 대상 파일을 덮어씁니다.
삭제 시점에서 다음 중 하나를 선택합니다.
삭제 안함: 소스 또는 대상 위치에서 파일을 삭제하지 않습니다.
전송 후 소스에서 파일 삭제: 파일이 대상으로 전송된 후 소스에서 파일을 삭제합니다.
소스에도 없는 경우 대상 위치에서 파일 삭제: 대상 Cloud Storage 버킷의 파일이 소스에도 없는 경우 Cloud Storage 버킷에서 파일을 삭제합니다.
이 옵션을 사용하면 대상 Cloud Storage 버킷이 소스와 정확하게 일치합니다.
알림 옵션에서 Pub/Sub 주제 및 알림을 받을 이벤트를 선택합니다. 자세한 내용은 Pub/Sub 알림을 참조하세요.
다음 단계를 클릭합니다.
파일 시스템
기존 에이전트 풀을 선택하거나 에이전트 풀 만들기를 선택하고 안내에 따라 새 풀을 만듭니다.
정규화된 대상 디렉터리 경로를 지정합니다.
다음 단계를 클릭합니다.
예약 옵션을 선택합니다.
한 번 실행 드롭다운 목록에서 다음 중 하나를 선택합니다.
한 번 실행: 선택한 시간에 단일 전송을 실행합니다.
매일 실행: 선택한 시점부터 매일 전송을 실행합니다.
선택사항인 종료일을 입력하거나 종료일을 비워 두어 전송을 계속 실행할 수 있습니다.
매주 실행: 선택한 시간부터 매주 전송을 실행합니다.
커스텀 빈도로 실행: 선택한 빈도로 전송을 실행합니다. 시간, 일 또는 주라는 정기적인 간격으로 전송을 반복하도록 선택할 수 있습니다.
선택사항인 종료일을 입력하거나 종료일을 비워 두어 전송을 계속 실행할 수 있습니다.
지금 시작 드롭다운 목록에서 다음 중 하나를 선택합니다.
지금 시작: 만들기를 클릭한 후 전송을 시작합니다.
시작일: 선택한 날짜 및 시간에 전송을 시작합니다. 캘린더를 클릭하여 시작일을 선택할 캘린더를 표시합니다.
전송 작업을 만들려면 만들기를 클릭합니다.
gcloud CLI
새 전송 작업을 만들려면 gcloud transfer jobs create 명령어를 사용합니다. 일정 또는 --do-not-run이 지정되지 않은 한, 새 작업을 만들면 지정된 전송이 시작됩니다.
gcloud transfer jobs create \
SOURCE DESTINATION
각 항목의 의미는 다음과 같습니다.
SOURCE는 이 전송의 데이터 소스입니다. 각 소스의 형식은 다음과 같습니다.
- Cloud Storage:
gs://BUCKET_NAME. 특정 폴더에서 전송하려면 후행 슬래시를 포함하여gs://BUCKET_NAME/FOLDER_PATH/를 지정합니다. - Amazon S3:
s3://BUCKET_NAME/FOLDER_PATH - S3 호환 스토리지:
s3://BUCKET_NAME. 버킷 이름은 엔드포인트를 기준으로 합니다. 예를 들어 데이터가https://us-east-1.example.com/folder1/bucket_a에 있으면s3://folder1/bucket_a를 입력합니다. - Microsoft Azure Storage:
https://myaccount.blob.core.windows.net/CONTAINER_NAME - URL 목록:
https://PATH_TO_URL_LIST또는http://PATH_TO_URL_LIST - POSIX 파일 시스템:
posix:///PATH. 에이전트 호스트 머신 루트의 절대 경로여야 합니다. - HDFS:
hdfs:///PATH
- Cloud Storage:
DESTINATION은 다음 중 하나입니다.
- Cloud Storage:
gs://BUCKET_NAME. 특정 디렉터리로 전송하려면 후행 슬래시를 포함하여gs://BUCKET_NAME/FOLDER_PATH/를 지정합니다. - POSIX 파일 시스템:
posix:///PATH. 에이전트 호스트 머신 루트의 절대 경로여야 합니다.
- Cloud Storage:
전송에 전송 에이전트가 필요한 경우 다음 옵션을 사용할 수 있습니다.
--source-agent-pool은 이 전송에 사용할 소스 에이전트 풀을 지정합니다. 파일 시스템에서 시작된 전송에 필요합니다.--destination-agent-pool은 이 전송에 사용할 대상 에이전트 풀을 지정합니다. 파일 시스템으로 전송하는 데 필요합니다.--intermediate-storage-path는 Cloud Storage 버킷의 경로이며gs://my-intermediary-bucket형식입니다. 두 파일 시스템 간 전송에 필요합니다. 중간 버킷 만들기에 대한 자세한 내용은 Cloud Storage 버킷을 중개자로 만들기를 참조하세요.
추가로 선택할 수 있는 옵션은 다음과 같습니다.
--source-creds-file은 사용자 머신에서 전송 소스의 AWS 또는 Azure 사용자 인증 정보가 포함된 로컬 파일에 대한 상대 경로를 지정합니다. 사용자 인증 정보의 파일 형식 지정 정보는 TransferSpec 참조를 확인하세요.--do-not-run은 명령어를 제출할 때 Storage Transfer Service가 작업을 실행하지 못하도록 방지합니다. 작업을 실행하려면 이를 업데이트해서 일정을 추가하거나jobs run을 사용해서 수동으로 시작합니다.--manifest-file은 소스에서 전송할 파일 목록이 포함된 Cloud Storage의 CSV 파일 경로를 지정합니다. 매니페스트 파일 형식 지정은 매니페스트를 사용하여 특정 파일 또는 객체 전송을 참조하세요.작업 정보:
--name,--description,--source-creds-file을 지정할 수 있습니다.일정:
--schedule-starts,--schedule-repeats-every,--schedule-repeats-until,--do-not-run을 지정합니다.객체 조건: 조건을 사용해서 전송되는 객체를 결정합니다. 여기에는
--include-prefixes및--exclude-prefixes와--include-modified-[before | after]-[absolute | relative]의 시간 기준 조건이 포함됩니다. 소스로 폴더를 지정한 경우 프리픽스 필터는 해당 폴더를 기준으로 합니다. 자세한 내용은 프리픽스로 소스 객체 필터링을 참조하세요.객체 조건은 파일 시스템과 관련된 전송에서 지원되지 않습니다.
전송 옵션: 대상 파일(
--overwrite-when=different또는always)을 덮어쓸지 여부와 전송 중 또는 전송 후에 특정 파일을 삭제할지 여부(--delete-from=destination-if-unique또는source-after-transfer)를 지정하고, 보존할 메타데이터 값(--preserve-metadata)을 지정하며, 필요한 경우 전송된 객체에 스토리지 클래스를 선택적으로 설정할 수 있습니다(--custom-storage-class).알림:
--notification-pubsub-topic,--notification-event-types,--notification-payload-format으로 Pub/Sub 전송 알림을 구성합니다.Cloud Logging: 에이전트리스 전송 또는 S3 호환 소스의 전송에 대해
--log-actions및--log-action-states를 사용하여 Cloud Logging을 사용 설정합니다. 자세한 내용은 Storage Transfer Service의 Cloud Logging을 참조하세요.
또한 S3 호환 소스의 전송에 다음 옵션이 사용됩니다.
--source-endpoint(필수)는 스토리지 시스템의 엔드포인트를 지정합니다. 예를 들면s3.example.com입니다. 올바른 형식을 제공업체에 문의하세요. 프로토콜(http://또는https://)을 지정하지 마세요.--source-signing-region은 요청에 서명할 리전을 지정합니다. 스토리지 제공업체에 서명 리전이 필요하지 않으면 이 플래그를 생략합니다.--source-auth-method는 사용할 인증 방법을 지정합니다. 유효한 값은AWS_SIGNATURE_V2또는AWS_SIGNATURE_V4입니다. 자세한 내용은 Amazon의 SigV4 및 SigV2 문서를 참조하세요.--source-request-model은 사용할 주소 지정 스타일을 지정합니다. 유효한 값은PATH_STYLE또는VIRTUAL_HOSTED_STYLE입니다. 경로 스타일은https://s3.example.com/BUCKET_NAME/KEY_NAME형식을 사용합니다. 가상 호스트 스타일에는 `https://BUCKET_NAME.s3.example.com/KEY_NAME 형식이 사용됩니다.--source-network-protocol은 에이전트가 이 작업에 사용해야 하는 네트워크 프로토콜을 지정합니다. 유효한 값은HTTP또는HTTPS입니다.--source-list-api는 버킷에서 객체를 반환하기 위한 S3 Listing API 버전을 지정합니다. 유효한 값은LIST_OBJECTS또는LIST_OBJECTS_V2입니다. 자세한 내용은 Amazon의 ListObjectsV2 및 ListObjects 문서를 참조하세요.
모든 옵션을 보려면 gcloud transfer jobs create --help를 실행하거나 gcloud 참조 문서를 참조하세요.
Examples
Amazon S3에서 Cloud Storage로 전송
다음 명령어를 실행하여 지난 1일 동안 수정된 데이터를 s3://my-s3-bucket에서 my-storage-bucket이라는 Cloud Storage 버킷으로 이동하는 일일 전송 작업을 만듭니다.
gcloud transfer jobs create \
s3://my-s3-bucket gs://my-storage-bucket \
--source-creds-file=/examplefolder/creds.txt \
--include-modified-after-relative=1d \
--schedule-repeats-every=1d
Cloud Storage에 대한 S3 호환 스토리지
S3 호환 소스에서 Cloud Storage 버킷으로 전송하려면 다음 안내를 따르세요.
gcloud transfer jobs create s3://my-s3-compat-bucket gs://my-storage-bucket \
--source-agent-pool=my-source-agent-pool
--source-endpoint=us-east-1.example.com/ \
--source-auth-method=AWS_SIGNATURE_V2 \
--source-request-model=PATH_STYLE \
--source-network-protocol=HTTPS \
--source-list-api=LIST_OBJECTS_V2
파일 시스템 - Cloud Storage
파일 시스템에서 Cloud Storage 버킷으로 전송하려면 다음을 지정합니다.
gcloud transfer jobs create \
posix:///tmp/source gs://my-storage-bucket \
--source-agent-pool=my-source-agent-pool
Cloud Storage - 파일 시스템
Cloud Storage 버킷에서 파일 시스템으로 전송하려면 다음을 지정합니다.
gcloud transfer jobs create \
gs://my-storage-bucket posix:///tmp/destination \
--destination-agent-pool=my-destination-agent-pool
파일 시스템 - 파일 시스템
두 파일 시스템 간에 전송하려면 소스 에이전트 풀, 대상 에이전트 풀, 데이터가 통과하는 중간 Cloud Storage 버킷을 지정해야 합니다.
중간 버킷에 대한 자세한 내용은 Cloud Storage 버킷을 중개자로 만들기를 참조하세요.
그런 다음 transfer jobs create를 호출할 때 다음 리소스 3개를 지정합니다.
gcloud transfer jobs create \
posix:///tmp/source/on/systemA posix:///tmp/destination/on/systemB \
--source-agent-pool=source_agent_pool \
--destination-agent-pool=destination_agent_pool \
--intermediate-storage-path=gs://my-intermediary-bucket
REST
다음 샘플에서는 REST API를 통해 Storage Transfer Service를 사용하는 방법을 보여줍니다.
Storage Transfer Service API를 사용하여 전송 작업을 구성하거나 편집할 때 시간은 UTC여야 합니다. 전송 작업 일정을 지정하는 방법에 대한 자세한 내용은 일정을 참조하세요.
Cloud Storage 버킷 간의 전송
이 예시에서는 하나의 Cloud Storage 버킷에서 다른 Cloud Storage 버킷으로 파일을 이동하는 방법을 알아봅니다. 예를 들어 데이터를 다른 위치의 버킷으로 이동할 수 있습니다.
transferJobs create를 사용하는 요청:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "YOUR DESCRIPTION",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"gcsDataSource": {
"bucketName": "GCS_SOURCE_NAME"
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": true
}
}
}
응답:
200 OK
{
"transferJob": [
{
"creationTime": "2015-01-01T01:01:00.000000000Z",
"description": "YOUR DESCRIPTION",
"name": "transferJobs/JOB_ID",
"status": "ENABLED",
"lastModificationTime": "2015-01-01T01:01:00.000000000Z",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"gcsDataSource": {
"bucketName": "GCS_SOURCE_NAME",
},
"gcsDataSink": {
"bucketName": "GCS_NEARLINE_SINK_NAME"
},
"objectConditions": {
"minTimeElapsedSinceLastModification": "2592000.000s"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": true
}
}
}
]
}
Amazon S3에서 Cloud Storage로 이전
이 예시에서는 파일을 Amazon S3에서 Cloud Storage 버킷으로 이동하는 방법을 학습합니다. 데이터를 Amazon S3에서 Cloud Storage로 이동할 때 발생하는 영향을 파악하려면 Amazon S3에 대한 액세스 구성 및 가격 책정을 검토합니다.
전송 작업을 만들 때 Amazon S3 버킷 소스 이름에 bucketName의 s3:// 접두사를 포함하지 마세요.
transferJobs create를 사용하는 요청:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "YOUR DESCRIPTION",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"scheduleEndDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"awsS3DataSource": {
"bucketName": "AWS_SOURCE_NAME",
"awsAccessKey": {
"accessKeyId": "AWS_ACCESS_KEY_ID",
"secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME"
}
}
}
응답:
200 OK
{
"transferJob": [
{
"creationTime": "2015-01-01T01:01:00.000000000Z",
"description": "YOUR DESCRIPTION",
"name": "transferJobs/JOB_ID",
"status": "ENABLED",
"lastModificationTime": "2015-01-01T01:01:00.000000000Z",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"scheduleEndDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"awsS3DataSource": {
"bucketName": "AWS_SOURCE_NAME"
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME"
},
"objectConditions": {},
"transferOptions": {}
}
}
]
}
CloudFront 배포를 통해 S3에서 전송하는 경우 배포 도메인 이름을 transferSpec.awsS3DataSource.cloudfrontDomain 필드 값으로 지정합니다.
"transferSpec": {
"awsS3DataSource": {
"bucketName": "AWS_SOURCE_NAME",
"cloudfrontDomain": "https://dy1h2n3l4ob56.cloudfront.net",
"awsAccessKey": {
"accessKeyId": "AWS_ACCESS_KEY_ID",
"secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}
},
...
}
Microsoft Azure Blob Storage와 Cloud Storage 간 전송
이 예시에서는 Microsoft Azure Storage 공유 액세스 서명(SAS) 토큰을 사용하여 Microsoft Azure Storage에서 Cloud Storage 버킷으로 파일을 이동하는 방법을 알아봅니다.
Microsoft Azure Storage SAS에 대한 자세한 내용은 공유 액세스 서명(SAS)을 사용하여 Azure Storage 리소스에 대한 제한된 액세스 권한 부여를 참조하세요.
시작하기 전에 Microsoft Azure Storage 액세스 구성 및 가격 책정을 검토하여 Microsoft Azure Storage에서 Cloud Storage로 데이터를 이동할 때 발생하는 영향을 알아봅니다.
transferJobs create를 사용하는 요청:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "YOUR DESCRIPTION",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 14,
"month": 2,
"year": 2020
},
"scheduleEndDate": {
"day": 14
"month": 2,
"year": 2020
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"azureBlobStorageDataSource": {
"storageAccount": "AZURE_SOURCE_NAME",
"azureCredentials": {
"sasToken": "AZURE_SAS_TOKEN",
},
"container": "AZURE_CONTAINER",
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME"
}
}
}
응답:
200 OK
{
"transferJob": [
{
"creationTime": "2020-02-14T01:01:00.000000000Z",
"description": "YOUR DESCRIPTION",
"name": "transferJobs/JOB_ID",
"status": "ENABLED",
"lastModificationTime": "2020-02-14T01:01:00.000000000Z",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 14
"month": 2,
"year": 2020
},
"scheduleEndDate": {
"day": 14,
"month": 2,
"year": 2020
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"azureBlobStorageDataSource": {
"storageAccount": "AZURE_SOURCE_NAME",
"azureCredentials": {
"sasToken": "AZURE_SAS_TOKEN",
},
"container": "AZURE_CONTAINER",
},
"objectConditions": {},
"transferOptions": {}
}
}
]
}
파일 시스템에서 전송
이 예시에서는 POSIX 파일 시스템에서 Cloud Storage 버킷으로 파일을 이동하는 방법을 알아봅니다.
posixDataSource와 함께 transferJobs.create를 사용합니다.
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"name":"transferJobs/sample_transfer",
"description": "My First Transfer",
"status": "ENABLED",
"projectId": "my_transfer_project_id",
"schedule": {
"scheduleStartDate": {
"year": 2022,
"month": 5,
"day": 2
},
"startTimeOfDay": {
"hours": 22,
"minutes": 30,
"seconds": 0,
"nanos": 0
}
"scheduleEndDate": {
"year": 2022,
"month": 12,
"day": 31
},
"repeatInterval": {
"259200s"
},
},
"transferSpec": {
"posixDataSource": {
"rootDirectory": "/bar/",
},
"sourceAgentPoolName": "my_example_pool",
"gcsDataSink": {
"bucketName": "destination_bucket"
"path": "foo/bar/"
},
}
}
schedule 필드는 선택사항입니다. 이 필드가 포함되지 않은 경우 전송 작업은 transferJobs.run 요청으로 시작해야 합니다.
작업을 만든 후 전송 상태를 확인하려면 transferJobs.get을 사용합니다.
GET https://storagetransfer.googleapis.com/v1/transferJobs/sample_transfer?project_id=my_transfer_project_id
소스 및 대상 경로 지정
소스 및 대상 경로를 사용하면 Cloud Storage 버킷으로 데이터를 전송할 때 소스 및 대상 디렉터리를 지정할 수 있습니다. 예를 들어 file1.txt 및 file2.txt 파일이 있고 B라는 Cloud Storage 버킷이 있다고 가정합니다. my-stuff라는 대상 경로를 설정하면 전송이 완료된 후 파일은 gs://B/my-stuff/file1.txt와 gs://B/my-stuff/file2.txt에 있습니다.
소스 경로 지정
전송 작업 생성 시 소스 경로를 지정하려면 TransferSpec 사양의 gcsDataSource 필드에 path 필드를 추가합니다.
{
gcsDataSource: {
bucketName: "SOURCE_BUCKET",
path: "SOURCE_PATH/",
},
}
예를 들면 다음과 같습니다.
- SOURCE_BUCKET: 소스 Cloud Storage 버킷
- SOURCE_PATH: 소스 Cloud Storage 경로
대상 경로 지정
전송 작업 생성 시 대상 폴더를 지정하려면 TransferSpec 사양의 gcsDataSink 필드에 path 필드를 추가합니다.
{
gcsDataSink: {
bucketName: "DESTINATION_BUCKET",
path: "DESTINATION_PATH/",
},
}
예를 들면 다음과 같습니다.
- DESTINATION_BUCKET: 대상 Cloud Storage 버킷
- DESTINATION_PATH: 대상 Cloud Storage 경로
전체 요청 예시
다음은 전체 요청의 예시입니다.
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "YOUR DESCRIPTION",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"gcsDataSource": {
"bucketName": "GCS_SOURCE_NAME",
"path": "GCS_SOURCE_PATH",
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME",
"path": "GCS_SINK_PATH",
},
"objectConditions": {
"minTimeElapsedSinceLastModification": "2592000s"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": true
}
}
}
클라이언트 라이브러리
다음 샘플에서는 Go, 자바, Node.js, Python을 사용하여 프로그래매틱 방식으로 Storage Transfer Service를 사용하는 방법을 보여줍니다.
전송 작업을 프로그래매틱 방식으로 구성하거나 편집할 때 시간은 UTC여야 합니다. 전송 작업 일정을 지정하는 방법에 대한 자세한 내용은 일정을 참조하세요.
Storage Transfer Service 클라이언트 라이브러리에 대한 자세한 내용은 Storage Transfer Service 클라이언트 라이브러리 시작하기를 참조하세요.
Cloud Storage 버킷 간의 전송
이 예시에서는 하나의 Cloud Storage 버킷에서 다른 Cloud Storage 버킷으로 파일을 이동하는 방법을 알아봅니다. 예를 들어 데이터를 다른 위치의 버킷으로 이동할 수 있습니다.
Go
Java
이전 샘플을 찾고 계신가요? Storage Transfer Service 이전 가이드를 참조하세요.
Node.js
Python
이전 샘플을 찾고 계신가요? Storage Transfer Service 이전 가이드를 참조하세요.
Amazon S3에서 Cloud Storage로 이전
이 예시에서는 파일을 Amazon S3에서 Cloud Storage 버킷으로 이동하는 방법을 학습합니다. 데이터를 Amazon S3에서 Cloud Storage로 이동할 때 발생하는 영향을 파악하려면 Amazon S3에 대한 액세스 구성 및 가격 책정을 검토합니다.
전송 작업을 만들 때 Amazon S3 버킷 소스 이름에 bucketName의 s3:// 접두사를 포함하지 마세요.
Go
Java
이전 샘플을 찾고 계신가요? Storage Transfer Service 이전 가이드를 참조하세요.
Node.js
Python
이전 샘플을 찾고 계신가요? Storage Transfer Service 이전 가이드를 참조하세요.
Microsoft Azure Blob Storage와 Cloud Storage 간 전송
이 예시에서는 Microsoft Azure Storage 공유 액세스 서명(SAS) 토큰을 사용하여 Microsoft Azure Storage에서 Cloud Storage 버킷으로 파일을 이동하는 방법을 알아봅니다.
Microsoft Azure Storage SAS에 대한 자세한 내용은 공유 액세스 서명(SAS)을 사용하여 Azure Storage 리소스에 대한 제한된 액세스 권한 부여를 참조하세요.
시작하기 전에 Microsoft Azure Storage 액세스 구성 및 가격 책정을 검토하여 Microsoft Azure Storage에서 Cloud Storage로 데이터를 이동할 때 발생하는 영향을 알아봅니다.
Go
Storage Transfer Service용 클라이언트 라이브러리를 설치하고 사용하는 방법은 Storage Transfer Service 클라이언트 라이브러리를 참조하세요. 자세한 내용은 Storage Transfer Service Go API 참조 문서를 참조하세요.
Storage Transfer Service에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
Java
Storage Transfer Service용 클라이언트 라이브러리를 설치하고 사용하는 방법은 Storage Transfer Service 클라이언트 라이브러리를 참조하세요. 자세한 내용은 Storage Transfer Service Java API 참조 문서를 참조하세요.
Storage Transfer Service에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
Node.js
Storage Transfer Service용 클라이언트 라이브러리를 설치하고 사용하는 방법은 Storage Transfer Service 클라이언트 라이브러리를 참조하세요. 자세한 내용은 Storage Transfer Service Node.js API 참조 문서를 참조하세요.
Storage Transfer Service에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
Python
Storage Transfer Service용 클라이언트 라이브러리를 설치하고 사용하는 방법은 Storage Transfer Service 클라이언트 라이브러리를 참조하세요. 자세한 내용은 Storage Transfer Service Python API 참조 문서를 참조하세요.
Storage Transfer Service에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
파일 시스템에서 전송
이 예시에서는 POSIX 파일 시스템에서 Cloud Storage 버킷으로 파일을 이동하는 방법을 알아봅니다.