버킷 간 복제 사용

이 페이지에서는 Storage Transfer Service를 사용하여 소스 버킷에서 대상 버킷으로 신규 객체와 업데이트된 객체를 비동기식으로 복사하는 버킷 간 복제를 사용하는 방법을 설명합니다. 버킷 간 복제를 사용할 때는 Storage Transfer Service의 작업 유형인 복제 작업을 만들고 관리합니다.

시작하기 전에

시작하기 전에 다음 단계를 완료하세요.

Storage Transfer Service API 사용 설정

아직 사용 설정하지 않았다면 Storage Transfer Service API를 사용 설정합니다.

필요한 역할 얻기

버킷 간 복제를 사용하는 데 필요한 권한을 얻으려면 관리자에게 버킷 또는 프로젝트에 대한 스토리지 전송 사용자(roles/storagetransfer.user) IAM 역할을 부여해 달라고 요청하세요.

이 사전 정의된 역할에는 버킷 간 복제를 사용하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

버킷 간 복제를 사용하려면 다음 권한이 필요합니다.

storagetransfer.jobs.create
storagetransfer.jobs.delete
storagetransfer.jobs.get
storagetransfer.jobs.list
storagetransfer.jobs.run
storagetransfer.jobs.update

버킷에 대한 역할 부여는 버킷에 IAM 사용을 참조하세요. 프로젝트에 대한 역할을 부여하는 방법은 프로젝트 액세스 관리를 참조하세요.

필요한 역할 부여

버킷 간 복제는 Pub/Sub를 사용하여 소스 버킷의 변경사항에 대한 알림을 수신하고 Storage Transfer Service를 사용하여 소스 버킷의 객체를 대상 버킷으로 복제합니다. 버킷 간 복제를 사용하려면 Storage Transfer Service에서 데이터를 복제하는 데 사용하는 서비스 에이전트와 Pub/Sub에서 알림을 쓰는 데 사용하는 서비스 에이전트에도 필요한 권한을 부여해야 합니다.

Storage Transfer Service 서비스 에이전트에 필수 역할 부여

Storage Transfer Service는 Google 관리형 서비스 에이전트를 사용하여 데이터를 복제합니다. 이 서비스 에이전트의 이메일 주소는 project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com 이름 지정 형식을 따릅니다. Storage Transfer Service googleServiceAccounts.get API를 사용하여 Storage Transfer Service 서비스 에이전트의 이메일 주소를 가져올 수 있습니다.

Storage Transfer Service 서비스 에이전트가 객체를 복제하고 소스 버킷에 대한 Pub/Sub 알림을 설정하려면 다음 권한이 필요합니다.

필수 권한

소스 및 대상 버킷에 대한 storage.buckets.get
소스 버킷에 대한 storage.buckets.update
소스 버킷에 대한 storage.objects.list
소스 버킷에 대한 storage.objects.get
대상 버킷에 대한 storage.objects.rewrite
프로젝트에 대한 pubsub.topics.create 권한

이러한 권한은 Pub/Sub 편집자(roles/pubsub.editor) 역할 및 스토리지 관리자(roles/storage.admin) 역할을 통해 부여할 수 있습니다. 스토리지 관리자 역할보다 권한이 적은 역할의 경우 커스텀 역할을 사용할 수도 있습니다.

Cloud Storage 서비스 에이전트에 필수 역할 부여

Cloud Storage는 Google 관리형 서비스 에이전트를 사용하여 Pub/Sub 알림을 관리합니다. 이 서비스 에이전트의 이메일 주소는 service-PROJECT_NUMBER@gs-project-accounts.iam.gserviceaccount.com 이름 지정 형식을 따릅니다.

Cloud Storage 서비스 에이전트가 Pub/Sub을 설정하고 주제에 메시지를 게시하려면 다음 권한이 필요합니다.

필수 권한

Pub/Sub 주제에 대한 pubsub.topics.publish 권한
Pub/Sub 주제에 대한 pubsub.subscriptions.consume 권한
프로젝트에 대한 pubsub.subscriptions.create 권한

이러한 권한은 Pub/Sub 게시자(roles/pubsub.publisher) 역할을 통해 부여할 수 있습니다.

복제 작업 만들기

콘솔

Google Cloud 콘솔을 사용하는 경우 버킷 생성 프로세스 중에 기존 버킷 또는 새 버킷의 복제 작업을 만들 수 있습니다.

새 버킷의 복제 작업을 만들려면 새 버킷 만들기 안내를 따르세요.

기존 버킷의 복제 작업을 만들려면 다음 단계를 완료하세요.

Google Cloud 콘솔에서 Cloud Storage 버킷 페이지로 이동합니다.
버킷으로 이동
버킷 목록에서 객체를 복제할 소스 버킷의 이름을 클릭합니다.
버킷 세부정보 페이지에서 구성 탭을 클릭합니다.
버킷 간 복제 옵션을 찾아 수정을 클릭합니다.
버킷 간 복제 수정 창이 열리면 대상 추가를 클릭합니다.
대상 선택 섹션에서 대상 버킷을 선택한 후 다음을 클릭합니다.
복제 설정 선택 섹션에서 다음을 수행합니다.
- 선택사항: 객체 이름 프리픽스를 기준으로 복제할 객체를 필터링하려면 복제할 객체 선택 섹션에서 프리픽스 기준으로 객체 복제 체크박스를 선택합니다.
  - 프리픽스를 기준으로 객체를 포함하려면 다음 프리픽스가 있는 객체 포함 섹션에 프리픽스를 입력한 다음 프리픽스 추가를 클릭합니다.
  - 프리픽스를 기준으로 객체를 제외하려면 다음 프리픽스가 있는 객체 제외 섹션에 프리픽스를 입력한 다음 프리픽스 추가를 클릭합니다.
- 선택사항: 복제된 객체의 스토리지 클래스를 설정하려면 복제된 객체의 스토리지 클래스 설정 섹션의 메뉴에서 스토리지 클래스를 선택합니다.
  
  이 단계를 건너뛰면 복제된 객체가 기본적으로 대상 버킷의 스토리지 클래스를 사용합니다.
1. 저장을 클릭합니다.

명령줄

Google Cloud CLI를 사용하면 기존 버킷의 복제 작업을 만들 수 있습니다.

복제 작업을 만들려면 --replication 플래그와 함께 gcloud alpha transfer jobs create 명령어를 사용합니다.

gcloud alpha transfer jobs create gs://SOURCE_BUCKET_NAME gs://DESTINATION_BUCKET_NAME --replication

다음과 같이 바꿉니다.

SOURCE_BUCKET_NAME을 복제하려는 소스 버킷의 이름으로 바꿉니다. 예를 들면 my-source-bucket입니다.
DESTINATION_BUCKET_NAME을 대상 버킷의 이름으로 바꿉니다. 예를 들면 my-destination-bucket입니다.

REST API

JSON API

JSON API를 사용하면 기존 버킷의 복제 작업을 만들 수 있습니다.

Authorization 헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.

또는 OAuth 2.0 Playground를 사용하여 액세스 토큰을 만들고 Authorization 헤더에 포함할 수 있습니다.
TransferJob 객체와 초기화된 ReplicationSpec 리소스가 포함된 JSON 파일을 만듭니다.
```
TransferJob {
 "name": "TRANSFER_JOB_NAME",
 ...
 ReplicationSpec: {
   "gcsDataSource": {
     "bucketName": "SOURCE_BUCKET_NAME"
   },
   "gcsDataSink" {
     "bucketName": "DESTINATION_BUCKET_NAME"
   },
   "objectConditions": {
   },
   "transferOptions": {
     "overwriteWhen": "OVERWRITE_OPTION"
   }
 }
 ...
}
```
다음과 같이 바꿉니다.
- TRANSFER_JOB_NAME을 복제 작업을 할당할 이름으로 바꿉니다. 이름 지정 요구사항은 transferJobs 참고 문서를 확인하세요.
- SOURCE_BUCKET_NAME을 복제하려는 객체가 포함된 소스 버킷의 이름으로 바꿉니다. 예를 들면 example-source-bucket입니다.
- DESTINATION_BUCKET_NAME을 객체가 복제될 대상 버킷의 이름으로 바꿉니다. 예를 들면 example-destination-bucket입니다.
- 대상 버킷의 기존 객체를 복제 작업의 결과로 덮어쓸 수 있는 방법에 관한 옵션이 있는 OVERWRITE_OPTION. 이는 대상 객체와 소스 객체의 이름이 동일한 경우에 발생할 수 있습니다. 값은 다음 중 하나여야 합니다.
  - ALWAYS: 항상 대상 버킷의 객체를 덮어씁니다.
  - DIFFERENT: 대상 객체 데이터가 소스 객체 데이터와 다른 경우에만 대상 버킷의 객체를 덮어씁니다.
  - NEVER: 대상 버킷의 객체를 덮어쓰지 않습니다.
cURL을 사용하여 transferJobs.create 요청으로 Storage Transfer Service REST API를 호출합니다.
```
curl -X POST --data-binary @JSON_FILE_NAME \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs"
```
각 항목의 의미는 다음과 같습니다.
- JSON_FILE_NAME은 2단계에서 만든 JSON 파일의 이름입니다.

복제 작업의 상태를 확인하려면 Storage Transfer Service용 Cloud Logging 로그를 확인하세요.

복제 작업 나열

콘솔

Google Cloud 콘솔을 사용하여 복제 작업을 나열할 수 없습니다. 복제 작업을 한 번에 하나씩 보는 방법에 관한 안내는 복제 작업 보기를 참고하세요.

명령줄

gcloud alpha transfer jobs list 명령어를 --job-type 플래그와 함께 사용합니다.

gcloud alpha transfer jobs list --job-type=replication

REST API

JSON API

Authorization 헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.

또는 OAuth 2.0 Playground를 사용하여 액세스 토큰을 만들고 Authorization 헤더에 포함할 수 있습니다.

cURL을 사용하여 transferJobs.list 요청으로 Storage Transfer Service REST API를 호출합니다.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs"

복제 작업 보기

콘솔

Google Cloud 콘솔에서 Cloud Storage 버킷 페이지로 이동합니다.
버킷으로 이동
버킷 목록에서 버킷 간 복제 작업을 확인하려는 소스 버킷의 이름을 클릭합니다.
버킷 세부정보 페이지에서 구성 탭을 클릭합니다.
버킷 간 복제 옵션을 찾아 수정을 클릭합니다.

각 대상 버킷의 복제 작업을 표시하는 버킷 간 복제 수정 창이 표시됩니다.

버킷 페이지에서 복제 열을 확인할 수 있습니다. 이 열에는 버킷에 터보 복제 작업 또는 버킷 간 복제 작업이 실행 중인지 표시됩니다. 복제 열을 표시하는 방법에 관한 안내는 열 표시를 참고하세요.

명령줄

gcloud alpha transfer jobs describe 명령어를 사용합니다.

gcloud alpha transfer jobs describe JOB_NAME

다음과 같이 바꿉니다.

JOB_NAME을 복제 작업의 고유 ID로 바꿉니다. 예를 들면 1234567890입니다. 전송 작업의 ID를 찾으려면 복제 작업을 나열하세요.

REST API

JSON API

Authorization 헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.

또는 OAuth 2.0 Playground를 사용하여 액세스 토큰을 만들고 Authorization 헤더에 포함할 수 있습니다.
cURL을 사용하여 transferJobs.get 요청으로 Storage Transfer Service REST API를 호출합니다.
```
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME"
```
다음과 같이 바꿉니다.
- JOB_NAME을 복제 작업의 고유 ID로 바꿉니다. 예를 들면 1234567890입니다. 복제 작업의 ID를 찾으려면 복제 작업을 나열하세요.

복제 작업 업데이트

복제 작업의 다음 필드를 업데이트할 수 있습니다.

복제 작업의 설명
복제 작업 실행 구성
Pub/Sub에 게시된 알림 구성
복제 작업 수행의 로깅 동작
복제 작업의 상태(사용 설정, 사용 중지 또는 삭제 여부)

콘솔

Google Cloud 콘솔을 사용하는 경우 작업을 일시중지하거나 재개하는 방식으로만 복제 작업을 업데이트할 수 있습니다.

Google Cloud 콘솔에서 Cloud Storage 버킷 페이지로 이동합니다.
버킷으로 이동
버킷 목록에서 복제 일시중지 또는 재개할 소스 버킷의 이름을 클릭합니다.
버킷 세부정보 페이지에서 구성 탭을 클릭합니다.
버킷 간 복제 옵션을 찾아 수정을 클릭합니다.
버킷 간 복제 수정 창이 표시되면 업데이트하려는 복제 작업 옆에 있는 일시중지 또는 재개를 클릭합니다.

명령줄

업데이트하려는 복제 작업 속성을 제어하는 플래그와 함께 gcloud alpha transfer jobs update 명령어를 사용합니다. 사용 가능한 플래그의 목록은 gcloud alpha transfer jobs update 문서를 참고하세요.

예를 들어 복제 작업의 객체 덮어쓰기 동작을 업데이트하려면 --overwrite-when 플래그와 함께 gcloud alpha transfer jobs update 명령어를 실행합니다.

gcloud alpha transfer jobs update JOB_NAME --overwrite-when=OVERWRITE_OPTION

다음과 같이 바꿉니다.

JOB_NAME을 복제 작업의 고유 ID로 바꿉니다. 예를 들면 1234567890입니다. 전송 작업의 ID를 찾으려면 전송 작업을 나열하거나 확인합니다.
대상 버킷의 기존 객체를 복제 작업의 결과로 덮어쓸 수 있는 방법에 관한 옵션이 있는 OVERWRITE_OPTION. 이는 대상 객체와 소스 객체의 이름이 동일한 경우에 발생할 수 있습니다. 값은 다음 중 하나여야 합니다.
- always: 항상 대상 객체를 덮어씁니다.
- different: 대상 객체 데이터가 소스 객체 데이터와 다른 경우에만 대상 버킷의 객체를 덮어씁니다.
- never: 대상 객체를 덮어쓰지 않습니다.

REST API

JSON API

Authorization 헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.

또는 OAuth 2.0 Playground를 사용하여 액세스 토큰을 만들고 Authorization 헤더에 포함할 수 있습니다.
업데이트하려는 TransferJob 객체의 필드를 포함하는 다음 구조가 포함된 JSON 파일을 만듭니다.
```
{
 "projectId": string,
 "transferJob": {
   object (TransferJob)
 },
   "updateTransferJobFieldMask": UPDATE_MASK
}
```
각 항목의 의미는 다음과 같습니다.
- object (TransferJob)은 업데이트하려는 복제 작업의 필드로 대체됩니다. 자세한 내용은 TransferJob 리소스 표현을 참고하세요.
- UPDATE_MASK는 업데이트하려는 필드 이름을 쉼표로 구분한 목록입니다. 값은 description, transferSpec, notificationConfig, loggingConfig, status 중 하나 이상일 수 있습니다.
포함할 수 있는 필드 이름에 관한 자세한 내용은 transferJobs.patch 요청 본문을 참고하세요.
cURL을 사용하여 transferJobs.patch 요청으로 Storage Transfer Service REST API를 호출합니다.
```
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME"
```
다음과 같이 바꿉니다.
- JOB_NAME을 복제 작업의 고유 ID로 바꿉니다. 예를 들면 1234567890입니다. 복제 작업의 ID를 찾으려면 복제 작업을 나열하세요.

복제 작업 삭제

콘솔

Google Cloud 콘솔에서 Cloud Storage 버킷 페이지로 이동합니다.
버킷으로 이동
버킷 목록에서 복제를 중지할 소스 버킷의 이름을 클릭합니다.
버킷 세부정보 페이지에서 구성 탭을 클릭합니다.
버킷 간 복제 옵션을 찾아 수정을 클릭합니다.
버킷 간 복제 수정 창이 표시되면 삭제하려는 복제 작업 옆에 있는 삭제를 클릭합니다.
대화상자가 표시되면 확인을 클릭합니다.

명령줄

gcloud alpha transfer jobs delete 명령어를 사용합니다.

gcloud alpha transfer jobs delete JOB_NAME

다음과 같이 바꿉니다.

JOB_NAME을 복제 작업의 고유 ID로 바꿉니다. 예를 들면 1234567890입니다. 복제 작업의 ID를 찾으려면 복제 작업을 나열하세요.

REST API

JSON API

Authorization 헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.

또는 OAuth 2.0 Playground를 사용하여 액세스 토큰을 만들고 Authorization 헤더에 포함할 수 있습니다.
cURL을 사용하여 transferJobs.delete 요청으로 Storage Transfer Service REST API를 호출합니다.
```
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME"
```
다음과 같이 바꿉니다.
- JOB_NAME을 복제 작업의 고유 ID로 바꿉니다. 예를 들면 1234567890입니다. 복제 작업의 ID를 찾으려면 복제 작업을 나열하세요.