버킷 간 복제 사용

이 페이지에서는 버킷 간 복제의 개요와 이 기능을 사용하는 방법을 안내합니다.

버킷 간 복제 개요

경우에 따라 한 Cloud Storage 버킷에서 다른 버킷으로 데이터를 복사해야 할 수 있습니다. 버킷 간 복제는 소스 버킷에서 대상 버킷으로 신규 객체와 업데이트된 객체를 비동기식으로 복사합니다.

버킷 간 복제는 데이터가 스토리지 위치, 암호화, 액세스, 스토리지 클래스와 같은 자체 구성이 있는 두 개의 버킷에 존재한다는 점에서 기본 복제 및 터보 복제와 다릅니다. 따라서 데이터 복구 및 가용성을 제공할 뿐만 아니라 다음에도 적합합니다.

데이터 주권: 지리적으로 먼 지역에서 데이터를 유지합니다.
개발 및 프로덕션 버전을 별도로 유지: 개발이 프로덕션 워크로드에 영향을 미치지 않도록 별도의 버킷과 네임스페이스를 만듭니다.
데이터 공유: 공급업체 또는 파트너가 소유한 버킷에 데이터를 복제합니다.
데이터 집계: 여러 버킷의 데이터를 단일 버킷으로 결합하여 분석 워크로드를 실행합니다.
비용, 보안, 규정 준수 관리: 다양한 소유권, 스토리지 클래스, 보관 기간에 따라 데이터를 유지합니다.

버킷 간 복제는 Storage Transfer Service를 사용하여 객체를 복제하고 Pub/Sub를 사용하여 소스 및 대상 버킷의 변경사항에 대한 알림을 수신합니다. 버킷 간 복제는 새로 만드는 새 버킷과 기존 버킷에서 사용 설정할 수 있습니다. 대부분의 객체는 몇 분 내에 복제할 수 있지만 1GiB를 초과하는 객체는 몇 시간이 걸릴 수 있습니다.

시작하기 전에

시작하기 전에 다음 단계를 완료하세요.

Storage Transfer Service API 사용 설정

아직 사용 설정하지 않았다면 Storage Transfer Service API를 사용 설정합니다.

필요한 역할 얻기

버킷 간 복제를 사용하는 데 필요한 권한을 얻으려면 관리자에게 버킷 또는 프로젝트에 대한 스토리지 전송 사용자(roles/storagetransfer.user) IAM 역할을 부여해 달라고 요청하세요.

이 사전 정의된 역할에는 버킷 간 복제를 사용하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

버킷 간 복제를 사용하려면 다음 권한이 필요합니다.

storagetransfer.jobs.create
storagetransfer.jobs.delete
storagetransfer.jobs.get
storagetransfer.jobs.list
storagetransfer.jobs.run
storagetransfer.jobs.update

버킷에 대한 역할 부여는 버킷에 IAM 사용을 참조하세요. 프로젝트에 대한 역할을 부여하는 방법은 프로젝트 액세스 관리를 참조하세요.

필요한 역할 부여

버킷 간 복제는 Pub/Sub를 사용하여 소스 버킷의 변경사항에 대한 알림을 수신하고 Storage Transfer Service를 사용하여 소스 버킷의 객체를 대상 버킷으로 복제합니다. 버킷 간 복제를 사용하려면 Storage Transfer Service에서 데이터를 복제하는 데 사용하는 서비스 에이전트와 Pub/Sub에서 알림을 쓰는 데 사용하는 서비스 에이전트에도 필요한 권한을 부여해야 합니다.

Storage Transfer Service 서비스 에이전트에 필수 역할 부여

Storage Transfer Service는 Google 관리형 서비스 에이전트를 사용하여 데이터를 복제합니다. 이 서비스 에이전트의 이메일 주소는 project-PROJECT_NUMBER@storage-transfer-service. 이름 지정 형식을 따릅니다. Storage Transfer Service googleServiceAccounts.get API를 사용하여 Storage Transfer Service 서비스 에이전트의 이메일 주소를 가져올 수 있습니다.

Storage Transfer Service 서비스 에이전트가 객체를 복제하고 소스 버킷에 대한 Pub/Sub 알림을 설정하려면 다음 권한이 필요합니다.

필수 권한

소스 및 대상 버킷에 대한 storage.buckets.get
소스 버킷에 대한 storage.buckets.update
소스 버킷에 대한 storage.objects.list
소스 버킷에 대한 storage.objects.get
대상 버킷에 대한 storage.objects.rewrite
프로젝트에 대한 pubsub.topics.create 권한

이러한 권한은 Pub/Sub 편집자(roles/pubsub.editor) 역할 및 스토리지 관리자(roles/storage.admin) 역할을 통해 부여할 수 있습니다. 스토리지 관리자 역할보다 권한이 적은 역할의 경우 맞춤 역할을 사용할 수도 있습니다.

Cloud Storage 서비스 에이전트에 필수 역할 부여

Cloud Storage는 Google 관리형 서비스 에이전트를 사용하여 Pub/Sub 알림을 관리합니다. 이 서비스 에이전트의 이메일 주소는 service-PROJECT_NUMBER@gs-project-accounts. 이름 지정 형식을 따릅니다.

Cloud Storage 서비스 에이전트가 Pub/Sub을 설정하고 주제에 메시지를 게시하려면 다음 권한이 필요합니다.

필수 권한

Pub/Sub 주제에 대한 pubsub.topics.publish 권한
Pub/Sub 주제에 대한 pubsub.subscriptions.consume 권한
프로젝트에 대한 pubsub.subscriptions.create 권한

이러한 권한은 Pub/Sub 게시자(roles/pubsub.publisher) 역할을 통해 부여할 수 있습니다.

복제 작업 만들기

콘솔

복제 작업을 만드는 방법에 관한 Google Cloud 콘솔 안내는 Google Cloud 콘솔을 사용하여 복제 작업 만들기를 참고하세요.

명령줄

Google Cloud CLI를 사용하면 기존 버킷의 복제 작업을 만들 수 있습니다.

복제 작업을 만들려면 --replication 플래그와 함께 gcloud alpha transfer jobs create 명령어를 사용합니다.

gcloud alpha transfer jobs create gs://SOURCE_BUCKET_NAME gs://DESTINATION_BUCKET_NAME --replication

다음과 같이 바꿉니다.

SOURCE_BUCKET_NAME을 복제하려는 소스 버킷의 이름으로 바꿉니다. 예를 들면 my-source-bucket입니다.
DESTINATION_BUCKET_NAME을 대상 버킷의 이름으로 바꿉니다. 예를 들면 my-destination-bucket입니다.

REST API

JSON API

JSON API를 사용하면 기존 버킷의 복제 작업을 만들 수 있습니다.

Authorization 헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.

TransferJob 객체와 초기화된 ReplicationSpec 리소스가 포함된 JSON 파일을 만듭니다.
```
TransferJob {
 "name": "TRANSFER_JOB_NAME",
 ...
 ReplicationSpec: {
   "gcsDataSource": {
     "bucketName": "SOURCE_BUCKET_NAME"
   },
   "gcsDataSink" {
     "bucketName": "DESTINATION_BUCKET_NAME"
   },
   "objectConditions": {
   },
   "transferOptions": {
     "overwriteWhen": "OVERWRITE_OPTION"
   }
 }
 ...
}
```
다음과 같이 바꿉니다.
- TRANSFER_JOB_NAME을 복제 작업을 할당할 이름으로 바꿉니다. 이름 지정 요구사항은 transferJobs 참고 문서를 확인하세요.
- SOURCE_BUCKET_NAME을 복제하려는 객체가 포함된 소스 버킷의 이름으로 바꿉니다. 예를 들면 example-source-bucket입니다.
- DESTINATION_BUCKET_NAME을 객체가 복제될 대상 버킷의 이름으로 바꿉니다. 예를 들면 example-destination-bucket입니다.
- 대상 버킷의 기존 객체를 복제 작업의 결과로 덮어쓸 수 있는 방법에 관한 옵션이 있는 OVERWRITE_OPTION. 이는 대상 객체와 소스 객체의 이름이 동일한 경우에 발생할 수 있습니다. 값은 다음 중 하나여야 합니다.
  - ALWAYS: 항상 대상 버킷의 객체를 덮어씁니다.
  - DIFFERENT: 대상 객체 데이터가 소스 객체 데이터와 다른 경우에만 대상 버킷의 객체를 덮어씁니다.
  - NEVER: 대상 버킷의 객체를 덮어쓰지 않습니다.
cURL을 사용하여 transferJobs.create 요청으로 Storage Transfer Service REST API를 호출합니다.
```
curl -X POST --data-binary @JSON_FILE_NAME \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs"
```
각 항목의 의미는 다음과 같습니다.
- JSON_FILE_NAME은 2단계에서 만든 JSON 파일의 이름입니다.

복제 작업의 상태를 확인하려면 Storage Transfer Service용 Cloud Logging 로그를 확인하세요.

복제 작업 나열

콘솔

복제 작업을 나열하는 방법에 관한 Google Cloud 콘솔 안내는 Google Cloud 콘솔을 사용하여 복제 작업 나열을 참고하세요.

명령줄

gcloud alpha transfer jobs list 명령어를 --job-type 플래그와 함께 사용합니다.

gcloud alpha transfer jobs list --job-type=replication

REST API

JSON API

Authorization 헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.

cURL을 사용하여 transferJobs.list 요청으로 Storage Transfer Service REST API를 호출합니다.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs"

복제 작업 보기

콘솔

복제 작업을 보는 방법에 관한 Google Cloud 콘솔 안내는 Google Cloud 콘솔을 사용하여 복제 작업 보기를 참고하세요.

명령줄

gcloud alpha transfer jobs describe 명령어를 사용합니다.

gcloud alpha transfer jobs describe JOB_NAME

다음과 같이 바꿉니다.

JOB_NAME을 복제 작업의 고유 ID로 바꿉니다. 예를 들면 1234567890입니다. 전송 작업의 ID를 찾으려면 복제 작업을 나열합니다.

REST API

JSON API

Authorization 헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.

cURL을 사용하여 transferJobs.get 요청으로 Storage Transfer Service REST API를 호출합니다.
```
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME"
```
다음과 같이 바꿉니다.
- JOB_NAME을 복제 작업의 고유 ID로 바꿉니다. 예를 들면 1234567890입니다. 복제 작업의 ID를 찾으려면 복제 작업을 나열합니다.

복제 작업 업데이트

복제 작업의 다음 필드를 업데이트할 수 있습니다.

복제 작업의 설명
복제 작업 실행 구성
Pub/Sub에 게시된 알림 구성
복제 작업 수행의 로깅 동작
복제 작업의 상태 (사용 설정, 사용 중지 또는 삭제 여부)

콘솔

복제 작업을 업데이트하는 방법에 관한 Google Cloud 콘솔 안내는 Google Cloud 콘솔을 사용하여 복제 작업 업데이트를 참고하세요.

명령줄

업데이트하려는 복제 작업 속성을 제어하는 플래그와 함께 gcloud alpha transfer jobs update 명령어를 사용합니다. 사용 가능한 플래그의 목록은 gcloud alpha transfer jobs update 문서를 참고하세요.

예를 들어 복제 작업의 객체 덮어쓰기 동작을 업데이트하려면 --overwrite-when 플래그와 함께 gcloud alpha transfer jobs update 명령어를 실행합니다.

gcloud alpha transfer jobs update JOB_NAME --overwrite-when=OVERWRITE_OPTION

다음과 같이 바꿉니다.

JOB_NAME을 복제 작업의 고유 ID로 바꿉니다. 예를 들면 1234567890입니다. 전송 작업의 ID를 찾으려면 전송 작업을 나열하거나 확인합니다.
대상 버킷의 기존 객체를 복제 작업의 결과로 덮어쓸 수 있는 방법에 관한 옵션이 있는 OVERWRITE_OPTION. 이는 대상 객체와 소스 객체의 이름이 동일한 경우에 발생할 수 있습니다. 값은 다음 중 하나여야 합니다.
- always: 항상 대상 객체를 덮어씁니다.
- different: 대상 객체 데이터가 소스 객체 데이터와 다른 경우에만 대상 버킷의 객체를 덮어씁니다.
- never: 대상 객체를 덮어쓰지 않습니다.

REST API

JSON API

Authorization 헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.

업데이트하려는 TransferJob 객체의 필드를 포함하는 다음 구조가 포함된 JSON 파일을 만듭니다.
```
{
 "projectId": string,
 "transferJob": {
   object (TransferJob)
 },
   "updateTransferJobFieldMask": UPDATE_MASK
}
```
각 항목의 의미는 다음과 같습니다.
- object (TransferJob)은 업데이트하려는 복제 작업의 필드로 대체됩니다. 자세한 내용은 TransferJob 리소스 표현을 참고하세요.
- UPDATE_MASK는 업데이트하려는 필드 이름을 쉼표로 구분한 목록입니다. 값은 description, transferSpec, notificationConfig, loggingConfig, status 중 하나 이상일 수 있습니다.
포함할 수 있는 필드 이름에 관한 자세한 내용은 transferJobs.patch 요청 본문을 참고하세요.
cURL을 사용하여 transferJobs.patch 요청으로 Storage Transfer Service REST API를 호출합니다.
```
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME"
```
다음과 같이 바꿉니다.
- JOB_NAME을 복제 작업의 고유 ID로 바꿉니다. 예를 들면 1234567890입니다. 복제 작업의 ID를 찾으려면 복제 작업을 나열합니다.

복제 작업 삭제

콘솔

복제 작업을 삭제하는 방법에 관한 Google Cloud 콘솔 안내는 Google Cloud 콘솔을 사용하여 복제 작업 삭제를 참고하세요.

명령줄

gcloud alpha transfer jobs delete 명령어를 사용합니다.

gcloud alpha transfer jobs delete JOB_NAME

다음과 같이 바꿉니다.

JOB_NAME을 복제 작업의 고유 ID로 바꿉니다. 예를 들면 1234567890입니다. 복제 작업의 ID를 찾으려면 복제 작업을 나열합니다.

REST API

JSON API

Authorization 헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.

cURL을 사용하여 transferJobs.delete 요청으로 Storage Transfer Service REST API를 호출합니다.
```
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME"
```
다음과 같이 바꿉니다.
- JOB_NAME을 복제 작업의 고유 ID로 바꿉니다. 예를 들면 1234567890입니다. 복제 작업의 ID를 찾으려면 복제 작업을 나열합니다.