S3 호환 소스에서 전송

Storage Transfer Service는 Amazon S3 API와 호환되는 클라우드 또는 온프레미스 객체 스토리지 시스템에서의 전송을 지원합니다.

Storage Transfer Service는 데이터 소스와 가까운 VM에 배포된 전송 에이전트를 사용하여 S3 호환 소스의 데이터에 액세스합니다. 이러한 에이전트는 Docker 컨테이너에서 실행되며 에이전트 풀에 속합니다. 에이전트 풀은 동일한 구성을 사용하고 전체적으로 데이터를 병렬로 이동시키는 에이전트 모음입니다.

이 기능을 사용하여 온프레미스 또는 클라우드 객체 스토리지에서 Cloud Storage로 마이그레이션하거나 데이터를 보관처리하여 온프레미스 스토리지 용량을 확보하거나 비즈니스 연속성을 위해 Google Cloud에 데이터 복제하거나 분석 및 처리를 위해 Google Cloud로 데이터를 전송할 수 있습니다. AWS S3에서 Cloud Storage로 마이그레이션하는 고객에게 이 기능은 Google Cloud로의 네트워크 경로를 제어할 수 있는 옵션을 제공하여 아웃바운드 데이터 전송 비용이 상당히 절감됩니다.

시작하기 전에

전송을 구성하기 전에 다음 단계를 완료하세요.

에이전트 ID 프리픽스, 에이전트 풀 이름 또는 전송 작업 이름에 개인 식별 정보(PII) 또는 보안 데이터와 같은 민감한 정보를 포함하지 마세요. 리소스 이름은 다른 Google Cloud 리소스의 이름으로 전파될 수 있으며 프로젝트 외부의 Google 내부 시스템에 노출될 수 있습니다.

소스 사용자 인증 정보 가져오기

S3 호환 소스에서 전송하려면 액세스 키 ID 및 보안 비밀 액세스 키가 필요합니다.

이를 가져오는 단계는 스토리지 제공업체에 따라 다릅니다.

ID와 키가 생성되는 계정에는 다음 권한 중 하나가 필요합니다.

  • 소스에서 객체를 삭제하지 않으려는 경우 소스 객체에 대한 읽기 전용 권한
  • 전송 중에 소스에서 객체를 삭제하는 경우 소스 객체에 대한 전체 액세스 권한

계정을 만들고, 권한을 추가하고, 액세스 키 ID 및 보안 비밀 액세스 키를 다운로드했으면 ID와 키를 안전한 곳에 저장합니다.

대상 버킷에 대한 액세스 구성

싱크에 대한 액세스 구성: Cloud Storage의 안내에 따라 대상 버킷에 대한 액세스를 구성합니다.

에이전트 풀 만들기

에이전트 풀 이름에 개인 식별 정보(PII) 또는 보안 데이터와 같은 민감한 정보를 포함하지 마세요. 리소스 이름은 다른 Google Cloud 리소스의 이름으로 전파될 수 있으며 프로젝트 외부의 Google 내부 시스템에 노출될 수 있습니다.

에이전트 풀을 만들려면 다음 안내를 따르세요.

Google Cloud 콘솔

  1. Google Cloud 콘솔에서 에이전트 풀 페이지로 이동합니다.

    에이전트 풀로 이동

    에이전트 풀 페이지가 표시되고 기존 에이전트 풀이 나열됩니다.

  2. 다른 풀 만들기를 클릭합니다.

  3. 풀 이름을 지정하고 필요한 경우 설명합니다.

  4. 풀에 전체 대역폭 단위로 적용할 대역폭 한도를 설정할 수 있습니다. 지정된 대역폭(MB/s)이 풀에 있는 모든 에이전트로 분할됩니다. 자세한 내용은 네트워크 대역폭 관리를 참조하세요.

  5. 만들기를 클릭합니다.

REST API

projects.agentPools.create를 사용합니다.

POST https://storagetransfer.googleapis.com/v1/projects/PROJECT_ID/agentPools?agent_pool_id=AGENT_POOL_ID

각 항목의 의미는 다음과 같습니다.

  • PROJECT_ID: 에이전트 풀을 만들려는 프로젝트 ID입니다.
  • AGENT_POOL_ID: 만들려는 에이전트 풀 ID입니다.

에이전트 풀이 Creating 상태에서 30분이 넘게 정체되는 경우 에이전트 풀을 삭제하고 다시 만드는 것이 좋습니다.

에이전트 풀이 Creating 상태일 때 프로젝트에서 필수 Storage Transfer Service 권한을 취소하면 잘못된 서비스 동작이 발생합니다.

gcloud CLI

gcloud 명령줄 도구로 에이전트 풀을 만들려면 [gcloud transfer agent-pools create][agent-pools-create]를 실행합니다.

gcloud transfer agent-pools create AGENT_POOL

사용 가능한 옵션은 다음과 같습니다.

  • AGENT_POOL은 이 풀의 고유한 영구 식별자입니다.

  • --no-async는 풀이 생성될 때까지 터미널에서 다른 태스크를 차단합니다. 이를 포함하지 않으면 풀 생성이 비동기적으로 실행됩니다.

  • --bandwidth-limit는 이 풀의 에이전트에 제공할 수 있는 대역폭 양을 MB/초 단위로 정의합니다. 대역폭 한도는 풀의 모든 에이전트에 적용되며 풀의 전송 워크로드가 대역폭을 공유하는 다른 작업을 중단시키는 것을 방지할 수 있습니다. 예를 들어 대역폭 한도를 50MB/s로 설정하려면 '50'을 입력합니다. 이 플래그를 지정하지 않으면 이 풀의 에이전트는 사용 가능한 모든 대역폭을 사용합니다.

  • --display-name은 이 풀을 식별하는 데 도움이 되는 수정 가능한 이름입니다. 풀의 고유한 전체 리소스 이름에 맞지 않을 수 있는 세부정보를 포함할 수 있습니다.

전송 에이전트 설치

전송 에이전트는 Storage Transfer Service를 통해 소스의 전송 활동을 조정하는 소프트웨어 에이전트입니다. 소스 데이터에 대한 액세스 권한이 있는 시스템에 설치해야 합니다.

gcloud CLI

gcloud CLI를 사용하여 S3 호환 소스에 사용할 에이전트를 설치하려면 transfer agents install 명령어를 사용합니다.

액세스 사용자 인증 정보를 환경 변수로 AWS_ACCESS_KEY_ID 및 AWS_SECRET_ACCESS_KEY 값으로 제공하거나 시스템 구성 파일에 기본 사용자 인증 정보로 저장해야 합니다.

export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME

서비스 계정 키를 사용하여 에이전트를 만들려면 --creds-file 옵션을 사용합니다.

gcloud transfer agents install --pool=POOL_NAME \
  --creds-file=/relative/path/to/service-account-key.json

전송 에이전트를 실행하는 데 사용되는 사용자 또는 서비스 계정에 다음 IAM 역할을 부여해야 합니다.

전송 작업 만들기

Google Cloud 콘솔

S3 호환 소스에서 Cloud Storage 버킷으로의 전송을 만들려면 다음 단계를 따르세요.

  1. Google Cloud Console의 Storage Transfer Service 페이지로 이동합니다.

    Storage Transfer Service로 이동

  2. 전송 작업 만들기를 클릭합니다. 전송 작업 만들기 페이지가 표시됩니다.

  3. 소스 유형으로 S3 호환 객체 스토리지를 선택합니다. 대상 위치는 Google Cloud Storage여야 합니다.

    다음 단계를 클릭합니다.

소스 구성

  1. 이 전송에 필요한 정보를 지정합니다.

    1. 이 전송에 대해 구성한 에이전트 풀을 선택합니다.

    2. 엔드포인트를 기준으로 버킷 이름을 입력합니다. 예를 들어 데이터가 다음 위치에 있는 경우:

      https://example.com/bucket_a

      bucket_a 입력

    3. 엔드포인트를 입력합니다. 프로토콜(http:// 또는 https://)을 포함하지 마세요. 예를 들면 다음과 같습니다.

      example.com

  2. 이 전송의 선택적 속성을 지정합니다.

    1. 요청 서명에 사용할 서명 리전을 입력합니다.

    2. 이 요청에 대한 서명 프로세스를 선택합니다.

    3. 주소 지정 스타일을 선택합니다. 이에 따라 버킷 이름이 경로 스타일로 제공되는지 여부(예: https://example.com/bucket-name/key-name) 또는 가상 호스팅 스타일(예: https://bucket-name.example.com/key-name)입니다. 자세한 내용은 Amazon 문서의 Virtual hosting of buckets를 참조하세요.

    4. 네트워크 프로토콜을 선택합니다.

    5. 사용할 목록 API 버전을 선택합니다. 자세한 내용은 ListObjectsV2 및 ListObjects 문서를 참조하세요.

  3. 다음 단계를 클릭합니다.

싱크 구성

  1. 버킷 또는 폴더 필드에 대상 버킷과 폴더 이름(선택사항)을 입력하거나 찾아보기를 클릭하여 현재 프로젝트의 기존 목록에서 버킷을 선택합니다. 새 버킷을 만들려면 새 버킷 만들기를 클릭합니다.

  2. 다음 단계를 클릭합니다.

전송 설정 선택

  1. 설명 필드에 전송 설명을 입력합니다. 작업을 구분할 수 있도록 의미 있고 고유한 설명을 입력하는 것이 좋습니다.

  2. 메타데이터 옵션에서 기본 옵션을 사용하도록 선택하거나 옵션 보기 및 선택을 클릭하여 지원되는 모든 메타데이터의 값을 지정합니다. 자세한 내용은 메타데이터 보존을 참조하세요.

  3. 덮어쓸 시점에서 다음 중 하나를 선택합니다.

    • 다른 경우: 이름이 같은 소스 파일에 다른 Etag 또는 체크섬 값이 있는 경우 대상 파일을 덮어씁니다.

    • 항상: 소스 파일 이름이 같으면 동일하더라도 항상 대상 파일을 덮어씁니다.

  4. 삭제 시점에서 다음 중 하나를 선택합니다.

    • 삭제 안함: 소스 또는 대상 위치에서 파일을 삭제하지 않습니다.

    • 전송 후 소스에서 파일 삭제: 파일이 대상으로 전송된 후 소스에서 파일을 삭제합니다.

    • 소스에도 없는 경우 대상 위치에서 파일 삭제: 대상 Cloud Storage 버킷의 파일이 소스에도 없는 경우 Cloud Storage 버킷에서 파일을 삭제합니다.

      이 옵션을 사용하면 대상 Cloud Storage 버킷이 소스와 정확하게 일치합니다.

  5. 알림 옵션에서 Pub/Sub 주제 및 알림을 받을 이벤트를 선택합니다. 자세한 내용은 Pub/Sub 알림을 참조하세요.

  6. 다음 단계를 클릭합니다.

전송 예약

전송을 한 번만 실행하도록 예약하거나 반복 전송을 구성할 수 있습니다.

만들기를 클릭하여 전송 작업을 만듭니다.

gcloud CLI

gcloud CLI를 사용하여 전송을 만들기 전에 Cloud Storage 싱크에 대한 액세스 구성의 안내를 따르세요.

gcloud CLI를 사용하여 S3 호환 소스에서 Cloud Storage 버킷으로의 전송을 만들려면 다음 명령어를 사용합니다.

gcloud transfer jobs create s3://SOURCE_BUCKET_NAME gs://SINK_BUCKET_NAME \
  --source-agent-pool=POOL_NAME \
  --source-endpoint=ENDPOINT \
  --source-signing-region=REGION \
  --source-auth-method=AWS_SIGNATURE_V2 | AWS_SIGNATURE_V4 \
  --source-request-model=PATH_STYLE | VIRTUAL_HOSTED_STYLE \
  --source-network-protocol=HTTP | HTTPS \
  --source-list-api=LIST_OBJECTS | LIST_OBJECTS_V2

다음 플래그는 필수입니다.

  • --source-agent-pool은 이 전송에 사용할 에이전트 풀의 이름입니다.

  • --source-endpoint는 스토리지 시스템의 엔드포인트를 지정합니다. 예를 들면 s3.us-east.example.com입니다. 올바른 형식을 제공업체에 문의하세요.

나머지 플래그는 선택사항입니다.

  • --source-signing-region은 요청에 서명할 리전을 지정합니다. 스토리지 제공업체에 서명 리전이 필요하지 않으면 이 플래그를 생략합니다.
  • --source-auth-method는 사용할 인증 방법을 지정합니다. 유효한 값은 AWS_SIGNATURE_V2 또는 AWS_SIGNATURE_V4입니다. 자세한 내용은 Amazon의 SigV4 및 SigV2 문서를 참조하세요.
  • --source-request-model은 사용할 주소 지정 스타일을 지정합니다. 유효한 값은 PATH_STYLE 또는 VIRTUAL_HOSTED_STYLE입니다. 경로 스타일은 https://s3.REGION.example.com/BUCKET_NAME/KEY_NAME 형식을 사용합니다. 가상 호스팅 스타일은 'https://BUCKET_NAME.s3.REGION.example.com/KEY_NAME 형식을 사용합니다.
  • --source-network-protocol은 에이전트가 이 작업에 사용해야 하는 네트워크 프로토콜을 지정합니다. 유효한 값은 HTTP 또는 HTTPS입니다.
  • --source-list-api는 버킷에서 객체를 반환하기 위한 S3 Listing API 버전을 지정합니다. 유효한 값은 LIST_OBJECTS 또는 LIST_OBJECTS_V2입니다. 자세한 내용은 Amazon의 ListObjectsV2 및 ListObjects 문서를 참조하세요.

추가 전송 작업 옵션을 보려면 gcloud transfer jobs create --help를 실행하거나 gcloud 참조 문서를 참조하세요.

REST API

REST API를 사용하여 전송을 만들기 전에 Cloud Storage 싱크에 대한 액세스 구성의 안내를 따르세요.

REST API를 사용하여 S3 호환 소스로부터의 전송을 만들려면 다음 예시와 유사한 JSON 객체를 만듭니다.

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  ...
  "transferSpec": {
    "source_agent_pool_name":"POOL_NAME",
    "awsS3CompatibleData": {
      "region":"us-east-1",
      "s3Metadata":{
        "protocol": "NETWORK_PROTOCOL_HTTPS",
        "requestModel": "REQUEST_MODEL_VIRTUAL_HOSTED_STYLE",
        "authMethod": "AUTH_METHOD_AWS_SIGNATURE_V4"
      },
      "endpoint": "example.com",
      "bucketName": "BUCKET_NAME",
      "path": "PATH",
    },
    "gcsDataSink": {
      "bucketName": "SINK_NAME",
      "path": "SINK_PATH"
    },
    "transferOptions": {
      "deleteObjectsFromSourceAfterTransfer": false
    }
  }
}

필드 설명은 AwsS3CompatibleData API 참조를 확인하세요.

클라이언트 라이브러리

클라이언트 라이브러리를 사용하여 전송을 만들기 전에 Cloud Storage 싱크에 대한 액세스 구성의 안내를 따르세요.

Go

Storage Transfer Service용 클라이언트 라이브러리를 설치하고 사용하는 방법은 Storage Transfer Service 클라이언트 라이브러리를 참조하세요. 자세한 내용은 Storage Transfer Service Go API 참고 문서를 참조하세요.

Storage Transfer Service에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요. 


import (
	"context"
	"fmt"
	"io"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
)

func transferFromS3CompatibleSource(w io.Writer, projectID string, sourceAgentPoolName string, sourceBucketName string, sourcePath string, gcsSinkBucket string, gcsPath string) (*storagetransferpb.TransferJob, error) {
	// Your project id.
	// projectId := "my-project-id"

	// The agent pool associated with the S3 compatible data source. If not provided, defaults to the default agent.
	// sourceAgentPoolName := "projects/my-project/agentPools/transfer_service_default"

	// The S3 compatible bucket name to transfer data from.
	//sourceBucketName = "my-bucket-name"

	// The S3 compatible path (object prefix) to transfer data from.
	//sourcePath = "path/to/data"

	// The ID of the GCS bucket to transfer data to.
	//gcsSinkBucket = "my-sink-bucket"

	// The GCS path (object prefix) to transfer data to.
	//gcsPath = "path/to/data"

	// The S3 region of the source bucket.
	region := "us-east-1"

	// The S3 compatible endpoint.
	endpoint := "us-east-1.example.com"

	// The S3 compatible network protocol.
	protocol := storagetransferpb.S3CompatibleMetadata_NETWORK_PROTOCOL_HTTPS

	// The S3 compatible request model.
	requestModel := storagetransferpb.S3CompatibleMetadata_REQUEST_MODEL_VIRTUAL_HOSTED_STYLE

	// The S3 Compatible auth method.
	authMethod := storagetransferpb.S3CompatibleMetadata_AUTH_METHOD_AWS_SIGNATURE_V4

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId: projectID,
			TransferSpec: &storagetransferpb.TransferSpec{
				SourceAgentPoolName: sourceAgentPoolName,
				DataSource: &storagetransferpb.TransferSpec_AwsS3CompatibleDataSource{
					AwsS3CompatibleDataSource: &storagetransferpb.AwsS3CompatibleData{
						BucketName: sourceBucketName,
						Path:       sourcePath,
						Endpoint:   endpoint,
						Region:     region,
						DataProvider: &storagetransferpb.AwsS3CompatibleData_S3Metadata{
							S3Metadata: &storagetransferpb.S3CompatibleMetadata{
								AuthMethod:   authMethod,
								RequestModel: requestModel,
								Protocol:     protocol,
							},
						},
					}},
				DataSink: &storagetransferpb.TransferSpec_GcsDataSink{
					GcsDataSink: &storagetransferpb.GcsData{
						BucketName: gcsSinkBucket,
						Path:       gcsPath,
					},
				},
			},
			Status: storagetransferpb.TransferJob_ENABLED,
		},
	}

	resp, err := client.CreateTransferJob(ctx, req)
	if err != nil {
		return nil, fmt.Errorf("failed to create transfer job: %w", err)
	}
	if _, err = client.RunTransferJob(ctx, &storagetransferpb.RunTransferJobRequest{
		ProjectId: projectID,
		JobName:   resp.Name,
	}); err != nil {
		return nil, fmt.Errorf("failed to run transfer job: %w", err)
	}
	fmt.Fprintf(w, "Created and ran transfer job from %v to %v with name %v", sourceBucketName, gcsSinkBucket, resp.Name)
	return resp, nil
}

Java

Storage Transfer Service용 클라이언트 라이브러리를 설치하고 사용하는 방법은 Storage Transfer Service 클라이언트 라이브러리를 참조하세요. 자세한 내용은 Storage Transfer Service Java API 참고 문서를 참조하세요.

Storage Transfer Service에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요. 

import static com.google.storagetransfer.v1.proto.TransferTypes.S3CompatibleMetadata.AuthMethod;
import static com.google.storagetransfer.v1.proto.TransferTypes.S3CompatibleMetadata.NetworkProtocol;
import static com.google.storagetransfer.v1.proto.TransferTypes.S3CompatibleMetadata.RequestModel;

import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto;
import com.google.storagetransfer.v1.proto.TransferTypes;
import com.google.storagetransfer.v1.proto.TransferTypes.GcsData;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferSpec;
import java.io.IOException;

public class TransferFromS3CompatibleSource {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.

    // Your project id
    String projectId = "my-project-id";

    // The agent pool associated with the S3 compatible data source. If not provided, defaults to
    // the default agent
    String sourceAgentPoolName = "projects/my-project-id/agentPools/transfer_service_default";

    // The S3 compatible bucket name to transfer data from
    String sourceBucketName = "my-bucket-name";

    // The S3 compatible path (object prefix) to transfer data from
    String sourcePath = "path/to/data";

    // The ID of the GCS bucket to transfer data to
    String gcsSinkBucket = "my-sink-bucket";

    // The GCS path (object prefix) to transfer data to
    String gcsPath = "path/to/data";

    // The S3 region of the source bucket
    String region = "us-east-1";

    // The S3 compatible endpoint
    String endpoint = "us-east-1.example.com";

    // The S3 compatible network protocol
    NetworkProtocol protocol = NetworkProtocol.NETWORK_PROTOCOL_HTTPS;

    // The S3 compatible request model
    RequestModel requestModel = RequestModel.REQUEST_MODEL_VIRTUAL_HOSTED_STYLE;

    // The S3 Compatible auth method
    AuthMethod authMethod = AuthMethod.AUTH_METHOD_AWS_SIGNATURE_V4;

    transferFromS3CompatibleSource(
        projectId,
        sourceAgentPoolName,
        sourceBucketName,
        sourcePath,
        region,
        endpoint,
        protocol,
        requestModel,
        authMethod,
        gcsSinkBucket,
        gcsPath);
  }

  public static void transferFromS3CompatibleSource(
      String projectId,
      String sourceAgentPoolName,
      String sourceBucketName,
      String sourcePath,
      String region,
      String endpoint,
      NetworkProtocol protocol,
      RequestModel requestModel,
      AuthMethod authMethod,
      String gcsSinkBucket,
      String gcsPath)
      throws IOException {
    TransferJob transferJob =
        TransferJob.newBuilder()
            .setProjectId(projectId)
            .setTransferSpec(
                TransferSpec.newBuilder()
                    .setSourceAgentPoolName(sourceAgentPoolName)
                    .setAwsS3CompatibleDataSource(
                        TransferTypes.AwsS3CompatibleData.newBuilder()
                            .setRegion(region)
                            .setEndpoint(endpoint)
                            .setBucketName(sourceBucketName)
                            .setPath(sourcePath)
                            .setS3Metadata(
                                TransferTypes.S3CompatibleMetadata.newBuilder()
                                    .setProtocol(protocol)
                                    .setRequestModel(requestModel)
                                    .setAuthMethod(authMethod)
                                    .build())
                            .build())
                    .setGcsDataSink(
                        GcsData.newBuilder().setBucketName(gcsSinkBucket).setPath(gcsPath).build()))
            .setStatus(TransferJob.Status.ENABLED)
            .build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources,
    // or use "try-with-close" statement to do this automatically.
    try (StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create()) {

      // Create the transfer job
      TransferJob response =
          storageTransfer.createTransferJob(
              TransferProto.CreateTransferJobRequest.newBuilder()
                  .setTransferJob(transferJob)
                  .build());

      System.out.println(
          "Created a transfer job from "
              + sourceBucketName
              + " to "
              + gcsSinkBucket
              + " with "
              + "name "
              + response.getName());
    }
  }
}

Node.js

Storage Transfer Service용 클라이언트 라이브러리를 설치하고 사용하는 방법은 Storage Transfer Service 클라이언트 라이브러리를 참조하세요. 자세한 내용은 Storage Transfer Service Node.js API 참고 문서를 참조하세요.

Storage Transfer Service에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요. 


// Imports the Google Cloud client library
const storageTransfer = require('@google-cloud/storage-transfer');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// Useful enums for AWS S3-Compatible Transfers
// const {AuthMethod, NetworkProtocol, RequestModel} = storageTransfer.protos.google.storagetransfer.v1.S3CompatibleMetadata;

// Your project id
// const projectId = 'my-project';

// The agent pool associated with the S3-compatible data source. Defaults to the default agent
// const sourceAgentPoolName = 'projects/my-project/agentPools/transfer_service_default';

// The S3-compatible bucket name to transfer data from
// const sourceBucketName = "my-bucket-name";

// The S3-compatible path (object prefix) to transfer data from
// const sourcePath = "path/to/data/";

// The ID of the GCS bucket to transfer data to
// const gcsSinkBucket = "my-sink-bucket";

// The GCS path (object prefix) to transfer data to
// const gcsPath = "path/to/data/";

// The S3 region of the source bucket
// const region = 'us-east-1';

// The S3-compatible endpoint
// const endpoint = "us-east-1.example.com";

// The S3-compatible network protocol
// const protocol = NetworkProtocol.NETWORK_PROTOCOL_HTTPS;

// The S3-compatible request model
// const requestModel = RequestModel.REQUEST_MODEL_VIRTUAL_HOSTED_STYLE;

// The S3-compatible auth method
// const authMethod = AuthMethod.AUTH_METHOD_AWS_SIGNATURE_V4;

// Creates a client
const client = new storageTransfer.StorageTransferServiceClient();

/**
 * Creates a transfer from an AWS S3-compatible source to GCS
 */
async function transferFromS3CompatibleSource() {
  // Runs the request and creates the job
  const [transferJob] = await client.createTransferJob({
    transferJob: {
      projectId,
      transferSpec: {
        sourceAgentPoolName,
        awsS3CompatibleDataSource: {
          region,
          s3Metadata: {
            authMethod,
            protocol,
            requestModel,
          },
          endpoint,
          bucketName: sourceBucketName,
          path: sourcePath,
        },
        gcsDataSink: {
          bucketName: gcsSinkBucket,
          path: gcsPath,
        },
      },
      status: 'ENABLED',
    },
  });

  await client.runTransferJob({
    jobName: transferJob.name,
    projectId,
  });

  console.log(
    `Created and ran a transfer job from '${sourceBucketName}' to '${gcsSinkBucket}' with name ${transferJob.name}`
  );
}

transferFromS3CompatibleSource();

Python

Storage Transfer Service용 클라이언트 라이브러리를 설치하고 사용하는 방법은 Storage Transfer Service 클라이언트 라이브러리를 참조하세요. 자세한 내용은 Storage Transfer Service Python API 참고 문서를 참조하세요.

Storage Transfer Service에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요. 

from google.cloud import storage_transfer

AuthMethod = storage_transfer.S3CompatibleMetadata.AuthMethod
NetworkProtocol = storage_transfer.S3CompatibleMetadata.NetworkProtocol
RequestModel = storage_transfer.S3CompatibleMetadata.RequestModel

def transfer_from_S3_compat_to_gcs(
    project_id: str,
    description: str,
    source_agent_pool_name: str,
    source_bucket_name: str,
    source_path: str,
    gcs_sink_bucket: str,
    gcs_path: str,
    region: str,
    endpoint: str,
    protocol: NetworkProtocol,
    request_model: RequestModel,
    auth_method: AuthMethod,
) -> None:
    """Creates a transfer from an AWS S3-compatible source to GCS"""

    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project'

    # A useful description for your transfer job
    # description = 'My transfer job'

    # The agent pool associated with the S3-compatible data source.
    # Defaults to 'projects/{project_id}/agentPools/transfer_service_default'
    # source_agent_pool_name = 'projects/my-project/agentPools/my-agent'

    # The S3 compatible bucket name to transfer data from
    # source_bucket_name = "my-bucket-name"

    # The S3 compatible path (object prefix) to transfer data from
    # source_path = "path/to/data/"

    # The ID of the GCS bucket to transfer data to
    # gcs_sink_bucket = "my-sink-bucket"

    # The GCS path (object prefix) to transfer data to
    # gcs_path = "path/to/data/"

    # The S3 region of the source bucket
    # region = 'us-east-1'

    # The S3-compatible endpoint
    # endpoint = "us-east-1.example.com"

    # The S3-compatible network protocol
    # protocol = NetworkProtocol.NETWORK_PROTOCOL_HTTPS

    # The S3-compatible request model
    # request_model = RequestModel.REQUEST_MODEL_VIRTUAL_HOSTED_STYLE

    # The S3-compatible auth method
    # auth_method = AuthMethod.AUTH_METHOD_AWS_SIGNATURE_V4

    transfer_job_request = storage_transfer.CreateTransferJobRequest(
        {
            "transfer_job": {
                "project_id": project_id,
                "description": description,
                "status": storage_transfer.TransferJob.Status.ENABLED,
                "transfer_spec": {
                    "source_agent_pool_name": source_agent_pool_name,
                    "aws_s3_compatible_data_source": {
                        "region": region,
                        "s3_metadata": {
                            "auth_method": auth_method,
                            "protocol": protocol,
                            "request_model": request_model,
                        },
                        "endpoint": endpoint,
                        "bucket_name": source_bucket_name,
                        "path": source_path,
                    },
                    "gcs_data_sink": {
                        "bucket_name": gcs_sink_bucket,
                        "path": gcs_path,
                    },
                },
            }
        }
    )

    result = client.create_transfer_job(transfer_job_request)
    print(f"Created transferJob: {result.name}")

자주 묻는 질문(FAQ)

S3 호환 스토리지에서 전송하는 데 비용이 드나요?

S3 호환 스토리지의 전송은 'Storage Transfer Service 전송 필요 에이전트' 요금이 발생하지 않습니다. 발생할 수 있는 기타 요금은 가격 책정을 참조하세요. 소스 클라우드 제공업체에서 아웃바운드 데이터 전송 및 작업 비용도 발생할 수 있습니다.

Cloud Logging이 S3 호환 스토리지 전송에 지원되나요?

예, Storage Transfer Service의 Cloud Logging의 안내에 따라 전송에 대해 Cloud Logging을 사용 설정할 수 있습니다.

매니페스트를 사용한 전송이 지원되나요?

예, 매니페스트 파일은 S3 호환 전송에 지원됩니다.

작업이 시작된 후 소스 버킷에 객체를 추가하면 객체가 전송되나요?

Storage Transfer Service는 소스 버킷에서 목록 작업을 수행하여 대상과의 차이를 계산합니다. 새 객체가 추가될 때 목록 작업이 이미 완료된 경우 해당 객체는 다음 전송까지 건너뜁니다.

Storage Transfer Service는 S3 호환 소스에서 체크섬 일치를 수행하나요?

Storage Transfer Service는 소스에서 반환되는 체크섬 데이터를 사용합니다. S3 호환 스토리지의 경우 Storage Transfer Service는 객체의 Etag가 객체의 MD5 해시라고 가정합니다.

하지만 S3 멀티파트 업로드를 사용하여 S3 호환 스토리지로 전송된 모든 객체에는 MD5 ETag가 없습니다. 이 경우 Storage Transfer Service는 파일 크기를 사용하여 전송된 객체를 검증합니다.

S3 호환 스토리지에서 전송할 때 어떤 처리량을 달성할 수 있나요?

전송 에이전트를 더 추가하여 전송 처리량을 확장할 수 있습니다. 내결함성을 위해 3개의 에이전트를 사용하고 10Gbps 미만으로 파이프를 채우는 것이 좋습니다. 확장하려면 에이전트를 더 추가합니다. 전송이 진행되는 동안 에이전트를 추가 및 삭제할 수 있습니다.

Amazon S3에서 Cloud Storage로 데이터를 전송하려면 전송 에이전트를 어디에 배포해야 하나요?

버킷과 동일한 리전 내에서 Amazon EC2 또는 EKS에 에이전트를 설치할 수 있습니다. 가장 가까운 리전의 Google Cloud에서 에이전트를 실행할 수도 있습니다.