Mentransfer dari penyimpanan yang kompatibel dengan S3 ke Cloud Storage

Storage Transfer Service mendukung transfer dari penyimpanan objek cloud atau lokal yang kompatibel dengan Amazon S3 API.

Storage Transfer Service mengakses data Anda di penyimpanan yang kompatibel dengan S3 menggunakan transfer dan agen yang di-deploy di VM yang dekat dengan sumber data. Agen ini berjalan di Docker dan termasuk dalam kumpulan agen, yaitu kumpulan agen yang menggunakan konfigurasi yang sama dan secara kolektif memindahkan data Anda secara paralel.

Dengan fitur ini, Anda dapat bermigrasi dari penyimpanan lokal atau objek cloud ke Cloud Storage, arsip untuk mengosongkan kapasitas penyimpanan lokal, mereplikasi data ke Google Cloud untuk kelangsungan bisnis, atau transfer data ke Google Cloud untuk analisis dan pemrosesan. Untuk pelanggan yang bermigrasi dari AWS S3 ke Cloud Storage, fitur ini memberikan opsi untuk mengontrol rute jaringan ke Google Cloud, yang menghasilkan biaya transfer data keluar.

Sebelum memulai

Sebelum mengonfigurasi transfer Anda, selesaikan langkah-langkah berikut:

Mendapatkan kredensial sumber

Transfer dari penyimpanan yang kompatibel dengan S3 memerlukan ID kunci akses dan kunci akses rahasia.

Langkah-langkah untuk mendapatkannya bergantung pada penyedia penyimpanan Anda.

Akun yang digunakan untuk membuat ID dan kunci memerlukan salah satu izin berikut:

  • Izin hanya baca pada objek sumber, jika Anda tidak ingin menghapus objek di sumbernya.
  • Akses penuh ke objek sumber, jika Anda memilih untuk menghapus objek pada sumber sebagai sebagai bagian dari transfer.

Setelah Anda membuat akun, tambahkan izin, dan unduh ID kunci akses dan kunci akses rahasia, simpan ID dan kunci tersebut di brankas saat ini.

Mengonfigurasi izin Google Cloud

Sebelum membuat transfer, Anda harus mengonfigurasi izin untuk entitas:

Akun pengguna yang digunakan untuk membuat transfer. Ini adalah yang login ke Konsol Google Cloud, atau akun yang yang ditentukan saat mengautentikasi ke CLI `gcloud`. Akun pengguna dapat akun pengguna biasa, atau akun layanan yang dikelola pengguna.
Akun layanan yang dikelola Google, juga dikenal sebagai layanan , yang digunakan oleh Storage Transfer Service. Akun ini umumnya diidentifikasi oleh alamat emailnya, yang menggunakan format project-PROJECT_NUMBER@storage-transfer-service..
Akun agen transfer yang menyediakan Google Cloud untuk agen transfer. Akun agen transfer menggunakan kredensial pengguna yang menginstalnya, atau kredensial pengguna akun layanan yang dikelola pengguna, untuk melakukan otentikasi.

Lihat Izin transfer berbasis agen untuk melihat petunjuk.

Opsi transfer

Fitur Storage Transfer Service berikut tersedia untuk transfer dari ke Cloud Storage yang kompatibel dengan S3:

Mentransfer file tertentu menggunakan manifes
Anda dapat meneruskan daftar file agar Storage Transfer Service dapat ditindaklanjuti. Lihat Mentransfer file tertentu atau menggunakan manifes untuk mengetahui detailnya.
Menentukan kelas penyimpanan
Anda dapat menentukan Kelas penyimpanan Cloud Storage yang akan digunakan untuk data Anda di tujuan direktori VM dengan bucket. Lihat StorageClass opsi untuk detail REST, atau gunakan --custom-storage-class dengan Google Cloud CLI.

Perhatikan bahwa setelan kelas penyimpanan apa pun akan diabaikan jika tujuan bucket mengaktifkan Autoclass. Jika Autoclass diaktifkan, objek yang ditransfer ke dalam bucket pada awalnya akan ke Standard Storage.

Penyimpanan metadata

Saat mentransfer file dari penyimpanan yang kompatibel dengan S3, Storage Transfer Service dapat secara opsional mempertahankan atribut tertentu sebagai metadata khusus.

Lihat penyimpanan yang kompatibel dengan Amazon S3 atau S3 ke Cloud Bagian Penyimpanan dari Penyimpanan metadata untuk detail tentang metadata yang dapat dipertahankan, dan cara mengonfigurasi transfer Anda.

Logging dan pemantauan
Transfer dari penyimpanan yang kompatibel dengan S3 dapat dilihat di Cloud Logging dan dan konfigurasi di Cloud Monitoring. Lihat Cloud Logging untuk Storage Transfer Service dan Memantau transfer lowongan untuk mengetahui detailnya. Anda juga dapat mengonfigurasi Pub/Sub notifikasi.

Membuat kumpulan agen

Jangan sertakan informasi sensitif seperti informasi identitas pribadi (PII) atau data keamanan di nama kumpulan agen atau awalan ID agen Anda. Nama resource mungkin disebarkan ke nama resource Google Cloud lainnya dan dapat diekspos ke sistem internal Google di luar project Anda.

Untuk membuat kumpulan agen:

Konsol Google Cloud

  1. Di Konsol Google Cloud, buka halaman Agent pool.

    Buka kumpulan Agen

    Halaman Kumpulan agen akan ditampilkan, yang mencantumkan kumpulan agen Anda yang sudah ada.

  2. Klik Create another pool.

  3. Beri nama kumpulan Anda, dan jika perlu, deskripsikan.

  4. Anda dapat memilih untuk menetapkan batas bandwidth yang akan diterapkan ke kumpulan tersebut sebagai keseluruhan. {i>Bandwidth<i} yang ditentukan dalam MB/dtk akan dibagi di antara semua agen di dalam kumpulan. Lihat Mengelola bandwidth jaringan untuk informasi selengkapnya.

  5. Klik Create.

REST API

Gunakan projects.agentPools.create:

POST https://storagetransfer.googleapis.com/v1/projects/PROJECT_ID/agentPools?agent_pool_id=AGENT_POOL_ID

Dengan keterangan:

  • PROJECT_ID: Project ID yang Anda buat kumpulan agen.
  • AGENT_POOL_ID: ID kumpulan agen yang Anda membuat.

Jika kumpulan agen terjebak dalam status Creating selama lebih dari 30 menit, sebaiknya hapus kumpulan agen dan buat lagi.

Mencabut izin Storage Transfer Service yang diperlukan dari sebuah project saat kumpulan agen berada dalam status Creating yang menyebabkan perilaku layanan yang salah.

gcloud CLI

Untuk membuat kumpulan agen dengan alat command line gcloud, jalankan [gcloud transfer agent-pools create][agent-pools-create].

gcloud transfer agent-pools create AGENT_POOL

Tempat opsi berikut tersedia:

  • AGENT_POOL adalah ID unik dan permanen untuk kumpulan ini.

  • --no-async memblokir tugas lain di terminal Anda hingga kumpulan dibuat. Jika tidak disertakan, pembuatan kumpulan akan berjalan secara asinkron.

  • --bandwidth-limit menentukan jumlah bandwidth Anda dalam MB/dtk yang harus dibuat yang tersedia untuk agen kumpulan ini. Batas bandwidth berlaku untuk semua agen di kumpulan data, dan dapat membantu mencegah gangguan beban kerja transfer pool operasi lain yang berbagi {i>bandwidth<i} Anda. Misalnya, masukkan '50' untuk menyetel batas bandwidth 50 MB/dtk. Dengan membiarkan tanda ini tidak ditentukan, maka kumpulan agen akan menggunakan semua {i>bandwidth<i} yang tersedia untuk mereka.

  • --display-name adalah nama yang dapat diubah untuk membantu Anda mengidentifikasi kumpulan ini. Anda dapat menyertakan detail yang mungkin tidak muat dalam sumber daya lengkap unik kumpulan nama.

Instal agen transfer

Agen transfer adalah agen perangkat lunak yang mengoordinasikan aktivitas transfer dari sumber Anda melalui Storage Transfer Service. Mereka harus diinstal pada sistem dengan akses ke data sumber.

gcloud CLI

Untuk menginstal agen yang akan digunakan dengan sumber yang kompatibel dengan S3 menggunakan gcloud CLI, gunakan perintah transfer agents install.

Anda harus memberikan kredensial akses, baik sebagai variabel lingkungan maupun nilai AWS_ACCESS_KEY_ID dan AWS_SECRET_ACCESS_KEY, atau disimpan sebagai kredensial {i>default<i} di file konfigurasi sistem Anda.

export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME

Untuk menjalankan agen menggunakan kunci akun layanan, gunakan opsi --creds-file:

gcloud transfer agents install --pool=POOL_NAME \
  --creds-file=/relative/path/to/service-account-key.json

Membuat tugas transfer

Konsol Google Cloud

Ikuti langkah-langkah berikut untuk melakukan transfer dari sumber yang kompatibel dengan S3 ke bucket Cloud Storage.

  1. Buka halaman Storage Transfer Service di Konsol Google Cloud.

    Buka Storage Transfer Service

  2. Klik Buat tugas transfer. Halaman Buat tugas transfer ditampilkan.

  3. Pilih S3-compatible object storage sebagai Source type. Tujuan tujuannya harus Google Cloud Storage.

    Klik Next step.

Mengonfigurasi sumber

  1. Tentukan informasi yang diperlukan untuk transfer ini:

    1. Pilih kumpulan agen yang Anda konfigurasi untuk ini transfer data.

    2. Masukkan Bucket name secara relatif terhadap endpoint. Misalnya, jika data Anda berada di:

      https://example.com/bucket_a

      Masukkan: bucket_a

    3. Masukkan Endpoint. Jangan sertakan protokol (http:// atau https://). Contoh:

      example.com

  2. Tentukan atribut opsional untuk transfer ini:

    1. Masukkan Region penandatanganan yang akan digunakan untuk menandatangani permintaan.

    2. Pilih Proses penandatanganan untuk permintaan ini.

    3. Pilih Gaya pengalamatan. Kunci ini menentukan apakah bucket nama diberikan dalam gaya jalur (mis., https://example.com/bucket-name/key-name) atau gaya yang dihosting secara virtual (mis., https://bucket-name.example.com/key-name). {i>Read<i} Hosting virtual bucket di dokumentasi Amazon untuk mengetahui informasi selengkapnya tidak akurat atau tidak sesuai.

    4. Pilih Protokol jaringan.

    5. Pilih versi API listingan yang akan digunakan. Lihat Dokumentasi ListObjectsV2 dan ListObjects untuk informasi selengkapnya.

  3. Klik Next step.

Mengonfigurasi sink Anda

  1. Di kolom Bucket or folder, masukkan bucket tujuan dan (opsional) nama folder, atau klik Jelajahi untuk memilih bucket dari daftar bucket yang ada di project saat ini. Untuk membuat bucket baru, klik Buat bucket baru.

  2. Klik Next step.

Pilih setelan transfer

  1. Di kolom Description, masukkan deskripsi transfer data. Sebagai praktik terbaik, masukkan deskripsi yang bermakna dan unik sehingga Anda dapat membedakan tugas-tugasnya.

  2. Di bagian Metadata options, pilih untuk menggunakan opsi default, atau klik Lihat dan pilih opsi guna menentukan nilai untuk semua metadata yang didukung. Lihat Preservasi metadata untuk mengetahui detailnya.

  3. Di bagian Kapan harus menimpa, pilih salah satu dari opsi berikut:

    • Jika berbeda: Timpa file tujuan jika file sumbernya dengan nama yang sama memiliki nilai Etag atau {i>checksum<i} yang berbeda.

    • Always: Selalu menimpa file tujuan saat file sumber memiliki nama yang sama, meskipun identik.

  4. Di bagian Kapan harus dihapus, pilih salah satu opsi berikut:

    • Tidak pernah: Jangan pernah menghapus file dari sumber atau tujuan.

    • Hapus file dari sumber setelah ditransfer: Menghapus file dari sumber setelah ditransfer ke tujuan.

    • Hapus file dari tujuan jika file juga tidak ada di sumber: Jika file di bucket Cloud Storage tujuan juga tidak ada di sumbernya, lalu menghapus file dari Cloud Storage direktori VM dengan bucket.

      Opsi ini memastikan bahwa bucket Cloud Storage tujuan sama persis dengan sumber.

  5. Di bagian Notification options, pilih topik Pub/Sub Anda dan peristiwa yang akan diberi tahu. Lihat Notifikasi Pub/Sub untuk secara lebih mendetail.

  6. Klik Next step.

Jadwalkan transfer

Anda dapat menjadwalkan transfer agar berjalan hanya satu kali, atau mengonfigurasi transfer berulang transfer data.

Klik Create untuk membuat tugas transfer.

gcloud CLI

Sebelum menggunakan CLI gcloud untuk membuat transfer, ikuti petunjuk di Mengonfigurasi akses ke sink Cloud Storage.

Untuk menggunakan CLI gcloud guna membuat transfer dari sumber yang kompatibel dengan S3 ke bucket Cloud Storage, gunakan perintah berikut.

gcloud transfer jobs create s3://SOURCE_BUCKET_NAME gs://SINK_BUCKET_NAME \
  --source-agent-pool=POOL_NAME \
  --source-endpoint=ENDPOINT \
  --source-signing-region=REGION \
  --source-auth-method=AWS_SIGNATURE_V2 | AWS_SIGNATURE_V4 \
  --source-request-model=PATH_STYLE | VIRTUAL_HOSTED_STYLE \
  --source-network-protocol=HTTP | HTTPS \
  --source-list-api=LIST_OBJECTS | LIST_OBJECTS_V2

Flag berikut diperlukan:

  • --source-agent-pool adalah nama kumpulan agen yang akan digunakan untuk ini transfer data.

  • --source-endpoint menentukan endpoint sistem penyimpanan Anda. Contoh, s3.us-east.example.com. Hubungi penyedia untuk mengetahui jawaban yang benar format font.

Tanda yang tersisa bersifat opsional:

  • --source-signing-region menentukan region untuk permintaan penandatanganan. Hapus tanda ini jika penyedia penyimpanan Anda tidak memerlukan region penandatanganan.
  • --source-auth-method menentukan metode autentikasi yang akan digunakan. Berlaku nilainya adalah AWS_SIGNATURE_V2 atau AWS_SIGNATURE_V4. Rujuk ke Dokumentasi SigV4 dan SigV2 Amazon untuk informasi selengkapnya.
  • --source-request-model menentukan gaya pengalamatan yang akan digunakan. Nilai valid adalah PATH_STYLE atau VIRTUAL_HOSTED_STYLE. Gaya jalur menggunakan format https://s3.REGION.example.com/BUCKET_NAME/KEY_NAME. Gaya {i>host<i} virtual menggunakan format `https://BUCKET_NAME.s3.REGION.example.com/KEY_NAME.
  • --source-network-protocol menentukan protokol jaringan yang digunakan agen digunakan untuk tugas ini. Nilai yang valid adalah HTTP atau HTTPS.
  • --source-list-api menentukan versi API listingan S3 untuk menampilkan objek dari bucket. Nilai yang valid adalah LIST_OBJECTS atau LIST_OBJECTS_V2. Lihat ListObjectsV2 Amazon dan Dokumentasi ListObjects untuk informasi selengkapnya.

Untuk opsi tugas transfer tambahan, jalankan gcloud transfer jobs create --help atau lihat dokumentasi referensi gcloud.

REST API

Sebelum menggunakan REST API untuk membuat transfer, ikuti petunjuk di Mengonfigurasi akses ke sink Cloud Storage.

Untuk membuat transfer dari sumber yang kompatibel dengan S3 menggunakan REST API, buat objek JSON yang mirip dengan contoh berikut.

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  ...
  "transferSpec": {
    "source_agent_pool_name":"POOL_NAME",
    "awsS3CompatibleData": {
      "region":"us-east-1",
      "s3Metadata":{
        "protocol": "NETWORK_PROTOCOL_HTTPS",
        "requestModel": "REQUEST_MODEL_VIRTUAL_HOSTED_STYLE",
        "authMethod": "AUTH_METHOD_AWS_SIGNATURE_V4"
      },
      "endpoint": "example.com",
      "bucketName": "BUCKET_NAME",
      "path": "PATH",
    },
    "gcsDataSink": {
      "bucketName": "SINK_NAME",
      "path": "SINK_PATH"
    },
    "transferOptions": {
      "deleteObjectsFromSourceAfterTransfer": false
    }
  }
}

Lihat referensi API AwsS3CompatibleData untuk deskripsi kolom.

Library klien

Sebelum menggunakan library klien untuk membuat transfer, ikuti petunjuk di Mengonfigurasi akses ke sink Cloud Storage.

Go

Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat Library klien Storage Transfer Service. Untuk informasi selengkapnya, lihat Storage Transfer Service Go API dokumentasi referensi.

Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 


import (
	"context"
	"fmt"
	"io"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
)

func transferFromS3CompatibleSource(w io.Writer, projectID string, sourceAgentPoolName string, sourceBucketName string, sourcePath string, gcsSinkBucket string, gcsPath string) (*storagetransferpb.TransferJob, error) {
	// Your project id.
	// projectId := "my-project-id"

	// The agent pool associated with the S3 compatible data source. If not provided, defaults to the default agent.
	// sourceAgentPoolName := "projects/my-project/agentPools/transfer_service_default"

	// The S3 compatible bucket name to transfer data from.
	//sourceBucketName = "my-bucket-name"

	// The S3 compatible path (object prefix) to transfer data from.
	//sourcePath = "path/to/data"

	// The ID of the GCS bucket to transfer data to.
	//gcsSinkBucket = "my-sink-bucket"

	// The GCS path (object prefix) to transfer data to.
	//gcsPath = "path/to/data"

	// The S3 region of the source bucket.
	region := "us-east-1"

	// The S3 compatible endpoint.
	endpoint := "us-east-1.example.com"

	// The S3 compatible network protocol.
	protocol := storagetransferpb.S3CompatibleMetadata_NETWORK_PROTOCOL_HTTPS

	// The S3 compatible request model.
	requestModel := storagetransferpb.S3CompatibleMetadata_REQUEST_MODEL_VIRTUAL_HOSTED_STYLE

	// The S3 Compatible auth method.
	authMethod := storagetransferpb.S3CompatibleMetadata_AUTH_METHOD_AWS_SIGNATURE_V4

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId: projectID,
			TransferSpec: &storagetransferpb.TransferSpec{
				SourceAgentPoolName: sourceAgentPoolName,
				DataSource: &storagetransferpb.TransferSpec_AwsS3CompatibleDataSource{
					AwsS3CompatibleDataSource: &storagetransferpb.AwsS3CompatibleData{
						BucketName: sourceBucketName,
						Path:       sourcePath,
						Endpoint:   endpoint,
						Region:     region,
						DataProvider: &storagetransferpb.AwsS3CompatibleData_S3Metadata{
							S3Metadata: &storagetransferpb.S3CompatibleMetadata{
								AuthMethod:   authMethod,
								RequestModel: requestModel,
								Protocol:     protocol,
							},
						},
					}},
				DataSink: &storagetransferpb.TransferSpec_GcsDataSink{
					GcsDataSink: &storagetransferpb.GcsData{
						BucketName: gcsSinkBucket,
						Path:       gcsPath,
					},
				},
			},
			Status: storagetransferpb.TransferJob_ENABLED,
		},
	}

	resp, err := client.CreateTransferJob(ctx, req)
	if err != nil {
		return nil, fmt.Errorf("failed to create transfer job: %w", err)
	}
	if _, err = client.RunTransferJob(ctx, &storagetransferpb.RunTransferJobRequest{
		ProjectId: projectID,
		JobName:   resp.Name,
	}); err != nil {
		return nil, fmt.Errorf("failed to run transfer job: %w", err)
	}
	fmt.Fprintf(w, "Created and ran transfer job from %v to %v with name %v", sourceBucketName, gcsSinkBucket, resp.Name)
	return resp, nil
}

Java

Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat Library klien Storage Transfer Service. Untuk informasi selengkapnya, lihat Storage Transfer Service Java API dokumentasi referensi.

Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

import static com.google.storagetransfer.v1.proto.TransferTypes.S3CompatibleMetadata.AuthMethod;
import static com.google.storagetransfer.v1.proto.TransferTypes.S3CompatibleMetadata.NetworkProtocol;
import static com.google.storagetransfer.v1.proto.TransferTypes.S3CompatibleMetadata.RequestModel;

import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto;
import com.google.storagetransfer.v1.proto.TransferTypes;
import com.google.storagetransfer.v1.proto.TransferTypes.GcsData;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferSpec;
import java.io.IOException;

public class TransferFromS3CompatibleSource {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.

    // Your project id
    String projectId = "my-project-id";

    // The agent pool associated with the S3 compatible data source. If not provided, defaults to
    // the default agent
    String sourceAgentPoolName = "projects/my-project-id/agentPools/transfer_service_default";

    // The S3 compatible bucket name to transfer data from
    String sourceBucketName = "my-bucket-name";

    // The S3 compatible path (object prefix) to transfer data from
    String sourcePath = "path/to/data";

    // The ID of the GCS bucket to transfer data to
    String gcsSinkBucket = "my-sink-bucket";

    // The GCS path (object prefix) to transfer data to
    String gcsPath = "path/to/data";

    // The S3 region of the source bucket
    String region = "us-east-1";

    // The S3 compatible endpoint
    String endpoint = "us-east-1.example.com";

    // The S3 compatible network protocol
    NetworkProtocol protocol = NetworkProtocol.NETWORK_PROTOCOL_HTTPS;

    // The S3 compatible request model
    RequestModel requestModel = RequestModel.REQUEST_MODEL_VIRTUAL_HOSTED_STYLE;

    // The S3 Compatible auth method
    AuthMethod authMethod = AuthMethod.AUTH_METHOD_AWS_SIGNATURE_V4;

    transferFromS3CompatibleSource(
        projectId,
        sourceAgentPoolName,
        sourceBucketName,
        sourcePath,
        region,
        endpoint,
        protocol,
        requestModel,
        authMethod,
        gcsSinkBucket,
        gcsPath);
  }

  public static void transferFromS3CompatibleSource(
      String projectId,
      String sourceAgentPoolName,
      String sourceBucketName,
      String sourcePath,
      String region,
      String endpoint,
      NetworkProtocol protocol,
      RequestModel requestModel,
      AuthMethod authMethod,
      String gcsSinkBucket,
      String gcsPath)
      throws IOException {
    TransferJob transferJob =
        TransferJob.newBuilder()
            .setProjectId(projectId)
            .setTransferSpec(
                TransferSpec.newBuilder()
                    .setSourceAgentPoolName(sourceAgentPoolName)
                    .setAwsS3CompatibleDataSource(
                        TransferTypes.AwsS3CompatibleData.newBuilder()
                            .setRegion(region)
                            .setEndpoint(endpoint)
                            .setBucketName(sourceBucketName)
                            .setPath(sourcePath)
                            .setS3Metadata(
                                TransferTypes.S3CompatibleMetadata.newBuilder()
                                    .setProtocol(protocol)
                                    .setRequestModel(requestModel)
                                    .setAuthMethod(authMethod)
                                    .build())
                            .build())
                    .setGcsDataSink(
                        GcsData.newBuilder().setBucketName(gcsSinkBucket).setPath(gcsPath).build()))
            .setStatus(TransferJob.Status.ENABLED)
            .build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources,
    // or use "try-with-close" statement to do this automatically.
    try (StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create()) {

      // Create the transfer job
      TransferJob response =
          storageTransfer.createTransferJob(
              TransferProto.CreateTransferJobRequest.newBuilder()
                  .setTransferJob(transferJob)
                  .build());

      System.out.println(
          "Created a transfer job from "
              + sourceBucketName
              + " to "
              + gcsSinkBucket
              + " with "
              + "name "
              + response.getName());
    }
  }
}

Node.js

Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat Library klien Storage Transfer Service. Untuk informasi selengkapnya, lihat Storage Transfer Service Node.js API dokumentasi referensi.

Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 


// Imports the Google Cloud client library
const storageTransfer = require('@google-cloud/storage-transfer');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// Useful enums for AWS S3-Compatible Transfers
// const {AuthMethod, NetworkProtocol, RequestModel} = storageTransfer.protos.google.storagetransfer.v1.S3CompatibleMetadata;

// Your project id
// const projectId = 'my-project';

// The agent pool associated with the S3-compatible data source. Defaults to the default agent
// const sourceAgentPoolName = 'projects/my-project/agentPools/transfer_service_default';

// The S3-compatible bucket name to transfer data from
// const sourceBucketName = "my-bucket-name";

// The S3-compatible path (object prefix) to transfer data from
// const sourcePath = "path/to/data/";

// The ID of the GCS bucket to transfer data to
// const gcsSinkBucket = "my-sink-bucket";

// The GCS path (object prefix) to transfer data to
// const gcsPath = "path/to/data/";

// The S3 region of the source bucket
// const region = 'us-east-1';

// The S3-compatible endpoint
// const endpoint = "us-east-1.example.com";

// The S3-compatible network protocol
// const protocol = NetworkProtocol.NETWORK_PROTOCOL_HTTPS;

// The S3-compatible request model
// const requestModel = RequestModel.REQUEST_MODEL_VIRTUAL_HOSTED_STYLE;

// The S3-compatible auth method
// const authMethod = AuthMethod.AUTH_METHOD_AWS_SIGNATURE_V4;

// Creates a client
const client = new storageTransfer.StorageTransferServiceClient();

/**
 * Creates a transfer from an AWS S3-compatible source to GCS
 */
async function transferFromS3CompatibleSource() {
  // Runs the request and creates the job
  const [transferJob] = await client.createTransferJob({
    transferJob: {
      projectId,
      transferSpec: {
        sourceAgentPoolName,
        awsS3CompatibleDataSource: {
          region,
          s3Metadata: {
            authMethod,
            protocol,
            requestModel,
          },
          endpoint,
          bucketName: sourceBucketName,
          path: sourcePath,
        },
        gcsDataSink: {
          bucketName: gcsSinkBucket,
          path: gcsPath,
        },
      },
      status: 'ENABLED',
    },
  });

  await client.runTransferJob({
    jobName: transferJob.name,
    projectId,
  });

  console.log(
    `Created and ran a transfer job from '${sourceBucketName}' to '${gcsSinkBucket}' with name ${transferJob.name}`
  );
}

transferFromS3CompatibleSource();

Python

Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat Library klien Storage Transfer Service. Untuk informasi selengkapnya, lihat Storage Transfer Service Python API dokumentasi referensi.

Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

from google.cloud import storage_transfer

AuthMethod = storage_transfer.S3CompatibleMetadata.AuthMethod
NetworkProtocol = storage_transfer.S3CompatibleMetadata.NetworkProtocol
RequestModel = storage_transfer.S3CompatibleMetadata.RequestModel


def transfer_from_S3_compat_to_gcs(
    project_id: str,
    description: str,
    source_agent_pool_name: str,
    source_bucket_name: str,
    source_path: str,
    gcs_sink_bucket: str,
    gcs_path: str,
    region: str,
    endpoint: str,
    protocol: NetworkProtocol,
    request_model: RequestModel,
    auth_method: AuthMethod,
) -> None:
    """Creates a transfer from an AWS S3-compatible source to GCS"""

    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project'

    # A useful description for your transfer job
    # description = 'My transfer job'

    # The agent pool associated with the S3-compatible data source.
    # Defaults to 'projects/{project_id}/agentPools/transfer_service_default'
    # source_agent_pool_name = 'projects/my-project/agentPools/my-agent'

    # The S3 compatible bucket name to transfer data from
    # source_bucket_name = "my-bucket-name"

    # The S3 compatible path (object prefix) to transfer data from
    # source_path = "path/to/data/"

    # The ID of the GCS bucket to transfer data to
    # gcs_sink_bucket = "my-sink-bucket"

    # The GCS path (object prefix) to transfer data to
    # gcs_path = "path/to/data/"

    # The S3 region of the source bucket
    # region = 'us-east-1'

    # The S3-compatible endpoint
    # endpoint = "us-east-1.example.com"

    # The S3-compatible network protocol
    # protocol = NetworkProtocol.NETWORK_PROTOCOL_HTTPS

    # The S3-compatible request model
    # request_model = RequestModel.REQUEST_MODEL_VIRTUAL_HOSTED_STYLE

    # The S3-compatible auth method
    # auth_method = AuthMethod.AUTH_METHOD_AWS_SIGNATURE_V4

    transfer_job_request = storage_transfer.CreateTransferJobRequest(
        {
            "transfer_job": {
                "project_id": project_id,
                "description": description,
                "status": storage_transfer.TransferJob.Status.ENABLED,
                "transfer_spec": {
                    "source_agent_pool_name": source_agent_pool_name,
                    "aws_s3_compatible_data_source": {
                        "region": region,
                        "s3_metadata": {
                            "auth_method": auth_method,
                            "protocol": protocol,
                            "request_model": request_model,
                        },
                        "endpoint": endpoint,
                        "bucket_name": source_bucket_name,
                        "path": source_path,
                    },
                    "gcs_data_sink": {
                        "bucket_name": gcs_sink_bucket,
                        "path": gcs_path,
                    },
                },
            }
        }
    )

    result = client.create_transfer_job(transfer_job_request)
    print(f"Created transferJob: {result.name}")

Pertanyaan umum (FAQ)

Apakah ada biaya untuk transfer dari penyimpanan yang kompatibel dengan S3?

Transfer dari penyimpanan yang kompatibel dengan S3 tidak dikenai biaya "Storage Transfer Service transfer yang memerlukan agen" biaya. Lihat Harga untuk biaya lain yang mungkin timbul. Anda juga mungkin dikenai transfer data keluar dan biaya operasional dari penyedia cloud sumber Anda.

Apakah Cloud Logging didukung untuk transfer penyimpanan yang kompatibel dengan S3?

Ya, Anda dapat mengaktifkan Cloud Logging untuk transfer Anda dengan mengikuti petunjuk di Cloud Logging untuk Storage Transfer Service.

Apakah transfer yang menggunakan manifes didukung?

Ya, file manifes didukung untuk Transfer yang kompatibel dengan S3.

Jika saya menambahkan objek ke bucket sumber setelah tugas dimulai, apakah objek ditransfer?

Storage Transfer Service menjalankan operasi daftar pada bucket sumber untuk menghitung yang berbeda dari tujuan. Jika operasi daftar sudah selesai saat metode objek baru ditambahkan, sehingga objek tersebut dilewatkan hingga transfer berikutnya.

Apakah Storage Transfer Service melakukan pencocokan checksum pada sumber yang kompatibel dengan S3?

Storage Transfer Service bergantung pada data checksum yang ditampilkan oleh sumber. Sebagai Storage yang kompatibel dengan S3, Storage Transfer Service mengharapkan Etag objek Hash MD5 objek.

Namun, setiap objek yang ditransfer ke penyimpanan yang kompatibel dengan S3 menggunakan Upload multibagian S3 tidak memiliki ETag MD5. Dalam hal ini, Storage Transfer Service menggunakan ukuran file untuk memvalidasi objek yang ditransfer.

Berapa throughput yang dapat dicapai untuk transfer dari penyimpanan yang kompatibel dengan S3?

Throughput transfer Anda dapat diskalakan dengan menambahkan lebih banyak agen transfer. Rab sebaiknya gunakan 3 agen untuk fault tolerance dan untuk mengisi pipa <10Gbps. Kepada meningkatkan skala, menambahkan lebih banyak agen. Agen dapat ditambahkan dan dihapus saat transfer sedang dalam proses.

Tempat agen transfer harus di-deploy untuk mentransfer data dari Amazon S3 ke Cloud Storage?

Anda dapat menginstal agen di Amazon EC2 atau EKS dalam region yang sama dengan direktori VM dengan bucket. Anda juga dapat menjalankan agen di Google Cloud di region terdekat.