Transfer dari Amazon S3 ke Cloud Storage

Halaman ini menampilkan cara membuat dan memulai tugas transfer dari Amazon S3 ke Cloud Storage.

Konfigurasikan izin

Sebelum membuat transfer, Anda harus mengonfigurasi izin di Amazon S3 direktori VM dengan bucket. Lihat Mengonfigurasi akses ke sumber: Amazon S3 untuk mengetahui detailnya.

Anda juga harus mengonfigurasi izin untuk Entitas Google Cloud:

	Akun pengguna yang digunakan untuk membuat transfer. Ini adalah yang login ke Konsol Google Cloud, atau akun yang yang ditentukan saat mengautentikasi ke CLI `gcloud`. Akun pengguna dapat akun pengguna biasa, atau akun layanan yang dikelola pengguna.
	Akun layanan yang dikelola Google, juga dikenal sebagai layanan , yang digunakan oleh Storage Transfer Service. Akun ini umumnya diidentifikasi oleh alamat emailnya, yang menggunakan format project-PROJECT_NUMBER@storage-transfer-service..

Lihat Izin transfer tanpa agen untuk petunjuk.

Opsi traffic keluar

Storage Transfer Service menyediakan beberapa opsi untuk cara mentransfer data S3 Anda ke Cloud Storage.

Opsi traffic keluar	Deskripsi
Tanpa agen default	Opsi ini menggunakan transfer terkelola dan tanpa agen dari S3. Anda akan dikenai biaya traffic keluar oleh Amazon. Ikuti petunjuk di halaman ini untuk menggunakannya sebelumnya.
Distribusi CloudFront	Menggunakan distribusi Amazon CloudFront sebagai traffic keluar . Transfer data melalui CloudFront dapat mendapatkan manfaat dari biaya traffic keluar AWS yang lebih rendah dibandingkan yang mentransfer langsung dari S3. Lihat Harga CloudFront dan biaya traffic keluar S3 untuk mengetahui detailnya. Ikuti petunjuk di Transfer dari S3 melalui CloudFront untuk menyiapkan distribusi Anda, lalu lakukan transfer.
Jaringan pribadi terkelola	Transfer data Anda melalui server yang dikelola Google jaringan. Anda tidak membayar traffic keluar S3 tagihan; sebagai gantinya, Anda membayar tarif per GiB untuk Google Cloud. Lihat Harga untuk detailnya. Anda mungkin masih ditagih biaya operasi dari AWS (misalnya, LIST atau GET panggilan telepon); lihat harganya untuk detailnya. Semua project transfer melalui berbagi jaringan pribadi terkelola {i>bandwidth <i}yang sama. Pada saat penggunaan yang tinggi, transfer Anda mungkin lambat. Transfer dengan file besar lebih terpengaruh daripada yang dengan file berukuran kecil. Ikuti petunjuk di halaman ini untuk menggunakan opsi ini. Menentukan opsi Managed private network di Konsol Google Cloud atau kolom managedPrivateNetwork di REST API. gcloud CLI dan library klien tidak mendukung jaringan pribadi terkelola transfer data. Lihat wilayah yang didukung.
Berbasis agen	Valid untuk semua penyimpanan yang kompatibel dengan S3, termasuk Amazon S3. Menurut menginstal perangkat lunak agen pada komputer yang memiliki akses ke bucket S3, Anda dapat mengontrol jalur dan {i>bandwidth<i}. Opsi ini memerlukan agen dan kumpulan agen. Ikuti petunjuknya di Transfer dari sumber yang kompatibel dengan S3 untuk digunakan menggunakan opsi ini.

Region yang didukung

Storage Transfer Service mendukung region Amazon S3 berikut:

af-south-1 ap-east-1 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3

ap-southeast-4 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2

eu-west-3 il-central-1 me-central-1 me-south-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2

Transfer yang menggunakan jaringan pribadi terkelola mendukung region AWS berikut:

us-east-1 us-east-2 us-west-1 us-west-2 ca-west-1 ca-central-1

Opsi transfer

Fitur Storage Transfer Service berikut tersedia untuk transfer dari S3 ke Cloud Storage

Mentransfer file tertentu menggunakan manifes

Anda dapat meneruskan daftar file agar Storage Transfer Service dapat ditindaklanjuti. Lihat Mentransfer file tertentu atau menggunakan manifes untuk mengetahui detailnya.

Menentukan kelas penyimpanan

Anda dapat menentukan Kelas penyimpanan Cloud Storage yang akan digunakan untuk data Anda di tujuan direktori VM dengan bucket. Lihat StorageClass opsi untuk detail REST, atau gunakan --custom-storage-class dengan Google Cloud CLI.

Perhatikan bahwa setelan kelas penyimpanan apa pun akan diabaikan jika tujuan bucket mengaktifkan Autoclass. Jika Autoclass diaktifkan, objek yang ditransfer ke dalam bucket pada awalnya akan ke Standard Storage.

Penyimpanan metadata

Saat mentransfer file dari S3, Storage Transfer Service dapat secara opsional mempertahankan atribut tertentu sebagai metadata khusus.

Lihat bagian Amazon S3 ke Cloud Storage pada Penyimpanan metadata untuk detail tentang metadata yang dapat dipertahankan, dan cara mengonfigurasi transfer Anda.

Transfer berdasarkan peristiwa

Storage Transfer Service dapat memproses Notifikasi Peristiwa Amazon S3 yang dikirimkan ke Amazon SQS untuk otomatis mentransfer data yang telah ditambahkan atau diperbarui di lokasi sumber. Lihat Berbasis peristiwa transfer untuk mendapatkan informasi.

Logging dan pemantauan

Transfer dari S3 dapat dilihat di Cloud Logging dan dan konfigurasi di Cloud Monitoring. Lihat Cloud Logging untuk Storage Transfer Service dan Memantau transfer lowongan untuk mengetahui detailnya. Anda juga dapat mengonfigurasi Pub/Sub notifikasi.

Buat transfer

Storage Transfer Service menyediakan beberapa antarmuka untuk membuat transfer data.

Jangan sertakan informasi sensitif seperti informasi identitas pribadi (PII) atau data keamanan dalam nama tugas transfer Anda. Nama resource mungkin disebarkan ke nama resource Google Cloud lainnya dan dapat diekspos ke sistem internal Google di luar project Anda.

Konsol Google Cloud

1. Buka halaman Storage Transfer Service di Konsol Google Cloud.

   Buka Storage Transfer Service

2. Klik Buat tugas transfer. Halaman Buat tugas transfer ditampilkan.

3. Di bagian Source type, pilih Amazon S3.

4. Sebagai Jenis tujuan, pilih Google Cloud Storage.

5. Pilih Mode penjadwalan. Transfer batch yang dijalankan pada satu kali atau terjadwal. Transfer berbasis peristiwa secara terus-menerus memantau sumber dan mentransfer data ketika ditambahkan atau diubah.

   Untuk mengonfigurasi transfer berbasis peristiwa, ikuti petunjuk di Transfer berbasis peristiwa.

6. Klik Next step.

7. Di kolom Bucket or folder name, masukkan bucket sumber nama.

   Nama bucket adalah nama seperti yang terlihat dalam Konsol Pengelolaan AWS.

8. Jika Anda menggunakan distribusi CloudFront untuk mentransfer dari S3, masukkan nama domain distribusi di domain CloudFront kolom tersebut. Contoh, https://dy1h2n3l4ob56.cloudfront.net. Lihat Transfer dari S3 melalui CloudFront untuk mengonfigurasi distribusi CloudFront.

9. Agar dapat menggunakan Jaringan pribadi terkelola untuk transfer ini, pilih . Lihat Opsi traffic keluar untuk mengetahui detailnya.

10. Pilih metode autentikasi Amazon Web Services (AWS) Anda. Lihat Konfigurasikan akses ke sumber: Amazon S3 untuk mengetahui detailnya.

    • Kunci akses: Masukkan kunci akses di ID kunci akses dan rahasia yang terkait dengan kunci akses Anda di kolom Kunci akses rahasia.

    • Peran IAM AWS untuk penggabungan identitas: Masukkan ARN Anda di Kolom AWS IAM role ARN, dengan sintaksis berikut:

      arn:aws:iam::ACCOUNT:role/ROLE-NAME-WITH-PATH
      

      Dengan keterangan:

      • ACCOUNT: ID akun AWS tanpa tanda hubung.
      • ROLE-NAME-WITH-PATH: Peran AWS termasuk jalur.

      Untuk informasi selengkapnya tentang ARN, lihat IAM ARN.

    • Secret resource: Pilih opsi ini untuk menggunakan kredensial Amazon disimpan di Secret Manager. Pilih rahasia dari daftar, atau masukkan secara manual dalam format projects/PROJECT_NUMBER/secrets/SECRET_NAME.

11. Jika ini adalah transfer berbasis peristiwa, masukkan Amazon SQS ARN queue, yang menggunakan format berikut:

    arn:aws:sqs:us-east-1:1234567890:event-queue
    

12. Secara opsional, pilih untuk memfilter objek berdasarkan awalan atau tanggal terakhir diubah. Jika Anda menentukan folder sebagai lokasi sumber, filter awalan relatif terhadap folder tersebut. Misalnya, jika sumber Anda adalah my-test-bucket/path/, filter sertakan file mencakup semua file yang dimulai dengan my-test-bucket/path/file.

13. Klik Next step.

14. Di kolom Bucket or folder, masukkan bucket tujuan dan (opsional) nama folder, atau klik Jelajahi untuk memilih bucket dari daftar bucket yang ada di project saat ini. Untuk membuat bucket baru, klik Buat bucket baru.

15. Klik Next step.

16. Pilih setelan untuk tugas transfer.

    1. Di kolom Description, masukkan deskripsi transfer data. Sebagai praktik terbaik, masukkan deskripsi yang bermakna dan unik sehingga Anda dapat membedakan tugas-tugasnya.

    2. Di bagian Metadata options, pilih untuk menggunakan opsi default, atau klik Lihat dan pilih opsi guna menentukan nilai untuk semua metadata yang didukung. Lihat Preservasi metadata untuk mengetahui detailnya.

    3. Di bagian Kapan harus menimpa, pilih salah satu dari opsi berikut:

       • Jika berbeda: Timpa file tujuan jika file sumbernya dengan nama yang sama memiliki nilai Etag atau {i>checksum<i} yang berbeda.

       • Always: Selalu menimpa file tujuan saat file sumber memiliki nama yang sama, meskipun identik.

    4. Di bagian Kapan harus dihapus, pilih salah satu opsi berikut:

       • Tidak pernah: Jangan pernah menghapus file dari sumber atau tujuan.

       • Hapus file dari sumber setelah ditransfer: Menghapus file dari sumber setelah ditransfer ke tujuan.

         Penting: Jika Anda tidak memiliki cadangan lokal, opsi ini adalah tindakan non-reversibel.

       • Hapus file dari tujuan jika file juga tidak ada di sumber: Jika file di bucket Cloud Storage tujuan juga tidak ada di sumbernya, lalu menghapus file dari Cloud Storage direktori VM dengan bucket.

         Opsi ini memastikan bahwa bucket Cloud Storage tujuan sama persis dengan sumber.

    5. Di bagian Notification options, pilih topik Pub/Sub Anda dan peristiwa yang akan diberi tahu. Lihat Notifikasi Pub/Sub untuk secara lebih mendetail.

17. Klik Next step.

18. Pilih opsi penjadwalan:

    Catatan: Storage Transfer Service menampilkan jadwal tugas transfer di zona waktu lokal, tetapi menyimpan waktu tersebut dalam Waktu Universal Terkoordinasi (UTC). Jika terpengaruh oleh Waktu Musim Panas (DST), Anda mungkin mengalami perubahan jadwal tugas transfer saat DST dimulai atau berakhir.

    1. Dari menu drop-down Run once, pilih salah satu opsi berikut:

       • Jalankan sekali: Menjalankan satu transfer, dimulai pada waktu yang Anda pilih.

       • Berjalan setiap hari: Menjalankan transfer setiap hari, dimulai pada waktu yang yang dipilih.

         Anda dapat memasukkan Tanggal akhir opsional, atau keluar dari Tanggal akhir kosong untuk menjalankan transfer secara terus-menerus.

       • Jalankan setiap minggu: Menjalankan transfer setiap minggu, dimulai pada waktu tertentu yang Anda pilih.

       • Jalankan dengan frekuensi khusus: Menjalankan transfer dengan frekuensi yang yang dipilih. Anda dapat memilih untuk mengulangi transfer secara rutin interval Hours, Days, atau Weeks.

         Anda dapat memasukkan Tanggal akhir opsional, atau keluar dari Tanggal akhir kosong untuk menjalankan transfer secara terus-menerus.

    2. Dari daftar drop-down Mulai sekarang, pilih salah satu dari berikut ini:

       • Dimulai sekarang: Memulai transfer setelah Anda mengklik Buat.

       • Memulai: Memulai transfer pada tanggal dan waktu yang Anda pilih. Klik Kalender untuk menampilkan kalender guna memilih tanggal mulai.

    3. Untuk membuat tugas transfer, klik Buat.

gcloud CLI

Untuk membuat tugas transfer baru, gunakan gcloud transfer jobs create perintah. Membuat tugas baru akan memulai transfer yang ditentukan, kecuali jika jadwal atau --do-not-run ditentukan.

gcloud CLI tidak mendukung transfer melalui CloudFront atau Managed private network.

gcloud transfer jobs create \
  s3://S3_BUCKET_NAME gs://STORAGE_BUCKET_NAME \
  --source-creds-file="relative_path/to/creds.json"

Dengan keterangan:

• S3_BUCKET_NAME adalah sumber data untuk transfer ini. Anda dapat secara opsional menyertakan jalur: s3://S3_BUCKET_NAME/S3_FOLDER_PATH

• STORAGE_BUCKET_NAME adalah bucket Cloud Storage yang akan ditransfer ke dalamnya. Untuk mentransfer ke direktori tertentu, tentukan gs://STORAGE_BUCKET_NAME/STORAGE_FOLDER_PATH/, termasuk garis miring.

• --source-creds-file menentukan jalur relatif ke file lokal di komputer yang menyertakan kredensial AWS untuk sumber transfer. Isi harus dalam format JSON berikut:

  {
    "accessKeyId": string,
    "secretAccessKey": string
  }
  

Opsi tambahan mencakup:

• --do-not-run mencegah Storage Transfer Service menjalankan tugas setelah pengiriman perintah. Untuk menjalankan tugas, update ke tambahkan jadwal, atau gunakan jobs run untuk memulainya secara manual.

• --manifest-file menentukan jalur ke file CSV di Cloud Storage yang berisi daftar file yang akan ditransfer dari sumber Anda. Untuk file manifes pemformatan, lihat Mentransfer file atau objek tertentu menggunakan manifes.

• Informasi pekerjaan: Anda dapat menetapkan --name dan --description.

• Jadwal: Tentukan --schedule-starts, --schedule-repeats-every, dan --schedule-repeats-until, atau --do-not-run.

• Kondisi objek: Gunakan kondisi untuk menentukan objek mana yang ditransfer. Ini termasuk --include-prefixes dan --exclude-prefixes, dan kondisi berbasis waktu dalam --include-modified-[before | after]-[absolute | relative]. Jika Anda menentukan folder dengan sumber Anda, filter awalan akan relatif terhadap folder tersebut. folder tersebut. Lihat Memfilter objek sumber menurut awalan untuk informasi selengkapnya tidak akurat atau tidak sesuai.

• Opsi transfer: Tentukan apakah akan menimpa tujuan file (--overwrite-when=different atau always) dan apakah akan menghapus file tertentu selama atau setelah transfer (--delete-from=destination-if-unique atau source-after-transfer); sebutkan nilai metadata yang akan dipertahankan (--preserve-metadata); dan secara opsional menetapkan kelas penyimpanan pada objek yang ditransfer (--custom-storage-class).

• Notifikasi: Konfigurasi Notifikasi Pub/Sub untuk transfer dengan --notification-pubsub-topic, --notification-event-types, dan --notification-payload-format.

• Cloud Logging: Aktifkan Cloud Logging dengan --log-actions dan --log-action-states. Lihat Cloud Logging untuk Storage Transfer Service untuk mengetahui detailnya.

Untuk melihat semua opsi, jalankan gcloud transfer jobs create --help atau lihat Dokumentasi referensi gcloud.

REST

Contoh berikut menunjukkan cara menggunakan Storage Transfer Service melalui REST Compute Engine API.

Saat Anda mengonfigurasi atau mengedit tugas transfer menggunakan Storage Transfer Service API, waktu harus dalam UTC. Untuk mengetahui informasi selengkapnya tentang yang menentukan jadwal tugas transfer, Jadwal.

Saat membuat tugas transfer, jangan sertakan awalan s3:// untuk bucketName di nama sumber bucket Amazon S3.

Transfer tanpa agen

Contoh berikut membuat tugas transfer menggunakan metode tanpa agen standar konfigurasi Anda. Lihat transferJobs.create referensi untuk detail selengkapnya.

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

Lihat Mengonfigurasi akses ke sumber: Amazon S3 untuk opsi otentikasi lainnya.

Distribusi CloudFront

Jika Anda mentransfer dari S3 melalui distribusi CloudFront, tentukan nama domain distribusi sebagai nilai Kolom transferSpec.awsS3DataSource.cloudfrontDomain:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "cloudfrontDomain": "https://dy1h2n3l4ob56.cloudfront.net",
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

Jaringan pribadi terkelola

Untuk mentransfer dari S3 menggunakan jaringan pribadi yang dikelola Google, tentukan Kolom transferSpec.awsS3DataSource.managedPrivateNetwork:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "managedPrivateNetwork": TRUE,
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

Library klien

Contoh berikut menunjukkan cara menggunakan Storage Transfer Service secara terprogram dengan Go, Java, Node.js, dan Python.

Jika Anda mengonfigurasi atau mengedit tugas transfer secara terprogram, waktunya harus dalam UTC. Untuk mengetahui informasi selengkapnya tentang yang menentukan jadwal tugas transfer, Jadwal.

Untuk informasi selengkapnya tentang library klien Storage Transfer Service, lihat Mulai menggunakan library klien Storage Transfer Service.

Transfer dari Amazon S3 ke Cloud Storage

Dalam contoh ini, Anda akan mempelajari cara memindahkan file dari Amazon S3 ke bucket Cloud Storage.

Saat membuat tugas transfer, jangan sertakan awalan s3:// untuk bucketName di nama sumber bucket Amazon S3.

Library klien Storage Transfer Service tidak mendukung transfer melalui CloudFront atau Managed private network.

Go

import (
	"context"
	"fmt"
	"io"
	"os"
	"time"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
	"google.golang.org/genproto/googleapis/type/date"
	"google.golang.org/genproto/googleapis/type/timeofday"
)

func transferFromAws(w io.Writer, projectID string, awsSourceBucket string, gcsSinkBucket string) (*storagetransferpb.TransferJob, error) {
	// Your Google Cloud Project ID
	// projectID := "my-project-id"

	// The name of the Aws bucket to transfer objects from
	// awsSourceBucket := "my-source-bucket"

	// The name of the GCS bucket to transfer objects to
	// gcsSinkBucket := "my-sink-bucket"

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	// A description of this job
	jobDescription := "Transfers objects from an AWS bucket to a GCS bucket"

	// The time to start the transfer
	startTime := time.Now().UTC()

	// The AWS access key credential, should be accessed via environment variable for security
	awsAccessKeyID := os.Getenv("AWS_ACCESS_KEY_ID")

	// The AWS secret key credential, should be accessed via environment variable for security
	awsSecretKey := os.Getenv("AWS_SECRET_ACCESS_KEY")

	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId:   projectID,
			Description: jobDescription,
			TransferSpec: &storagetransferpb.TransferSpec{
				DataSource: &storagetransferpb.TransferSpec_AwsS3DataSource{
					AwsS3DataSource: &storagetransferpb.AwsS3Data{
						BucketName: awsSourceBucket,
						AwsAccessKey: &storagetransferpb.AwsAccessKey{
							AccessKeyId:     awsAccessKeyID,
							SecretAccessKey: awsSecretKey,
						}},
				},
				DataSink: &storagetransferpb.TransferSpec_GcsDataSink{
					GcsDataSink: &storagetransferpb.GcsData{BucketName: gcsSinkBucket}},
			},
			Schedule: &storagetransferpb.Schedule{
				ScheduleStartDate: &date.Date{
					Year:  int32(startTime.Year()),
					Month: int32(startTime.Month()),
					Day:   int32(startTime.Day()),
				},
				ScheduleEndDate: &date.Date{
					Year:  int32(startTime.Year()),
					Month: int32(startTime.Month()),
					Day:   int32(startTime.Day()),
				},
				StartTimeOfDay: &timeofday.TimeOfDay{
					Hours:   int32(startTime.Hour()),
					Minutes: int32(startTime.Minute()),
					Seconds: int32(startTime.Second()),
				},
			},
			Status: storagetransferpb.TransferJob_ENABLED,
		},
	}
	resp, err := client.CreateTransferJob(ctx, req)
	if err != nil {
		return nil, fmt.Errorf("failed to create transfer job: %w", err)
	}
	if _, err = client.RunTransferJob(ctx, &storagetransferpb.RunTransferJobRequest{
		ProjectId: projectID,
		JobName:   resp.Name,
	}); err != nil {
		return nil, fmt.Errorf("failed to run transfer job: %w", err)
	}
	fmt.Fprintf(w, "Created and ran transfer job from %v to %v with name %v", awsSourceBucket, gcsSinkBucket, resp.Name)
	return resp, nil
}

Java

Mencari sampel lama? Lihat Panduan Migrasi Storage Transfer Service.

import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto.CreateTransferJobRequest;
import com.google.storagetransfer.v1.proto.TransferTypes.AwsAccessKey;
import com.google.storagetransfer.v1.proto.TransferTypes.AwsS3Data;
import com.google.storagetransfer.v1.proto.TransferTypes.GcsData;
import com.google.storagetransfer.v1.proto.TransferTypes.Schedule;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob.Status;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferSpec;
import com.google.type.Date;
import com.google.type.TimeOfDay;
import java.io.IOException;
import java.util.Calendar;

public class TransferFromAws {

  // Creates a one-off transfer job from Amazon S3 to Google Cloud Storage.
  public static void transferFromAws(
      String projectId,
      String jobDescription,
      String awsSourceBucket,
      String gcsSinkBucket,
      long startDateTime)
      throws IOException {

    // Your Google Cloud Project ID
    // String projectId = "your-project-id";

    // A short description of this job
    // String jobDescription = "Sample transfer job from S3 to GCS.";

    // The name of the source AWS bucket to transfer data from
    // String awsSourceBucket = "yourAwsSourceBucket";

    // The name of the GCS bucket to transfer data to
    // String gcsSinkBucket = "your-gcs-bucket";

    // What day and time in UTC to start the transfer, expressed as an epoch date timestamp.
    // If this is in the past relative to when the job is created, it will run the next day.
    // long startDateTime =
    //     new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").parse("2000-01-01 00:00:00").getTime();

    // The ID used to access your AWS account. Should be accessed via environment variable.
    String awsAccessKeyId = System.getenv("AWS_ACCESS_KEY_ID");

    // The Secret Key used to access your AWS account. Should be accessed via environment variable.
    String awsSecretAccessKey = System.getenv("AWS_SECRET_ACCESS_KEY");

    // Set up source and sink
    TransferSpec transferSpec =
        TransferSpec.newBuilder()
            .setAwsS3DataSource(
                AwsS3Data.newBuilder()
                    .setBucketName(awsSourceBucket)
                    .setAwsAccessKey(
                        AwsAccessKey.newBuilder()
                            .setAccessKeyId(awsAccessKeyId)
                            .setSecretAccessKey(awsSecretAccessKey)))
            .setGcsDataSink(GcsData.newBuilder().setBucketName(gcsSinkBucket))
            .build();

    // Parse epoch timestamp into the model classes
    Calendar startCalendar = Calendar.getInstance();
    startCalendar.setTimeInMillis(startDateTime);
    // Note that this is a Date from the model class package, not a java.util.Date
    Date startDate =
        Date.newBuilder()
            .setYear(startCalendar.get(Calendar.YEAR))
            .setMonth(startCalendar.get(Calendar.MONTH) + 1)
            .setDay(startCalendar.get(Calendar.DAY_OF_MONTH))
            .build();
    TimeOfDay startTime =
        TimeOfDay.newBuilder()
            .setHours(startCalendar.get(Calendar.HOUR_OF_DAY))
            .setMinutes(startCalendar.get(Calendar.MINUTE))
            .setSeconds(startCalendar.get(Calendar.SECOND))
            .build();
    Schedule schedule =
        Schedule.newBuilder()
            .setScheduleStartDate(startDate)
            .setScheduleEndDate(startDate)
            .setStartTimeOfDay(startTime)
            .build();

    // Set up the transfer job
    TransferJob transferJob =
        TransferJob.newBuilder()
            .setDescription(jobDescription)
            .setProjectId(projectId)
            .setTransferSpec(transferSpec)
            .setSchedule(schedule)
            .setStatus(Status.ENABLED)
            .build();

    // Create a Transfer Service client
    StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create();

    // Create the transfer job
    TransferJob response =
        storageTransfer.createTransferJob(
            CreateTransferJobRequest.newBuilder().setTransferJob(transferJob).build());

    System.out.println("Created transfer job from AWS to GCS:");
    System.out.println(response.toString());
  }
}

Node.js

// Imports the Google Cloud client library
const {
  StorageTransferServiceClient,
} = require('@google-cloud/storage-transfer');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of the Google Cloud Platform Project that owns the job
// projectId = 'my-project-id'

// A useful description for your transfer job
// description = 'My transfer job'

// AWS S3 source bucket name
// awsSourceBucket = 'my-s3-source-bucket'

// AWS Access Key ID
// awsAccessKeyId = 'AKIA...'

// AWS Secret Access Key
// awsSecretAccessKey = 'HEAoMK2.../...ku8'

// Google Cloud Storage destination bucket name
// gcsSinkBucket = 'my-gcs-destination-bucket'

// Creates a client
const client = new StorageTransferServiceClient();

/**
 * Creates a one-time transfer job from Amazon S3 to Google Cloud Storage.
 */
async function transferFromS3() {
  // Setting the start date and the end date as the same time creates a
  // one-time transfer
  const now = new Date();
  const oneTimeSchedule = {
    day: now.getDate(),
    month: now.getMonth() + 1,
    year: now.getFullYear(),
  };

  // Runs the request and creates the job
  const [transferJob] = await client.createTransferJob({
    transferJob: {
      projectId,
      description,
      status: 'ENABLED',
      schedule: {
        scheduleStartDate: oneTimeSchedule,
        scheduleEndDate: oneTimeSchedule,
      },
      transferSpec: {
        awsS3DataSource: {
          bucketName: awsSourceBucket,
          awsAccessKey: {
            accessKeyId: awsAccessKeyId,
            secretAccessKey: awsSecretAccessKey,
          },
        },
        gcsDataSink: {
          bucketName: gcsSinkBucket,
        },
      },
    },
  });

  console.log(
    `Created and ran a transfer job from '${awsSourceBucket}' to '${gcsSinkBucket}' with name ${transferJob.name}`
  );
}

transferFromS3();

Python

Mencari sampel lama? Lihat Panduan Migrasi Storage Transfer Service.

from datetime import datetime

from google.cloud import storage_transfer


def create_one_time_aws_transfer(
    project_id: str,
    description: str,
    source_bucket: str,
    aws_access_key_id: str,
    aws_secret_access_key: str,
    sink_bucket: str,
):
    """Creates a one-time transfer job from Amazon S3 to Google Cloud
    Storage."""

    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project-id'

    # A useful description for your transfer job
    # description = 'My transfer job'

    # AWS S3 source bucket name
    # source_bucket = 'my-s3-source-bucket'

    # AWS Access Key ID
    # aws_access_key_id = 'AKIA...'

    # AWS Secret Access Key
    # aws_secret_access_key = 'HEAoMK2.../...ku8'

    # Google Cloud Storage destination bucket name
    # sink_bucket = 'my-gcs-destination-bucket'

    now = datetime.utcnow()
    # Setting the start date and the end date as
    # the same time creates a one-time transfer
    one_time_schedule = {"day": now.day, "month": now.month, "year": now.year}

    transfer_job_request = storage_transfer.CreateTransferJobRequest(
        {
            "transfer_job": {
                "project_id": project_id,
                "description": description,
                "status": storage_transfer.TransferJob.Status.ENABLED,
                "schedule": {
                    "schedule_start_date": one_time_schedule,
                    "schedule_end_date": one_time_schedule,
                },
                "transfer_spec": {
                    "aws_s3_data_source": {
                        "bucket_name": source_bucket,
                        "aws_access_key": {
                            "access_key_id": aws_access_key_id,
                            "secret_access_key": aws_secret_access_key,
                        },
                    },
                    "gcs_data_sink": {
                        "bucket_name": sink_bucket,
                    },
                },
            }
        }
    )

    result = client.create_transfer_job(transfer_job_request)
    print(f"Created transferJob: {result.name}")