Halaman ini diterjemahkan oleh Cloud Translation API.

Transfer dari Amazon S3 ke Cloud Storage

Halaman ini menunjukkan cara membuat dan memulai tugas transfer dari Amazon S3 ke Cloud Storage.

Konfigurasikan izin

Sebelum membuat transfer, Anda harus mengonfigurasi izin di bucket Amazon S3. Lihat Mengonfigurasi akses ke sumber: Amazon S3 untuk mengetahui detailnya.

Anda juga harus mengonfigurasi izin untuk entity Google Cloud berikut:

	Akun pengguna yang digunakan untuk membuat transfer. Akun ini adalah akun yang login ke Konsol Google Cloud, atau akun yang ditentukan saat melakukan autentikasi ke CLI `gcloud`. Akun pengguna dapat berupa akun pengguna biasa, atau akun layanan yang dikelola pengguna.
	Akun layanan yang dikelola Google, juga dikenal sebagai agen layanan, yang digunakan oleh Storage Transfer Service. Akun ini umumnya diidentifikasi melalui alamat emailnya, yang menggunakan format `project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com`.

Lihat Izin transfer tanpa agen untuk mengetahui petunjuknya.

Opsi traffic keluar

Storage Transfer Service menyediakan beberapa opsi cara mentransfer data S3 ke Cloud Storage.

Opsi traffic keluar	Deskripsi
Tanpa agen default	Opsi ini menggunakan transfer terkelola tanpa agen dari S3. Anda akan dikenai biaya traffic keluar oleh Amazon. Ikuti petunjuk di halaman ini untuk menggunakan opsi ini.
Distribusi CloudFront	Gunakan distribusi Amazon CloudFront sebagai jalur keluar. Transfer data melalui CloudFront dapat memberikan manfaat berupa biaya traffic keluar AWS yang lebih rendah dibandingkan transfer langsung dari S3. Lihat Harga CloudFront dan biaya traffic keluar S3 untuk mengetahui detailnya. Ikuti petunjuk di Transfer dari S3 melalui CloudFront untuk menyiapkan distribusi Anda dan membuat transfer.
Jaringan pribadi terkelola	Transfer data melalui jaringan yang dikelola Google. Anda tidak membayar biaya traffic keluar S3; sebagai gantinya, Anda membayar tarif per GiB ke Google Cloud. Lihat halaman Harga untuk mengetahui detailnya. Anda mungkin masih ditagih biaya operasi dari AWS (misalnya, `LIST` atau `GET`); lihat harganya untuk mengetahui detailnya. Semua transfer project melalui jaringan pribadi terkelola memiliki bandwidth yang sama. Pada saat penggunaan yang tinggi, transfer Anda mungkin akan lambat. Transfer dengan file besar lebih terpengaruh daripada transfer dengan file kecil. Ikuti petunjuk di halaman ini untuk menggunakan opsi tersebut. Tentukan opsi Managed private network di Google Cloud Console atau kolom `managedPrivateNetwork` di REST API. gcloud CLI dan library klien tidak mendukung transfer jaringan pribadi terkelola. Lihat region yang didukung.
Berbasis agen	Valid untuk semua penyimpanan yang kompatibel dengan S3, termasuk Amazon S3. Dengan menginstal software agen di komputer yang memiliki akses ke bucket S3, Anda dapat mengontrol jalur jaringan dan bandwidth. Opsi ini memerlukan kumpulan agen dan agen. Ikuti petunjuk di Mentransfer dari sumber yang kompatibel dengan S3 untuk menggunakan opsi ini.

Region yang didukung

Storage Transfer Service mendukung region Amazon S3 berikut:

af-south-1
ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ap-southeast-2
ap-southeast-3 ap-southeast-4
ca-central-1
ca-west-1
eu-central-1
eu-central-2
eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2 eu-west-3
il-central-1
me-central-1
me-south-1
sa-east-1
us-east-1
us-east-2
us-west-1
us-west-2

Transfer menggunakan jaringan pribadi terkelola mendukung region AWS berikut:

us-east-1
us-east-2
us-west-1
us-west-2
ca-west-1
ca-central-1

Opsi transfer

Fitur Storage Transfer Service berikut tersedia untuk transfer dari S3 ke Cloud Storage

Mentransfer file tertentu menggunakan manifes

Anda dapat meneruskan daftar file agar Storage Transfer Service dapat ditindaklanjuti. Lihat Mentransfer file atau objek tertentu menggunakan manifes untuk mengetahui detailnya.

Menentukan kelas penyimpanan

Anda dapat menentukan class penyimpanan Cloud Storage yang akan digunakan untuk data Anda di bucket tujuan. Lihat opsi StorageClass untuk mengetahui detail REST, atau gunakan flag --custom-storage-class dengan Google Cloud CLI.

Perlu diingat bahwa setiap setelan kelas penyimpanan akan diabaikan jika bucket tujuan telah mengaktifkan Autoclass. Jika Autoclass diaktifkan, objek yang ditransfer ke dalam bucket awalnya akan ditetapkan ke Standard Storage.

Penyimpanan metadata

Saat mentransfer file dari S3, Storage Transfer Service dapat secara opsional mempertahankan atribut tertentu sebagai metadata kustom.

Lihat bagian Amazon S3 ke Cloud Storage pada Penyimpanan metadata untuk mengetahui detail tentang metadata yang dapat dipertahankan, dan cara mengonfigurasi transfer Anda.

Transfer berdasarkan peristiwa

Storage Transfer Service dapat memproses Notifikasi Peristiwa Amazon S3 yang dikirim ke Amazon SQS untuk otomatis mentransfer data yang telah ditambahkan atau diperbarui di lokasi sumber. Lihat Transfer berbasis peristiwa untuk mengetahui informasinya.

Logging dan pemantauan

Transfer dari S3 dapat dilihat di Cloud Logging dan Cloud Monitoring. Lihat Cloud Logging untuk Storage Transfer Service dan Memantau tugas transfer untuk mengetahui detailnya. Anda juga dapat mengonfigurasi notifikasi Pub/Sub.

Buat transfer

Storage Transfer Service menyediakan beberapa antarmuka yang digunakan untuk membuat transfer.

Jangan menyertakan informasi sensitif seperti informasi identitas pribadi (PII) atau data keamanan dalam nama tugas transfer Anda. Nama resource dapat disebarkan ke nama resource Google Cloud lainnya dan dapat diekspos ke sistem internal Google di luar project Anda.

Konsol Google Cloud

Buka halaman Storage Transfer Service di Konsol Google Cloud.

Buka Storage Transfer Service
Klik Buat tugas transfer. Halaman Create a transfer job akan ditampilkan.
Di bagian Source type, pilih Amazon S3.
Sebagai Jenis tujuan, pilih Google Cloud Storage.
Pilih Mode penjadwalan. Transfer batch dijalankan satu kali atau terjadwal. Transfer berbasis peristiwa terus memantau sumber dan mentransfer data saat ditambahkan atau diubah.

Untuk mengonfigurasi transfer berbasis peristiwa, ikuti petunjuk di bagian Transfer berbasis peristiwa.
Klik Next step.
Di kolom Bucket or folder name, masukkan nama bucket sumber.

Nama bucket adalah nama seperti yang muncul di Konsol Pengelolaan AWS.
Jika Anda menggunakan distribusi CloudFront untuk ditransfer dari S3, masukkan nama domain distribusi di kolom domain CloudFront. Contoh, https://dy1h2n3l4ob56.cloudfront.net. Lihat Transfer dari S3 melalui CloudFront untuk mengonfigurasi distribusi CloudFront.
Agar dapat menggunakan Jaringan pribadi terkelola untuk transfer ini, centang kotak centang. Lihat Opsi traffic keluar untuk mengetahui detailnya.
Pilih metode autentikasi Amazon Web Services (AWS) Anda. Lihat Mengonfigurasi akses ke sumber: Amazon S3 untuk mengetahui detailnya.
- Kunci akses: Masukkan kunci akses di kolom ID kunci akses dan rahasia yang terkait dengan kunci akses Anda di kolom Kunci akses rahasia.
- AWS IAM Role for identity federation: Masukkan ARN Anda di kolom AWS IAM role ARN, dengan sintaks berikut:
```
arn:aws:iam::ACCOUNT:role/ROLE-NAME-WITH-PATH
```
  Dengan keterangan:
  - ACCOUNT: ID akun AWS tanpa tanda hubung.
  - ROLE-NAME-WITH-PATH: Nama peran AWS termasuk jalur.
  Untuk informasi selengkapnya tentang ARN, lihat IAM ARN.
- Secret resource: Pilih opsi ini untuk menggunakan kredensial Amazon yang disimpan di Secret Manager. Pilih secret dari daftar, atau masukkan secara manual dalam format projects/PROJECT_NUMBER/secrets/SECRET_NAME.
Jika ini adalah transfer berbasis peristiwa, masukkan ARN antrean Amazon SQS, yang menggunakan format berikut:
```
arn:aws:sqs:us-east-1:1234567890:event-queue
```
Secara opsional, pilih untuk memfilter objek berdasarkan awalan atau menurut tanggal terakhir diubah. Jika Anda menentukan folder sebagai lokasi sumber, filter awalan akan relatif terhadap folder tersebut. Misalnya, jika sumber Anda adalah my-test-bucket/path/, filter sertakan file akan menyertakan semua file yang dimulai dengan my-test-bucket/path/file.
Klik Next step.
Di kolom Bucket or folder, masukkan bucket tujuan dan nama folder (opsional), atau klik Browse untuk memilih bucket dari daftar bucket yang ada di project Anda saat ini. Untuk membuat bucket baru, klik Create new bucket.
Klik Next step.
Pilih setelan untuk tugas transfer.
1. Di kolom Description, masukkan deskripsi transfer. Sebagai praktik terbaik, masukkan deskripsi yang bermakna dan unik agar Anda dapat membedakan tugas.
2. Di bagian Metadata options, pilih untuk menggunakan opsi default, atau klik View and select options guna menentukan nilai untuk semua metadata yang didukung. Lihat Preservasi metadata untuk mengetahui detailnya.
3. Di bagian Kapan harus menimpa, pilih salah satu dari opsi berikut:
  - Jika berbeda: Timpa file tujuan jika file sumber dengan nama yang sama memiliki nilai Etag atau checksum yang berbeda.
  - Always: Selalu menimpa file tujuan jika file sumber memiliki nama yang sama, meskipun file tersebut identik.
4. Di bagian Kapan harus dihapus, pilih salah satu opsi berikut:
  - Tidak pernah: Jangan pernah menghapus file dari sumber atau tujuan.
  - Hapus file dari sumber setelah ditransfer: Hapus file dari sumber setelah ditransfer ke tujuan.
    
    Penting: Jika Anda tidak memiliki pencadangan lokal, opsi ini tidak dapat dibatalkan.
  - Hapus file dari tujuan jika file tersebut tidak ada di sumber: Jika file di bucket Cloud Storage tujuan tidak juga ada di sumber, hapus file dari bucket Cloud Storage.
    
    Opsi ini akan memastikan bucket Cloud Storage tujuan sama persis dengan sumber Anda.
5. Di bagian Notification options, pilih topik Pub/Sub Anda dan peristiwa mana yang akan diberi tahu. Lihat notifikasi Pub/Sub untuk detail selengkapnya.
Klik Next step.
Pilih opsi penjadwalan:

Catatan: Storage Transfer Service menampilkan jadwal tugas transfer di zona waktu lokal Anda, tetapi menyimpan waktu tersebut dalam Universal Time Coordinated (UTC). Jika terpengaruh oleh Waktu Musim Panas (DST), Anda mungkin mengalami perubahan jadwal tugas transfer saat DST dimulai atau berakhir.
1. Dari menu drop-down Run once, pilih salah satu opsi berikut:
  - Run sekali: Menjalankan satu transfer, dimulai pada waktu yang Anda pilih.
  - Jalankan setiap hari: Menjalankan transfer setiap hari, dimulai pada waktu yang Anda pilih.
    
    Anda dapat memasukkan Tanggal akhir opsional, atau mengosongkan Tanggal akhir untuk menjalankan transfer secara berkelanjutan.
  - Jalankan setiap minggu: Menjalankan transfer setiap minggu, dimulai pada waktu yang Anda pilih.
  - Jalankan dengan frekuensi kustom: Menjalankan transfer dengan frekuensi yang Anda pilih. Anda dapat memilih untuk mengulangi transfer pada interval reguler Jam, Hari, atau Minggu.
    
    Anda dapat memasukkan Tanggal akhir opsional, atau mengosongkan Tanggal akhir untuk menjalankan transfer secara berkelanjutan.
2. Dari daftar drop-down Mulai sekarang, pilih salah satu dari berikut ini:
  - Dimulai sekarang: Memulai transfer setelah Anda mengklik Buat.
  - Memulai: Memulai transfer pada tanggal dan waktu yang Anda pilih. Klik Kalender untuk menampilkan kalender guna memilih tanggal mulai.
3. Untuk membuat tugas transfer, klik Buat.

gcloud CLI

Untuk membuat tugas transfer baru, gunakan perintah gcloud transfer jobs create. Membuat tugas baru akan memulai transfer yang ditentukan, kecuali jika jadwal atau --do-not-run ditentukan.

gcloud CLI tidak mendukung transfer melalui CloudFront atau Managed private network.

gcloud transfer jobs create \
  s3://S3_BUCKET_NAME gs://STORAGE_BUCKET_NAME \
  --source-creds-file="relative_path/to/creds.json"

Dengan keterangan:

S3_BUCKET_NAME adalah sumber data untuk transfer ini. Anda dapat memilih untuk menyertakan jalur: s3://S3_BUCKET_NAME/S3_FOLDER_PATH
STORAGE_BUCKET_NAME adalah bucket Cloud Storage yang akan menerima transfer. Untuk mentransfer ke direktori tertentu, tentukan gs://STORAGE_BUCKET_NAME/STORAGE_FOLDER_PATH/, termasuk garis miring di akhir.
--source-creds-file menentukan jalur relatif ke file lokal di komputer Anda yang menyertakan kredensial AWS untuk sumber transfer. Konten harus dalam format JSON berikut:
```
{
  "accessKeyId": string,
  "secretAccessKey": string
}
```

Opsi tambahan mencakup:

--do-not-run mencegah Storage Transfer Service menjalankan tugas setelah perintah dikirimkan. Untuk menjalankan tugas, perbarui tugas untuk menambahkan jadwal, atau gunakan jobs run untuk memulainya secara manual.
--manifest-file menentukan jalur ke file CSV di Cloud Storage yang berisi daftar file yang akan ditransfer dari sumber Anda. Untuk pemformatan file manifes, baca artikel Mentransfer file atau objek tertentu menggunakan manifes.
Informasi pekerjaan: Anda dapat menetapkan --name dan --description.
Schedule: Tentukan --schedule-starts, --schedule-repeats-every, dan --schedule-repeats-until, atau --do-not-run.
Kondisi objek: Gunakan kondisi untuk menentukan objek mana yang ditransfer. Ini termasuk --include-prefixes dan --exclude-prefixes, serta kondisi berbasis waktu di --include-modified-[before | after]-[absolute | relative]. Jika Anda menentukan folder dengan sumber Anda, filter awalan akan bersifat relatif terhadap folder tersebut. Lihat Memfilter objek sumber menurut awalan untuk mengetahui informasi selengkapnya.
Opsi transfer: Tentukan apakah akan menimpa file tujuan (--overwrite-when=different atau always) dan apakah akan menghapus file tertentu selama atau setelah transfer (--delete-from=destination-if-unique atau source-after-transfer); menentukan nilai metadata yang akan dipertahankan (--preserve-metadata); dan menetapkan class penyimpanan pada objek yang ditransfer secara opsional (--custom-storage-class).
Notifikasi: Konfigurasikan notifikasi Pub/Sub untuk transfer dengan --notification-pubsub-topic, --notification-event-types, dan --notification-payload-format.
Cloud Logging: Aktifkan Cloud Logging dengan --log-actions dan --log-action-states. Lihat Cloud Logging untuk Storage Transfer Service guna mengetahui detailnya.

Untuk melihat semua opsi, jalankan gcloud transfer jobs create --help atau lihat dokumentasi referensi gcloud.

REST

Contoh berikut menunjukkan cara menggunakan Storage Transfer Service melalui REST API.

Saat Anda mengonfigurasi atau mengedit tugas transfer menggunakan Storage Transfer Service API, waktunya harus dalam UTC. Untuk informasi selengkapnya tentang menentukan jadwal tugas transfer, lihat Menjadwalkan.

Saat membuat tugas transfer, jangan sertakan awalan s3:// untuk bucketName dalam nama sumber bucket Amazon S3.

Transfer tanpa agen

Contoh berikut membuat tugas transfer menggunakan konfigurasi tanpa agen standar. Lihat referensi transferJobs.create untuk mengetahui detail selengkapnya.

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

Lihat Mengonfigurasi akses ke sumber: Amazon S3 untuk opsi autentikasi lainnya.

Distribusi CloudFront

Jika Anda mentransfer dari S3 melalui distribusi CloudFront, tentukan nama domain distribusi sebagai nilai kolom transferSpec.awsS3DataSource.cloudfrontDomain:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "cloudfrontDomain": "https://dy1h2n3l4ob56.cloudfront.net",
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

Jaringan pribadi terkelola

Untuk mentransfer dari S3 menggunakan jaringan pribadi yang dikelola Google, tentukan kolom transferSpec.awsS3DataSource.managedPrivateNetwork:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "managedPrivateNetwork": TRUE,
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

Library klien

Contoh berikut menunjukkan cara menggunakan Storage Transfer Service secara terprogram dengan Go, Java, Node.js, dan Python.

Saat Anda mengonfigurasi atau mengedit tugas transfer secara terprogram, waktunya harus dalam UTC. Untuk informasi selengkapnya tentang menentukan jadwal tugas transfer, lihat Menjadwalkan.

Untuk informasi selengkapnya tentang library klien Storage Transfer Service, lihat Mulai menggunakan library klien Storage Transfer Service.

Transfer dari Amazon S3 ke Cloud Storage

Dalam contoh ini, Anda akan mempelajari cara memindahkan file dari Amazon S3 ke bucket Cloud Storage.

Saat membuat tugas transfer, jangan sertakan awalan s3:// untuk bucketName dalam nama sumber bucket Amazon S3.

Library klien Storage Transfer Service tidak mendukung transfer melalui CloudFront atau Jaringan pribadi terkelola.

Go

import (
	"context"
	"fmt"
	"io"
	"os"
	"time"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
	"google.golang.org/genproto/googleapis/type/date"
	"google.golang.org/genproto/googleapis/type/timeofday"
)

func transferFromAws(w io.Writer, projectID string, awsSourceBucket string, gcsSinkBucket string) (*storagetransferpb.TransferJob, error) {
	// Your Google Cloud Project ID
	// projectID := "my-project-id"

	// The name of the Aws bucket to transfer objects from
	// awsSourceBucket := "my-source-bucket"

	// The name of the GCS bucket to transfer objects to
	// gcsSinkBucket := "my-sink-bucket"

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	// A description of this job
	jobDescription := "Transfers objects from an AWS bucket to a GCS bucket"

	// The time to start the transfer
	startTime := time.Now().UTC()

	// The AWS access key credential, should be accessed via environment variable for security
	awsAccessKeyID := os.Getenv("AWS_ACCESS_KEY_ID")

	// The AWS secret key credential, should be accessed via environment variable for security
	awsSecretKey := os.Getenv("AWS_SECRET_ACCESS_KEY")

	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId:   projectID,
			Description: jobDescription,
			TransferSpec: &storagetransferpb.TransferSpec{
				DataSource: &storagetransferpb.TransferSpec_AwsS3DataSource{
					AwsS3DataSource: &storagetransferpb.AwsS3Data{
						BucketName: awsSourceBucket,
						AwsAccessKey: &storagetransferpb.AwsAccessKey{
							AccessKeyId:     awsAccessKeyID,
							SecretAccessKey: awsSecretKey,
						}},
				},
				DataSink: &storagetransferpb.TransferSpec_GcsDataSink{
					GcsDataSink: &storagetransferpb.GcsData{BucketName: gcsSinkBucket}},
			},
			Schedule: &storagetransferpb.Schedule{
				ScheduleStartDate: &date.Date{
					Year:  int32(startTime.Year()),
					Month: int32(startTime.Month()),
					Day:   int32(startTime.Day()),
				},
				ScheduleEndDate: &date.Date{
					Year:  int32(startTime.Year()),
					Month: int32(startTime.Month()),
					Day:   int32(startTime.Day()),
				},
				StartTimeOfDay: &timeofday.TimeOfDay{
					Hours:   int32(startTime.Hour()),
					Minutes: int32(startTime.Minute()),
					Seconds: int32(startTime.Second()),
				},
			},
			Status: storagetransferpb.TransferJob_ENABLED,
		},
	}
	resp, err := client.CreateTransferJob(ctx, req)
	if err != nil {
		return nil, fmt.Errorf("failed to create transfer job: %w", err)
	}
	if _, err = client.RunTransferJob(ctx, &storagetransferpb.RunTransferJobRequest{
		ProjectId: projectID,
		JobName:   resp.Name,
	}); err != nil {
		return nil, fmt.Errorf("failed to run transfer job: %w", err)
	}
	fmt.Fprintf(w, "Created and ran transfer job from %v to %v with name %v", awsSourceBucket, gcsSinkBucket, resp.Name)
	return resp, nil
}

Java

Mencari sampel lama? Lihat Panduan Migrasi Storage Transfer Service.


import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto.CreateTransferJobRequest;
import com.google.storagetransfer.v1.proto.TransferTypes.AwsAccessKey;
import com.google.storagetransfer.v1.proto.TransferTypes.AwsS3Data;
import com.google.storagetransfer.v1.proto.TransferTypes.GcsData;
import com.google.storagetransfer.v1.proto.TransferTypes.Schedule;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob.Status;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferSpec;
import com.google.type.Date;
import com.google.type.TimeOfDay;
import java.io.IOException;
import java.util.Calendar;

public class TransferFromAws {

  // Creates a one-off transfer job from Amazon S3 to Google Cloud Storage.
  public static void transferFromAws(
      String projectId,
      String jobDescription,
      String awsSourceBucket,
      String gcsSinkBucket,
      long startDateTime)
      throws IOException {

    // Your Google Cloud Project ID
    // String projectId = "your-project-id";

    // A short description of this job
    // String jobDescription = "Sample transfer job from S3 to GCS.";

    // The name of the source AWS bucket to transfer data from
    // String awsSourceBucket = "yourAwsSourceBucket";

    // The name of the GCS bucket to transfer data to
    // String gcsSinkBucket = "your-gcs-bucket";

    // What day and time in UTC to start the transfer, expressed as an epoch date timestamp.
    // If this is in the past relative to when the job is created, it will run the next day.
    // long startDateTime =
    //     new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").parse("2000-01-01 00:00:00").getTime();

    // The ID used to access your AWS account. Should be accessed via environment variable.
    String awsAccessKeyId = System.getenv("AWS_ACCESS_KEY_ID");

    // The Secret Key used to access your AWS account. Should be accessed via environment variable.
    String awsSecretAccessKey = System.getenv("AWS_SECRET_ACCESS_KEY");

    // Set up source and sink
    TransferSpec transferSpec =
        TransferSpec.newBuilder()
            .setAwsS3DataSource(
                AwsS3Data.newBuilder()
                    .setBucketName(awsSourceBucket)
                    .setAwsAccessKey(
                        AwsAccessKey.newBuilder()
                            .setAccessKeyId(awsAccessKeyId)
                            .setSecretAccessKey(awsSecretAccessKey)))
            .setGcsDataSink(GcsData.newBuilder().setBucketName(gcsSinkBucket))
            .build();

    // Parse epoch timestamp into the model classes
    Calendar startCalendar = Calendar.getInstance();
    startCalendar.setTimeInMillis(startDateTime);
    // Note that this is a Date from the model class package, not a java.util.Date
    Date startDate =
        Date.newBuilder()
            .setYear(startCalendar.get(Calendar.YEAR))
            .setMonth(startCalendar.get(Calendar.MONTH) + 1)
            .setDay(startCalendar.get(Calendar.DAY_OF_MONTH))
            .build();
    TimeOfDay startTime =
        TimeOfDay.newBuilder()
            .setHours(startCalendar.get(Calendar.HOUR_OF_DAY))
            .setMinutes(startCalendar.get(Calendar.MINUTE))
            .setSeconds(startCalendar.get(Calendar.SECOND))
            .build();
    Schedule schedule =
        Schedule.newBuilder()
            .setScheduleStartDate(startDate)
            .setScheduleEndDate(startDate)
            .setStartTimeOfDay(startTime)
            .build();

    // Set up the transfer job
    TransferJob transferJob =
        TransferJob.newBuilder()
            .setDescription(jobDescription)
            .setProjectId(projectId)
            .setTransferSpec(transferSpec)
            .setSchedule(schedule)
            .setStatus(Status.ENABLED)
            .build();

    // Create a Transfer Service client
    StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create();

    // Create the transfer job
    TransferJob response =
        storageTransfer.createTransferJob(
            CreateTransferJobRequest.newBuilder().setTransferJob(transferJob).build());

    System.out.println("Created transfer job from AWS to GCS:");
    System.out.println(response.toString());
  }
}

Node.js


// Imports the Google Cloud client library
const {
  StorageTransferServiceClient,
} = require('@google-cloud/storage-transfer');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of the Google Cloud Platform Project that owns the job
// projectId = 'my-project-id'

// A useful description for your transfer job
// description = 'My transfer job'

// AWS S3 source bucket name
// awsSourceBucket = 'my-s3-source-bucket'

// AWS Access Key ID
// awsAccessKeyId = 'AKIA...'

// AWS Secret Access Key
// awsSecretAccessKey = 'HEAoMK2.../...ku8'

// Google Cloud Storage destination bucket name
// gcsSinkBucket = 'my-gcs-destination-bucket'

// Creates a client
const client = new StorageTransferServiceClient();

/**
 * Creates a one-time transfer job from Amazon S3 to Google Cloud Storage.
 */
async function transferFromS3() {
  // Setting the start date and the end date as the same time creates a
  // one-time transfer
  const now = new Date();
  const oneTimeSchedule = {
    day: now.getDate(),
    month: now.getMonth() + 1,
    year: now.getFullYear(),
  };

  // Runs the request and creates the job
  const [transferJob] = await client.createTransferJob({
    transferJob: {
      projectId,
      description,
      status: 'ENABLED',
      schedule: {
        scheduleStartDate: oneTimeSchedule,
        scheduleEndDate: oneTimeSchedule,
      },
      transferSpec: {
        awsS3DataSource: {
          bucketName: awsSourceBucket,
          awsAccessKey: {
            accessKeyId: awsAccessKeyId,
            secretAccessKey: awsSecretAccessKey,
          },
        },
        gcsDataSink: {
          bucketName: gcsSinkBucket,
        },
      },
    },
  });

  console.log(
    `Created and ran a transfer job from '${awsSourceBucket}' to '${gcsSinkBucket}' with name ${transferJob.name}`
  );
}

transferFromS3();

Python

Mencari sampel lama? Lihat Panduan Migrasi Storage Transfer Service.

from datetime import datetime

from google.cloud import storage_transfer


def create_one_time_aws_transfer(
    project_id: str,
    description: str,
    source_bucket: str,
    aws_access_key_id: str,
    aws_secret_access_key: str,
    sink_bucket: str,
):
    """Creates a one-time transfer job from Amazon S3 to Google Cloud
    Storage."""

    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project-id'

    # A useful description for your transfer job
    # description = 'My transfer job'

    # AWS S3 source bucket name
    # source_bucket = 'my-s3-source-bucket'

    # AWS Access Key ID
    # aws_access_key_id = 'AKIA...'

    # AWS Secret Access Key
    # aws_secret_access_key = 'HEAoMK2.../...ku8'

    # Google Cloud Storage destination bucket name
    # sink_bucket = 'my-gcs-destination-bucket'

    now = datetime.utcnow()
    # Setting the start date and the end date as
    # the same time creates a one-time transfer
    one_time_schedule = {"day": now.day, "month": now.month, "year": now.year}

    transfer_job_request = storage_transfer.CreateTransferJobRequest(
        {
            "transfer_job": {
                "project_id": project_id,
                "description": description,
                "status": storage_transfer.TransferJob.Status.ENABLED,
                "schedule": {
                    "schedule_start_date": one_time_schedule,
                    "schedule_end_date": one_time_schedule,
                },
                "transfer_spec": {
                    "aws_s3_data_source": {
                        "bucket_name": source_bucket,
                        "aws_access_key": {
                            "access_key_id": aws_access_key_id,
                            "secret_access_key": aws_secret_access_key,
                        },
                    },
                    "gcs_data_sink": {
                        "bucket_name": sink_bucket,
                    },
                },
            }
        }
    )

    result = client.create_transfer_job(transfer_job_request)
    print(f"Created transferJob: {result.name}")