Halaman ini diterjemahkan oleh Cloud Translation API.

Transfer dari Amazon S3 ke Cloud Storage

Halaman ini menunjukkan cara membuat dan memulai tugas transfer dari Amazon S3 ke Cloud Storage.

Konfigurasikan izin

Sebelum membuat transfer, Anda harus mengonfigurasi izin di bucket Amazon S3. Lihat Mengonfigurasi akses ke sumber: Amazon S3 untuk mengetahui detailnya.

Anda juga harus mengonfigurasi izin untuk entity Google Cloud berikut:

	Akun pengguna yang digunakan untuk melakukan transfer. Akun ini digunakan untuk login ke Google Cloud Console, atau akun yang ditentukan saat melakukan autentikasi ke CLI `gcloud`. Akun pengguna dapat berupa akun pengguna biasa, atau akun layanan yang dikelola pengguna.
	Akun layanan yang dikelola Google, juga dikenal sebagai agen layanan, yang digunakan oleh Storage Transfer Service. Akun ini biasanya diidentifikasi dengan alamat emailnya yang menggunakan format `project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com`.

Lihat Izin transfer tanpa agen untuk mengetahui petunjuknya.

Opsi keluar

Storage Transfer Service menyediakan beberapa opsi terkait cara mentransfer data S3 Anda ke Cloud Storage.

Opsi keluar	Deskripsi
Tanpa agen default	Opsi ini menggunakan transfer yang terkelola dan tanpa agen dari S3. Anda dikenai biaya traffic keluar oleh Amazon. Ikuti petunjuk di halaman ini untuk menggunakan opsi ini.
Distribusi CloudFront	Gunakan distribusi Amazon CloudFront sebagai jalur keluar. Transfer data melalui CloudFront mungkin memperoleh manfaat dari biaya traffic keluar AWS yang lebih rendah dibandingkan dengan mentransfer langsung dari S3. Lihat Harga CloudFront dan biaya traffic keluar S3 untuk mengetahui detailnya. Ikuti petunjuk di Transfer dari S3 melalui CloudFront untuk menyiapkan distribusi Anda dan membuat transfer.
Jaringan pribadi terkelola	Transfer data Anda melalui jaringan yang dikelola Google. Anda tidak perlu membayar biaya traffic keluar S3; sebagai gantinya, Anda membayar tarif per GiB ke Google Cloud. Lihat halaman Harga untuk mengetahui detailnya. Anda mungkin masih akan ditagih biaya operasi dari AWS (mis., `LIST` atau `GET` panggilan); lihat harga untuk detailnya. Semua transfer project melalui jaringan pribadi terkelola memiliki bandwidth yang sama. Jika penggunaan tinggi, transfer Anda mungkin melambat. Transfer dengan file besar akan lebih terpengaruh dibandingkan transfer dengan file kecil. Ikuti petunjuk di halaman ini untuk menggunakan opsi ini. Tentukan opsi Jaringan pribadi terkelola di Konsol Google Cloud atau kolom `managedPrivateNetwork` di REST API. Gcloud CLI dan library klien tidak mendukung transfer jaringan pribadi terkelola. Lihat wilayah yang didukung.
Berbasis agen	Berlaku untuk semua penyimpanan yang kompatibel dengan Android S3, termasuk Amazon S3. Dengan menginstal software agen pada komputer yang memiliki akses ke bucket S3, Anda dapat mengontrol jalur jaringan dan bandwidth. Opsi ini memerlukan kumpulan agen dan agen. Ikuti petunjuk dalam artikel Mentransfer dari sumber yang kompatibel dengan S3 untuk menggunakan opsi ini.

Region yang didukung

Storage Transfer Service mendukung region Amazon S3 berikut:

af-south-1
ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ap-southeast-2
ap-southeast-3 ap-southeast-4
ca-central-1
ca-west-1
eu-central-1
eu-central-2
eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2 eu-west-3
il-central-1
me-central-1
me-south-1
sa-east-1
us-east-1
us-east-2
us-west-1
us-west-2

Transfer menggunakan jaringan pribadi terkelola mendukung region AWS berikut:

us-east-1
us-east-2
us-west-1
us-west-2
ca-west-1
ca-central-1

Opsi transfer

Fitur Storage Transfer Service berikut tersedia untuk ditransfer dari S3 ke Cloud Storage

Mentransfer file tertentu menggunakan manifes

Anda dapat meneruskan daftar file yang akan ditindaklanjuti oleh Storage Transfer Service. Lihat Mentransfer file atau objek tertentu menggunakan manifes untuk mengetahui detailnya.

Tentukan kelas penyimpanan

Anda dapat menentukan kelas penyimpanan Cloud Storage yang akan digunakan untuk data di bucket tujuan. Lihat opsi StorageClass untuk mengetahui detail REST, atau gunakan flag --custom-storage-class dengan Google Cloud CLI.

Perlu diperhatikan bahwa setelan kelas penyimpanan apa pun akan diabaikan jika bucket tujuan telah mengaktifkan Autoclass. Jika Autoclass diaktifkan, objek yang ditransfer ke dalam bucket akan ditetapkan ke Standard Storage pada awalnya.

Penyimpanan metadata

Saat mentransfer file dari S3, Storage Transfer Service secara opsional dapat mempertahankan atribut tertentu sebagai metadata kustom.

Lihat bagian Amazon S3 ke Cloud Storage di Penyimpanan metadata untuk mengetahui detail tentang metadata yang dapat dipertahankan, dan cara mengonfigurasi transfer Anda.

Transfer berdasarkan peristiwa

Storage Transfer Service dapat memproses Notifikasi Peristiwa Amazon S3 yang dikirim ke Amazon SQS untuk otomatis mentransfer data yang telah ditambahkan atau diperbarui di lokasi sumber. Lihat Transfer berbasis peristiwa untuk mengetahui informasinya.

Logging dan pemantauan

Transfer dari S3 dapat dilihat di Cloud Logging dan Cloud Monitoring. Lihat Cloud Logging untuk Storage Transfer Service dan Memantau tugas transfer untuk mengetahui detailnya. Anda juga dapat mengonfigurasi notifikasi Pub/Sub.

Buat transfer

Storage Transfer Service menyediakan beberapa antarmuka yang digunakan untuk membuat transfer.

Jangan sertakan informasi sensitif seperti informasi identitas pribadi (PII) atau data keamanan dalam nama tugas transfer Anda. Nama resource dapat diterapkan ke nama resource Google Cloud lainnya dan dapat diekspos ke sistem internal Google di luar project Anda.

Konsol Google Cloud

Buka halaman Storage Transfer Service di Konsol Google Cloud.

Buka Storage Transfer Service
Klik Buat tugas transfer. Halaman Buat tugas transfer akan ditampilkan.
Di bagian Jenis sumber, pilih Amazon S3.
Sebagai Jenis tujuan, pilih Google Cloud Storage.
Pilih Mode penjadwalan. Transfer batch dijalankan satu kali atau terjadwal. Transfer berbasis peristiwa terus memantau sumber dan mentransfer data saat ditambahkan atau diubah.

Untuk mengonfigurasi transfer berbasis peristiwa, ikuti petunjuk di bagian Transfer berbasis peristiwa.
Klik Next step.
Di kolom Bucket or folder name, masukkan nama bucket sumber.

Nama bucket adalah nama seperti yang muncul di AWS Management Console.
Jika Anda menggunakan distribusi CloudFront untuk mentransfer dari S3, masukkan nama domain distribusi di kolom domain CloudFront. Contoh, https://dy1h2n3l4ob56.cloudfront.net. Lihat Mentransfer dari S3 melalui CloudFront untuk mengonfigurasi distribusi CloudFront.
Untuk menggunakan Jaringan pribadi terkelola untuk transfer ini, centang kotaknya. Lihat Opsi keluar untuk mengetahui detailnya.
Pilih metode autentikasi Amazon Web Services (AWS). Lihat Mengonfigurasi akses ke sumber: Amazon S3 untuk mengetahui detailnya.
- Kunci akses: Masukkan kunci akses Anda di kolom ID kunci akses dan rahasia yang terkait dengan kunci akses Anda di kolom Kunci akses rahasia.
- Peran AWS IAM untuk penggabungan identitas: Masukkan ARN Anda di kolom ARN peran AWS IAM, dengan sintaksis berikut:
```
arn:aws:iam::ACCOUNT:role/ROLE-NAME-WITH-PATH
```
  Dengan keterangan:
  - ACCOUNT: ID akun AWS tanpa tanda hubung.
  - ROLE-NAME-WITH-PATH: Nama peran AWS termasuk jalur.
  Untuk informasi lebih lanjut tentang ARN, lihat ARN IAM.
- Secret resource: Pilih opsi ini untuk menggunakan kredensial Amazon yang disimpan di Secret Manager. Pilih rahasia dari daftar, atau masukkan rahasia secara manual dalam format projects/PROJECT_NUMBER/secrets/SECRET_NAME.
Jika ini adalah transfer berbasis peristiwa, masukkan ARN antrean Amazon SQS, yang menggunakan format berikut:
```
arn:aws:sqs:us-east-1:1234567890:event-queue
```
Secara opsional, pilih untuk memfilter objek berdasarkan awalan atau berdasarkan tanggal terakhir diubah. Jika Anda menentukan folder sebagai lokasi sumber, filter awalan akan relatif terhadap folder tersebut. Misalnya, jika sumber Anda adalah my-test-bucket/path/, filter sertakan file akan menyertakan semua file yang dimulai dengan my-test-bucket/path/file.
Klik Next step.
Pada kolom Bucket or folder, masukkan bucket tujuan dan nama folder (opsional), atau klik Browse untuk memilih bucket dari daftar bucket yang ada di project saat ini. Untuk membuat bucket baru, klik Buat bucket baru.
Klik Next step.
Pilih setelan untuk tugas transfer.
1. Di kolom Description, masukkan deskripsi transfer. Sebagai praktik terbaik, masukkan deskripsi yang bermakna dan unik sehingga Anda dapat membedakan tugas.
2. Di bagian Metadata options, pilih untuk menggunakan opsi default, atau klik View and select options guna menentukan nilai untuk semua metadata yang didukung. Baca Preservasi metadata untuk mengetahui detailnya.
3. Di bagian Kapan harus menimpa, pilih salah satu opsi berikut:
  - Jika berbeda: Menimpa file tujuan jika file sumber dengan nama yang sama memiliki nilai Etag atau checksum yang berbeda.
  - Selalu: Selalu menimpa file tujuan saat file sumber memiliki nama yang sama, meskipun file tersebut identik.
4. Di bagian Kapan harus menghapus, pilih salah satu dari opsi berikut:
  - Tidak pernah: Jangan pernah menghapus file dari sumber atau tujuan.
  - Hapus file dari sumber setelah ditransfer: Menghapus file dari sumber setelah ditransfer ke tujuan.
    
    Penting: Jika Anda tidak memiliki cadangan lokal, opsi ini adalah tindakan yang tidak dapat dibatalkan.
  - Hapus file dari tujuan jika file tersebut tidak ada di sumbernya: Jika file di bucket Cloud Storage tujuan juga tidak ada di sumbernya, hapus file dari bucket Cloud Storage.
    
    Opsi ini memastikan bahwa bucket Cloud Storage tujuan sama persis dengan sumber Anda.
5. Di bagian Opsi notifikasi, pilih topik Pub/Sub dan peristiwa yang akan diberi tahu. Lihat Notifikasi Pub/Sub untuk mengetahui detail selengkapnya.
Klik Next step.
Pilih opsi penjadwalan Anda:

Catatan: Storage Transfer Service menampilkan jadwal tugas transfer di zona waktu lokal Anda, tetapi menyimpan waktu tersebut dalam Universal Time Coordinated (UTC). Jika Anda terpengaruh oleh Waktu Musim Panas (DST), Anda mungkin mengalami perubahan jadwal tugas transfer saat DST dimulai atau berakhir.
1. Dari menu drop-down Run once, pilih salah satu opsi berikut:
  - Jalankan sekali: Menjalankan satu transfer, dimulai pada waktu yang Anda pilih.
  - Jalankan setiap hari: Menjalankan transfer setiap hari, dimulai pada waktu yang Anda pilih.
    
    Anda dapat memasukkan Tanggal akhir opsional, atau mengosongkan Tanggal akhir untuk menjalankan transfer secara berkelanjutan.
  - Jalankan setiap minggu: Menjalankan transfer setiap minggu, dimulai pada waktu yang Anda pilih.
  - Jalankan dengan frekuensi kustom: Menjalankan transfer dengan frekuensi yang Anda pilih. Anda dapat memilih untuk mengulangi transfer pada interval reguler, yaitu Jam, Hari, atau Minggu.
    
    Anda dapat memasukkan Tanggal akhir opsional, atau mengosongkan Tanggal akhir untuk menjalankan transfer secara berkelanjutan.
2. Dari menu drop-down Mulai sekarang, pilih salah satu opsi berikut:
  - Dimulai sekarang: Memulai transfer setelah Anda mengklik Buat.
  - Dimulai: Memulai transfer pada tanggal dan waktu yang Anda pilih. Klik Kalender untuk menampilkan kalender guna memilih tanggal mulai.
3. Untuk membuat tugas transfer, klik Buat.

gcloud CLI

Untuk membuat tugas transfer baru, gunakan perintah gcloud transfer jobs create. Membuat tugas baru akan memulai transfer yang ditentukan, kecuali jika jadwal atau --do-not-run ditentukan.

Gcloud CLI tidak mendukung transfer melalui CloudFront atau Jaringan pribadi terkelola.

gcloud transfer jobs create \
  s3://S3_BUCKET_NAME gs://STORAGE_BUCKET_NAME \
  --source-creds-file="relative_path/to/creds.json"

Dengan keterangan:

S3_BUCKET_NAME adalah sumber data untuk transfer ini. Secara opsional, Anda dapat menyertakan jalur: s3://S3_BUCKET_NAME/S3_FOLDER_PATH
STORAGE_BUCKET_NAME adalah bucket Cloud Storage yang menjadi tujuan transfer. Untuk mentransfer ke direktori tertentu, tentukan gs://STORAGE_BUCKET_NAME/STORAGE_FOLDER_PATH/, termasuk garis miring.
--source-creds-file menentukan jalur relatif ke file lokal di komputer Anda yang menyertakan kredensial AWS untuk sumber transfer. Konten harus dalam format JSON berikut:
```
{
  "accessKeyId": string,
  "secretAccessKey": string
}
```

Opsi tambahan mencakup:

--do-not-run mencegah Storage Transfer Service menjalankan tugas setelah pengiriman perintah. Untuk menjalankan tugas, perbarui tugas untuk menambahkan jadwal, atau gunakan jobs run untuk memulainya secara manual.
--manifest-file menentukan jalur ke file CSV di Cloud Storage yang berisi daftar file yang akan ditransfer dari sumber Anda. Untuk pemformatan file manifes, lihat Mentransfer file atau objek tertentu menggunakan manifes.
Informasi pekerjaan: Anda dapat menentukan --name dan --description.
Jadwal: Tentukan --schedule-starts, --schedule-repeats-every, dan --schedule-repeats-until, atau --do-not-run.
Kondisi objek: Gunakan kondisi untuk menentukan objek mana yang ditransfer. Situasi tersebut mencakup --include-prefixes dan --exclude-prefixes, serta kondisi berbasis waktu di --include-modified-[before | after]-[absolute | relative]. Jika Anda menentukan folder dengan sumber, filter awalan akan relatif terhadap folder tersebut. Lihat Memfilter objek sumber menurut awalan untuk mengetahui informasi selengkapnya.
Opsi transfer: Tentukan apakah akan menimpa file tujuan (--overwrite-when=different atau always) dan apakah akan menghapus file tertentu selama atau setelah transfer (--delete-from=destination-if-unique atau source-after-transfer); tentukan nilai metadata yang perlu dipertahankan (--preserve-metadata); dan tetapkan kelas penyimpanan secara opsional pada objek yang ditransfer (--custom-storage-class).
Notifications: Konfigurasikan notifikasi Pub/Sub untuk transfer dengan --notification-pubsub-topic, --notification-event-types, dan --notification-payload-format.
Cloud Logging: Aktifkan Cloud Logging dengan --log-actions dan --log-action-states. Lihat Cloud Logging untuk Storage Transfer Service untuk mengetahui detailnya.

Untuk melihat semua opsi, jalankan gcloud transfer jobs create --help atau lihat dokumentasi referensi gcloud.

REST

Contoh berikut menunjukkan cara menggunakan Storage Transfer Service melalui REST API.

Saat Anda mengonfigurasi atau mengedit tugas transfer menggunakan Storage Transfer Service API, waktu harus dalam UTC. Untuk informasi selengkapnya tentang menentukan jadwal tugas transfer, lihat Menjadwalkan.

Saat membuat tugas transfer, jangan sertakan awalan s3:// untuk bucketName di nama sumber bucket Amazon S3.

Transfer tanpa agen

Contoh berikut membuat tugas transfer menggunakan konfigurasi tanpa agen standar. Lihat referensi transferJobs.create untuk detail selengkapnya.

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

Lihat Mengonfigurasi akses ke sumber: Amazon S3 untuk mengetahui opsi autentikasi lainnya.

Distribusi CloudFront

Jika Anda mentransfer dari S3 melalui distribusi CloudFront, tentukan nama domain distribusi sebagai nilai kolom transferSpec.awsS3DataSource.cloudfrontDomain:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "cloudfrontDomain": "https://dy1h2n3l4ob56.cloudfront.net",
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

Jaringan pribadi terkelola

Untuk mentransfer dari S3 menggunakan jaringan pribadi yang dikelola Google, tentukan kolom transferSpec.awsS3DataSource.managedPrivateNetwork:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "managedPrivateNetwork": TRUE,
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

Library klien

Contoh berikut menunjukkan cara menggunakan Storage Transfer Service secara terprogram dengan Go, Java, Node.js, dan Python.

Saat Anda mengonfigurasi atau mengedit tugas transfer secara terprogram, waktu harus dalam UTC. Untuk informasi selengkapnya tentang menentukan jadwal tugas transfer, lihat Menjadwalkan.

Untuk informasi selengkapnya tentang library klien Storage Transfer Service, lihat Mulai menggunakan library klien Storage Transfer Service.

Transfer dari Amazon S3 ke Cloud Storage

Dalam contoh ini, Anda akan mempelajari cara memindahkan file dari Amazon S3 ke bucket Cloud Storage.

Saat membuat tugas transfer, jangan sertakan awalan s3:// untuk bucketName di nama sumber bucket Amazon S3.

Library klien Storage Transfer Service tidak mendukung transfer melalui CloudFront atau Jaringan pribadi terkelola.

Go

import (
	"context"
	"fmt"
	"io"
	"os"
	"time"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
	"google.golang.org/genproto/googleapis/type/date"
	"google.golang.org/genproto/googleapis/type/timeofday"
)

func transferFromAws(w io.Writer, projectID string, awsSourceBucket string, gcsSinkBucket string) (*storagetransferpb.TransferJob, error) {
	// Your Google Cloud Project ID
	// projectID := "my-project-id"

	// The name of the Aws bucket to transfer objects from
	// awsSourceBucket := "my-source-bucket"

	// The name of the GCS bucket to transfer objects to
	// gcsSinkBucket := "my-sink-bucket"

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	// A description of this job
	jobDescription := "Transfers objects from an AWS bucket to a GCS bucket"

	// The time to start the transfer
	startTime := time.Now().UTC()

	// The AWS access key credential, should be accessed via environment variable for security
	awsAccessKeyID := os.Getenv("AWS_ACCESS_KEY_ID")

	// The AWS secret key credential, should be accessed via environment variable for security
	awsSecretKey := os.Getenv("AWS_SECRET_ACCESS_KEY")

	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId:   projectID,
			Description: jobDescription,
			TransferSpec: &storagetransferpb.TransferSpec{
				DataSource: &storagetransferpb.TransferSpec_AwsS3DataSource{
					AwsS3DataSource: &storagetransferpb.AwsS3Data{
						BucketName: awsSourceBucket,
						AwsAccessKey: &storagetransferpb.AwsAccessKey{
							AccessKeyId:     awsAccessKeyID,
							SecretAccessKey: awsSecretKey,
						}},
				},
				DataSink: &storagetransferpb.TransferSpec_GcsDataSink{
					GcsDataSink: &storagetransferpb.GcsData{BucketName: gcsSinkBucket}},
			},
			Schedule: &storagetransferpb.Schedule{
				ScheduleStartDate: &date.Date{
					Year:  int32(startTime.Year()),
					Month: int32(startTime.Month()),
					Day:   int32(startTime.Day()),
				},
				ScheduleEndDate: &date.Date{
					Year:  int32(startTime.Year()),
					Month: int32(startTime.Month()),
					Day:   int32(startTime.Day()),
				},
				StartTimeOfDay: &timeofday.TimeOfDay{
					Hours:   int32(startTime.Hour()),
					Minutes: int32(startTime.Minute()),
					Seconds: int32(startTime.Second()),
				},
			},
			Status: storagetransferpb.TransferJob_ENABLED,
		},
	}
	resp, err := client.CreateTransferJob(ctx, req)
	if err != nil {
		return nil, fmt.Errorf("failed to create transfer job: %w", err)
	}
	if _, err = client.RunTransferJob(ctx, &storagetransferpb.RunTransferJobRequest{
		ProjectId: projectID,
		JobName:   resp.Name,
	}); err != nil {
		return nil, fmt.Errorf("failed to run transfer job: %w", err)
	}
	fmt.Fprintf(w, "Created and ran transfer job from %v to %v with name %v", awsSourceBucket, gcsSinkBucket, resp.Name)
	return resp, nil
}

Java

Mencari sampel lama? Lihat Panduan Migrasi Storage Transfer Service.


import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto.CreateTransferJobRequest;
import com.google.storagetransfer.v1.proto.TransferTypes.AwsAccessKey;
import com.google.storagetransfer.v1.proto.TransferTypes.AwsS3Data;
import com.google.storagetransfer.v1.proto.TransferTypes.GcsData;
import com.google.storagetransfer.v1.proto.TransferTypes.Schedule;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob.Status;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferSpec;
import com.google.type.Date;
import com.google.type.TimeOfDay;
import java.io.IOException;
import java.util.Calendar;

public class TransferFromAws {

  // Creates a one-off transfer job from Amazon S3 to Google Cloud Storage.
  public static void transferFromAws(
      String projectId,
      String jobDescription,
      String awsSourceBucket,
      String gcsSinkBucket,
      long startDateTime)
      throws IOException {

    // Your Google Cloud Project ID
    // String projectId = "your-project-id";

    // A short description of this job
    // String jobDescription = "Sample transfer job from S3 to GCS.";

    // The name of the source AWS bucket to transfer data from
    // String awsSourceBucket = "yourAwsSourceBucket";

    // The name of the GCS bucket to transfer data to
    // String gcsSinkBucket = "your-gcs-bucket";

    // What day and time in UTC to start the transfer, expressed as an epoch date timestamp.
    // If this is in the past relative to when the job is created, it will run the next day.
    // long startDateTime =
    //     new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").parse("2000-01-01 00:00:00").getTime();

    // The ID used to access your AWS account. Should be accessed via environment variable.
    String awsAccessKeyId = System.getenv("AWS_ACCESS_KEY_ID");

    // The Secret Key used to access your AWS account. Should be accessed via environment variable.
    String awsSecretAccessKey = System.getenv("AWS_SECRET_ACCESS_KEY");

    // Set up source and sink
    TransferSpec transferSpec =
        TransferSpec.newBuilder()
            .setAwsS3DataSource(
                AwsS3Data.newBuilder()
                    .setBucketName(awsSourceBucket)
                    .setAwsAccessKey(
                        AwsAccessKey.newBuilder()
                            .setAccessKeyId(awsAccessKeyId)
                            .setSecretAccessKey(awsSecretAccessKey)))
            .setGcsDataSink(GcsData.newBuilder().setBucketName(gcsSinkBucket))
            .build();

    // Parse epoch timestamp into the model classes
    Calendar startCalendar = Calendar.getInstance();
    startCalendar.setTimeInMillis(startDateTime);
    // Note that this is a Date from the model class package, not a java.util.Date
    Date startDate =
        Date.newBuilder()
            .setYear(startCalendar.get(Calendar.YEAR))
            .setMonth(startCalendar.get(Calendar.MONTH) + 1)
            .setDay(startCalendar.get(Calendar.DAY_OF_MONTH))
            .build();
    TimeOfDay startTime =
        TimeOfDay.newBuilder()
            .setHours(startCalendar.get(Calendar.HOUR_OF_DAY))
            .setMinutes(startCalendar.get(Calendar.MINUTE))
            .setSeconds(startCalendar.get(Calendar.SECOND))
            .build();
    Schedule schedule =
        Schedule.newBuilder()
            .setScheduleStartDate(startDate)
            .setScheduleEndDate(startDate)
            .setStartTimeOfDay(startTime)
            .build();

    // Set up the transfer job
    TransferJob transferJob =
        TransferJob.newBuilder()
            .setDescription(jobDescription)
            .setProjectId(projectId)
            .setTransferSpec(transferSpec)
            .setSchedule(schedule)
            .setStatus(Status.ENABLED)
            .build();

    // Create a Transfer Service client
    StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create();

    // Create the transfer job
    TransferJob response =
        storageTransfer.createTransferJob(
            CreateTransferJobRequest.newBuilder().setTransferJob(transferJob).build());

    System.out.println("Created transfer job from AWS to GCS:");
    System.out.println(response.toString());
  }
}

Node.js


// Imports the Google Cloud client library
const {
  StorageTransferServiceClient,
} = require('@google-cloud/storage-transfer');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of the Google Cloud Platform Project that owns the job
// projectId = 'my-project-id'

// A useful description for your transfer job
// description = 'My transfer job'

// AWS S3 source bucket name
// awsSourceBucket = 'my-s3-source-bucket'

// AWS Access Key ID
// awsAccessKeyId = 'AKIA...'

// AWS Secret Access Key
// awsSecretAccessKey = 'HEAoMK2.../...ku8'

// Google Cloud Storage destination bucket name
// gcsSinkBucket = 'my-gcs-destination-bucket'

// Creates a client
const client = new StorageTransferServiceClient();

/**
 * Creates a one-time transfer job from Amazon S3 to Google Cloud Storage.
 */
async function transferFromS3() {
  // Setting the start date and the end date as the same time creates a
  // one-time transfer
  const now = new Date();
  const oneTimeSchedule = {
    day: now.getDate(),
    month: now.getMonth() + 1,
    year: now.getFullYear(),
  };

  // Runs the request and creates the job
  const [transferJob] = await client.createTransferJob({
    transferJob: {
      projectId,
      description,
      status: 'ENABLED',
      schedule: {
        scheduleStartDate: oneTimeSchedule,
        scheduleEndDate: oneTimeSchedule,
      },
      transferSpec: {
        awsS3DataSource: {
          bucketName: awsSourceBucket,
          awsAccessKey: {
            accessKeyId: awsAccessKeyId,
            secretAccessKey: awsSecretAccessKey,
          },
        },
        gcsDataSink: {
          bucketName: gcsSinkBucket,
        },
      },
    },
  });

  console.log(
    `Created and ran a transfer job from '${awsSourceBucket}' to '${gcsSinkBucket}' with name ${transferJob.name}`
  );
}

transferFromS3();

Python

Mencari sampel lama? Lihat Panduan Migrasi Storage Transfer Service.

from datetime import datetime

from google.cloud import storage_transfer


def create_one_time_aws_transfer(
    project_id: str,
    description: str,
    source_bucket: str,
    aws_access_key_id: str,
    aws_secret_access_key: str,
    sink_bucket: str,
):
    """Creates a one-time transfer job from Amazon S3 to Google Cloud
    Storage."""

    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project-id'

    # A useful description for your transfer job
    # description = 'My transfer job'

    # AWS S3 source bucket name
    # source_bucket = 'my-s3-source-bucket'

    # AWS Access Key ID
    # aws_access_key_id = 'AKIA...'

    # AWS Secret Access Key
    # aws_secret_access_key = 'HEAoMK2.../...ku8'

    # Google Cloud Storage destination bucket name
    # sink_bucket = 'my-gcs-destination-bucket'

    now = datetime.utcnow()
    # Setting the start date and the end date as
    # the same time creates a one-time transfer
    one_time_schedule = {"day": now.day, "month": now.month, "year": now.year}

    transfer_job_request = storage_transfer.CreateTransferJobRequest(
        {
            "transfer_job": {
                "project_id": project_id,
                "description": description,
                "status": storage_transfer.TransferJob.Status.ENABLED,
                "schedule": {
                    "schedule_start_date": one_time_schedule,
                    "schedule_end_date": one_time_schedule,
                },
                "transfer_spec": {
                    "aws_s3_data_source": {
                        "bucket_name": source_bucket,
                        "aws_access_key": {
                            "access_key_id": aws_access_key_id,
                            "secret_access_key": aws_secret_access_key,
                        },
                    },
                    "gcs_data_sink": {
                        "bucket_name": sink_bucket,
                    },
                },
            }
        }
    )

    result = client.create_transfer_job(transfer_job_request)
    print(f"Created transferJob: {result.name}")