Storage Transfer Service mendukung transfer dari sistem penyimpanan objek cloud atau lokal yang kompatibel dengan Amazon S3 API.
Storage Transfer Service mengakses data Anda di penyimpanan yang kompatibel dengan S3 menggunakan agen transfer yang di-deploy di VM yang dekat dengan sumber data. Agen ini berjalan di container Docker dan termasuk dalam kumpulan agen yang merupakan kumpulan agen yang menggunakan konfigurasi yang sama dan secara kolektif memindahkan data Anda secara paralel.
Dengan fitur ini, Anda dapat bermigrasi dari penyimpanan objek lokal atau cloud ke Cloud Storage, mengarsipkan data guna mengosongkan kapasitas penyimpanan lokal, mereplikasi data ke Google Cloud untuk kelangsungan bisnis, atau mentransfer data ke Google Cloud untuk dianalisis dan diproses. Untuk pelanggan yang bermigrasi dari AWS S3 ke Cloud Storage, fitur ini memberikan opsi untuk mengontrol rute jaringan ke Google Cloud, sehingga menghasilkan biaya transfer data keluar yang jauh lebih rendah.
Sebelum memulai
Sebelum mengonfigurasi transfer Anda, selesaikan langkah-langkah berikut:
- Instal gcloud CLI.
- Penuhi persyaratan untuk transfer sistem file, termasuk menginstal Docker di mesin agen transfer.
Mendapatkan kredensial sumber
Transfer dari penyimpanan yang kompatibel dengan S3 memerlukan ID kunci akses dan kunci akses rahasia.
Langkah-langkah untuk mendapatkannya bergantung pada penyedia penyimpanan Anda.
Akun tempat ID dan kunci dibuat memerlukan salah satu izin berikut:
- Izin hanya baca pada objek sumber, jika Anda tidak ingin menghapus objek pada sumber.
- Akses penuh ke objek sumber, jika Anda memilih untuk menghapus objek di sumber sebagai bagian dari transfer.
Setelah membuat akun, menambahkan izin, dan mendownload ID kunci akses dan kunci akses rahasia, simpan ID dan kunci di tempat yang aman.
Mengonfigurasi izin Google Cloud
Sebelum membuat transfer, Anda harus mengonfigurasi izin untuk entitas berikut:
Akun pengguna yang digunakan untuk membuat transfer. Akun ini adalah akun yang login ke Konsol Google Cloud, atau akun yang ditentukan saat melakukan autentikasi ke CLI `gcloud`. Akun pengguna dapat berupa akun pengguna biasa, atau akun layanan yang dikelola pengguna. | |
Akun layanan yang dikelola Google, juga dikenal sebagai agen
layanan, yang digunakan oleh Storage Transfer Service. Akun ini umumnya diidentifikasi melalui
alamat emailnya, yang menggunakan format
project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com .
|
|
![]() |
Akun agen transfer yang memberikan izin Google Cloud untuk agen transfer. Akun agen transfer menggunakan kredensial pengguna yang menginstalnya, atau kredensial akun layanan yang dikelola pengguna, untuk melakukan autentikasi. |
Lihat Izin transfer berbasis agen untuk mengetahui petunjuknya.
Opsi transfer
Fitur Storage Transfer Service berikut tersedia untuk ditransfer dari penyimpanan yang kompatibel dengan S3 ke Cloud Storage:
- Mentransfer file tertentu menggunakan manifes
- Anda dapat meneruskan daftar file agar Storage Transfer Service dapat ditindaklanjuti. Lihat Mentransfer file atau objek tertentu menggunakan manifes untuk mengetahui detailnya.
- Menentukan kelas penyimpanan
- Anda dapat menentukan
class penyimpanan Cloud Storage yang akan digunakan untuk data Anda di bucket
tujuan. Lihat opsi
StorageClass
untuk mengetahui detail REST, atau gunakan flag--custom-storage-class
dengan Google Cloud CLI.Perlu diingat bahwa setiap setelan kelas penyimpanan akan diabaikan jika bucket tujuan telah mengaktifkan Autoclass. Jika Autoclass diaktifkan, objek yang ditransfer ke dalam bucket awalnya akan ditetapkan ke Standard Storage.
- Penyimpanan metadata
-
Saat mentransfer file dari penyimpanan yang kompatibel dengan S3, Storage Transfer Service dapat secara opsional mempertahankan atribut tertentu sebagai metadata kustom.
Lihat bagian penyimpanan yang kompatibel dengan Amazon S3 atau S3 ke Cloud Storage pada Penyimpanan metadata untuk mengetahui detail tentang metadata yang dapat dipertahankan, dan cara mengonfigurasi transfer Anda.
- Logging dan pemantauan
- Transfer dari penyimpanan yang kompatibel dengan S3 dapat dilihat di Cloud Logging dan Cloud Monitoring. Lihat Cloud Logging untuk Storage Transfer Service dan Memantau tugas transfer untuk mengetahui detailnya. Anda juga dapat mengonfigurasi notifikasi Pub/Sub.
Membuat kumpulan agen
Untuk membuat kumpulan agen:
Konsol Google Cloud
Di Konsol Google Cloud, buka halaman Agent pool.
Halaman Kumpulan agen akan ditampilkan, yang mencantumkan kumpulan agen Anda yang sudah ada.
Klik Create another pool.
Beri nama kumpulan Anda, dan jika perlu, deskripsikan.
Anda dapat memilih untuk menetapkan batas bandwidth yang akan diterapkan ke kumpulan tersebut secara keseluruhan. Bandwidth yang ditentukan dalam MB/dtk akan dibagi ke semua agen dalam kumpulan. Lihat Mengelola bandwidth jaringan untuk mengetahui informasi selengkapnya.
Klik Create.
REST API
Gunakan projects.agentPools.create:
POST https://storagetransfer.googleapis.com/v1/projects/PROJECT_ID/agentPools?agent_pool_id=AGENT_POOL_ID
Dengan keterangan:
PROJECT_ID
: Project ID tempat Anda membuat kumpulan agen.AGENT_POOL_ID
: ID kumpulan agen yang Anda buat.
Jika kumpulan agen tertahan dalam status Creating
selama lebih dari 30 menit,
sebaiknya hapus kumpulan agen dan buat lagi.
Mencabut izin Storage Transfer Service yang diperlukan dari project saat
kumpulan agen dalam status Creating
akan menyebabkan perilaku layanan yang salah.
gcloud CLI
Untuk membuat kumpulan agen dengan alat command line gcloud
, jalankan
[gcloud transfer agent-pools create
][agent-pools-create].
gcloud transfer agent-pools create AGENT_POOL
Tempat opsi berikut tersedia:
AGENT_POOL adalah ID unik dan permanen untuk kumpulan ini.
--no-async
memblokir tugas lain di terminal Anda hingga kumpulan dibuat. Jika tidak disertakan, pembuatan kumpulan akan berjalan secara asinkron.--bandwidth-limit
menentukan jumlah bandwidth Anda dalam MB/dtk agar tersedia untuk agen kumpulan ini. Batas bandwidth berlaku untuk semua agen di kumpulan dan dapat membantu mencegah beban kerja transfer kumpulan mengganggu operasi lain yang berbagi bandwidth Anda. Misalnya, masukkan '50' untuk menetapkan batas bandwidth sebesar 50 MB/dtk. Dengan membiarkan flag ini tidak ditentukan, agen kumpulan ini akan menggunakan semua bandwidth yang tersedia untuknya.--display-name
adalah nama yang dapat diubah untuk membantu Anda mengidentifikasi kumpulan ini. Anda dapat menyertakan detail yang mungkin tidak sesuai dengan nama resource lengkap yang unik dari kumpulan tersebut.
Instal agen transfer
Agen transfer adalah agen software yang mengoordinasikan aktivitas transfer dari sumber Anda melalui Storage Transfer Service. Aplikasi ini harus diinstal pada sistem yang memiliki akses ke data sumber Anda.
gcloud CLI
Untuk menginstal agen yang akan digunakan dengan sumber yang kompatibel dengan S3 menggunakan CLI gcloud
,
gunakan perintah transfer agents install
.
Anda harus memberikan kredensial akses sebagai variabel lingkungan sebagai nilai AWS_ACCESS_KEY_ID
dan AWS_SECRET_ACCESS_KEY
, atau disimpan sebagai kredensial default dalam file konfigurasi sistem Anda.
export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME
Untuk menjalankan agen menggunakan kunci akun layanan, gunakan opsi --creds-file
:
gcloud transfer agents install --pool=POOL_NAME \
--creds-file=/relative/path/to/service-account-key.json
Membuat tugas transfer
Konsol Google Cloud
Ikuti langkah-langkah berikut untuk melakukan transfer dari sumber yang kompatibel dengan S3 ke bucket Cloud Storage.
Buka halaman Storage Transfer Service di Konsol Google Cloud.
Klik Buat tugas transfer. Halaman Create a transfer job akan ditampilkan.
Pilih S3-compatible object storage sebagai Source type. Tujuannya harus Google Cloud Storage.
Klik Next step.
Mengonfigurasi sumber
Tentukan informasi yang diperlukan untuk transfer ini:
Pilih kumpulan agen yang Anda konfigurasi untuk transfer ini.
Masukkan Bucket name secara relatif terhadap endpoint. Misalnya, jika data Anda berada di:
https://example.com/bucket_a
Masukkan:
bucket_a
Masukkan Endpoint. Jangan sertakan protokol (
http://
atauhttps://
). Misalnya:example.com
Tentukan atribut opsional untuk transfer ini:
Masukkan Region penandatanganan yang akan digunakan untuk menandatangani permintaan.
Pilih Proses penandatanganan untuk permintaan ini.
Pilih Gaya pengalamatan. Kolom ini menentukan apakah nama bucket disediakan dalam gaya jalur (mis.,
https://example.com/bucket-name/key-name
) atau gaya yang dihosting secara virtual (misalnyahttps://bucket-name.example.com/key-name
). Baca Hosting virtual bucket dalam dokumentasi Amazon untuk mengetahui informasi selengkapnya.Pilih Protokol jaringan.
Pilih versi API listingan yang akan digunakan. Lihat dokumentasi ListObjectsV2 dan ListObjects untuk informasi selengkapnya.
Klik Next step.
Mengonfigurasi sink Anda
Di kolom Bucket or folder, masukkan bucket tujuan dan nama folder (opsional), atau klik Browse untuk memilih bucket dari daftar bucket yang ada di project Anda saat ini. Untuk membuat bucket baru, klik
Create new bucket.
Klik Next step.
Pilih setelan transfer
Di kolom Description, masukkan deskripsi transfer. Sebagai praktik terbaik, masukkan deskripsi yang bermakna dan unik agar Anda dapat membedakan tugas.
Di bagian Metadata options, pilih untuk menggunakan opsi default, atau klik View and select options guna menentukan nilai untuk semua metadata yang didukung. Lihat Preservasi metadata untuk mengetahui detailnya.
Di bagian Kapan harus menimpa, pilih salah satu dari opsi berikut:
Jika berbeda: Timpa file tujuan jika file sumber dengan nama yang sama memiliki nilai Etag atau checksum yang berbeda.
Always: Selalu menimpa file tujuan jika file sumber memiliki nama yang sama, meskipun file tersebut identik.
Di bagian Kapan harus dihapus, pilih salah satu opsi berikut:
Tidak pernah: Jangan pernah menghapus file dari sumber atau tujuan.
Hapus file dari sumber setelah ditransfer: Hapus file dari sumber setelah ditransfer ke tujuan.
Hapus file dari tujuan jika file tersebut tidak ada di sumber: Jika file di bucket Cloud Storage tujuan tidak juga ada di sumber, hapus file dari bucket Cloud Storage.
Opsi ini akan memastikan bucket Cloud Storage tujuan sama persis dengan sumber Anda.
Di bagian Notification options, pilih topik Pub/Sub Anda dan peristiwa mana yang akan diberi tahu. Lihat notifikasi Pub/Sub untuk detail selengkapnya.
Klik Next step.
Jadwalkan transfer
Anda dapat menjadwalkan transfer agar berjalan hanya satu kali, atau mengonfigurasi transfer berulang.
Klik Create untuk membuat tugas transfer.
gcloud CLI
Sebelum menggunakan CLI gcloud
untuk membuat transfer, ikuti petunjuk di Mengonfigurasi akses ke sink Cloud Storage.
Untuk menggunakan CLI gcloud
guna membuat transfer dari sumber yang kompatibel dengan S3 ke bucket Cloud Storage, gunakan perintah berikut.
gcloud transfer jobs create s3://SOURCE_BUCKET_NAME gs://SINK_BUCKET_NAME \
--source-agent-pool=POOL_NAME \
--source-endpoint=ENDPOINT \
--source-signing-region=REGION \
--source-auth-method=AWS_SIGNATURE_V2 | AWS_SIGNATURE_V4 \
--source-request-model=PATH_STYLE | VIRTUAL_HOSTED_STYLE \
--source-network-protocol=HTTP | HTTPS \
--source-list-api=LIST_OBJECTS | LIST_OBJECTS_V2
Flag berikut diperlukan:
--source-agent-pool
adalah nama kumpulan agen yang akan digunakan untuk transfer ini.--source-endpoint
menentukan endpoint sistem penyimpanan Anda. Misalnya,s3.us-east.example.com
. Hubungi penyedia Anda untuk mengetahui format yang benar.
Tanda yang tersisa bersifat opsional:
--source-signing-region
menentukan region untuk permintaan penandatanganan. Hapus tanda ini jika penyedia penyimpanan Anda tidak memerlukan region penandatanganan.--source-auth-method
menentukan metode autentikasi yang akan digunakan. Nilai yang valid adalahAWS_SIGNATURE_V2
atauAWS_SIGNATURE_V4
. Lihat dokumentasi SigV4 dan SigV2 Amazon untuk informasi selengkapnya.--source-request-model
menentukan gaya pengalamatan yang akan digunakan. Nilai yang valid adalahPATH_STYLE
atauVIRTUAL_HOSTED_STYLE
. Gaya jalur menggunakan formathttps://s3.REGION.example.com/BUCKET_NAME/KEY_NAME
. Gaya yang dihosting secara virtual menggunakan format `https://BUCKET_NAME.s3.REGION.example.com/KEY_NAME.--source-network-protocol
menentukan protokol jaringan yang harus digunakan agen untuk tugas ini. Nilai yang valid adalahHTTP
atauHTTPS
.--source-list-api
menentukan versi S3 listingan API untuk menampilkan objek dari bucket. Nilai yang valid adalahLIST_OBJECTS
atauLIST_OBJECTS_V2
. Lihat dokumentasi ListObjectsV2 dan ListObjects Amazon untuk mengetahui informasi selengkapnya.
Untuk opsi tugas transfer tambahan, jalankan gcloud transfer jobs create --help
atau lihat dokumentasi referensi gcloud
.
REST API
Sebelum menggunakan REST API untuk membuat transfer, ikuti petunjuk di Mengonfigurasi akses ke sink Cloud Storage.
Untuk membuat transfer dari sumber yang kompatibel dengan S3 menggunakan REST API, buat objek JSON yang mirip dengan contoh berikut.
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
...
"transferSpec": {
"source_agent_pool_name":"POOL_NAME",
"awsS3CompatibleData": {
"region":"us-east-1",
"s3Metadata":{
"protocol": "NETWORK_PROTOCOL_HTTPS",
"requestModel": "REQUEST_MODEL_VIRTUAL_HOSTED_STYLE",
"authMethod": "AUTH_METHOD_AWS_SIGNATURE_V4"
},
"endpoint": "example.com",
"bucketName": "BUCKET_NAME",
"path": "PATH",
},
"gcsDataSink": {
"bucketName": "SINK_NAME",
"path": "SINK_PATH"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": false
}
}
}
Lihat referensi API AwsS3CompatibleData
untuk deskripsi kolom.
Library klien
Sebelum menggunakan library klien untuk membuat transfer, ikuti petunjuk di Mengonfigurasi akses ke sink Cloud Storage.
Go
Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat library klien Storage Transfer Service. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Storage Transfer Service Go API.
Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat library klien Storage Transfer Service. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Storage Transfer Service Java API.
Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat library klien Storage Transfer Service. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Storage Transfer Service Node.js API.
Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat library klien Storage Transfer Service. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Storage Transfer Service Python API.
Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Pertanyaan umum (FAQ)
Apakah ada biaya untuk transfer dari penyimpanan yang kompatibel dengan S3?
Transfer dari penyimpanan yang kompatibel dengan S3 tidak dikenai biaya "Storage Transfer Service transfer yang memerlukan agen". Lihat Harga untuk biaya lain yang mungkin dikenakan. Anda mungkin juga dikenai biaya transfer data keluar dan operasional dari penyedia cloud sumber.
Apakah Cloud Logging didukung untuk transfer penyimpanan yang kompatibel dengan S3?
Ya, Anda dapat mengaktifkan Cloud Logging untuk transfer Anda dengan mengikuti petunjuk di Cloud Logging for Storage Transfer Service.
Apakah transfer yang menggunakan manifes didukung?
Ya, file manifes didukung untuk transfer yang kompatibel dengan S3.
Jika saya menambahkan objek ke bucket sumber setelah tugas dimulai, apakah objek tersebut ditransfer?
Storage Transfer Service menjalankan operasi daftar pada bucket sumber untuk menghitung perbedaan dari tujuan. Jika operasi daftar telah selesai saat objek baru ditambahkan, objek tersebut akan dilewati hingga transfer berikutnya.
Apakah Storage Transfer Service melakukan pencocokan checksum pada sumber yang kompatibel dengan S3?
Storage Transfer Service bergantung pada data checksum yang ditampilkan oleh sumber. Untuk penyimpanan yang kompatibel dengan S3, Storage Transfer Service mengharapkan Etag objek menjadi hash MD5 objek.
Namun, objek apa pun yang ditransfer ke penyimpanan yang kompatibel dengan S3 menggunakan upload multibagian S3 tidak memiliki ETag MD5. Dalam hal ini, Storage Transfer Service menggunakan ukuran file untuk memvalidasi objek yang ditransfer.
Berapa throughput yang dapat dicapai untuk transfer dari penyimpanan yang kompatibel dengan S3?
Throughput transfer Anda dapat diskalakan dengan menambahkan lebih banyak agen transfer. Sebaiknya gunakan 3 agen untuk fault tolerance dan untuk mengisi pipe <10 Gbps. Untuk meningkatkan skala, tambahkan lebih banyak agen. Agen dapat ditambahkan dan dihapus saat transfer sedang berlangsung.
Di mana agen transfer harus di-deploy untuk mentransfer data dari Amazon S3 ke Cloud Storage?
Anda dapat menginstal agen di Amazon EC2 atau EKS dalam region yang sama dengan bucket Anda. Anda juga dapat menjalankan agen di Google Cloud di region terdekat.