Batasan Umum

Halaman ini mendokumentasikan batasan umum Cloud Storage dan Storage Transfer Service.

Batasan umum

Batas ukuran objek 5 TiB Cloud Storage

Cloud Storage mendukung ukuran maksimum objek tunggal hingga 5 tebibyte. Jika Anda memiliki objek yang lebih besar dari 5 TiB, transfer objek akan gagal untuk objek tersebut di Cloud Storage atau Storage Transfer Service.

Persyaratan penamaan objek Cloud Storage

Cloud Storage menerapkan persyaratan nama objek yang berlaku untuk semua transfer Storage Transfer Service.

Objek yang diubah tidak ditransfer

Storage Transfer Service tidak mengunci file sumber selama transfer.

Jika data objek diperbarui selama transfer, berikut ini deskripsi respons Storage Transfer Service:

• Transfer dari cloud non-Google ke Google Cloud: Jika data objek diperbarui selama transfer, Storage Transfer Service akan gagal melakukan transfer untuk objek tersebut dan objek tidak akan ditransfer.

• Transfer dari sistem file ke Google Cloud: Jika data objek diperbarui selama transfer, Storage Transfer Service akan mencoba mengupload lagi. Jika upload gagal beberapa kali, Storage Transfer Service akan mencatat FILE_MODIFIED_FAILURE ke dalam log. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah.

• Transfer dari Google Cloud ke sistem file: Jika data objek diperbarui selama transfer, Storage Transfer Service akan mencoba mendownload lagi. Jika download gagal beberapa kali, Storage Transfer Service akan mencatat PRECONDITION_FAILURE ke dalam log. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah.

Untuk mengatasi kegagalan tersebut:

1. Coba transfer lagi.

2. Jika transfer objek terus gagal, pastikan datanya tidak dapat diperbarui selama transfer:

   • Sumber Cloud Storage - Menempatkan pembekuan objek.
   • Sumber Amazon S3 - Menetapkan kunci Objek S3.
   • Sumber Microsoft Azure Storage - Menetapkan kebijakan immutability untuk penyimpanan Blob.
   • Sumber sistem file - Tetapkan file dalam mode hanya baca atau batasi penulisan ke file yang sedang ditransfer.

3. Setelah transfer selesai, Anda dapat mengaktifkan kembali pembaruan pada objek.

Folder di Cloud Storage

Objek Cloud Storage berada dalam namespace datar dalam bucket. Untuk mengetahui informasi selengkapnya, lihat Namespace objek. Oleh karena itu, Storage Transfer Service tidak membuat namespace hierarkis dalam Cloud Storage. Misalnya, jika Anda mentransfer dari Azure Data Lake Storage (ADLS) Gen 2, Storage Transfer Service tidak akan membuat ulang namespace ADLS Gen 2 di Cloud Storage.

Menghapus objek di bucket Amazon S3 yang pembuatan versinya ditangguhkan

Saat menggunakan fitur hapus objek dari sumber setelah transfer di bucket Amazon S3 yang ditangguhkan versinya, Storage Transfer Service akan menghapus objek dengan ID versi null, bukan versi saat ini.

Lokasi tugas Storage Transfer Service

Storage Transfer Service memilih lokasinya berdasarkan region bucket Cloud Storage sumber. Mulai hari ini, kami membuat tugas Storage Transfer Service di lokasi berikut. Daftar ini dapat berubah seiring Storage Transfer Service menambahkan dukungan untuk region baru.

Jika bucket Cloud Storage sumber Anda berada di region yang tidak tercantum, kami akan memilih region default dalam region luar sumber.

• ASIA-EAST1
• ASIA-EAST2
• ASIA-NORTHEAST1
• ASIA-NORTHEAST2
• ASIA-NORTHEAST3
• ASIA-SOUTH1
• ASIA-SOUTH2
• ASIA-SOUTHEAST1
• ASIA-SOUTHEAST2
• AUSTRALIA-SOUTHEAST1
• AUSTRALIA-SOUTHEAST2
• EUROPE-WEST1
• EUROPE-WEST2
• EUROPE-WEST3
• EUROPE-WEST4
• EUROPE-WEST9
• EUROPE-NORTH1
• EUROPE-SOUTHWEST1
• NORTHAMERICA-NORTHEAST1
• NORTHAMERICA-NORTHEAST2
• US-CENTRAL1
• US-CENTRAL2
• US-EAST1
• US-EAST4
• US-WEST1
• US-WEST2
• US-WEST3
• US-WEST4
• NAM4

Batasan umum transfer sistem file

Tidak ada dukungan real-time

Storage Transfer Service tidak mendukung deteksi perubahan sub-jam. Storage Transfer Service adalah layanan pemindahan data batch yang dapat memindai sumber dengan frekuensi hingga sekali per jam.

Konfigurasi sistem operasi yang didukung

Agen transfer memerlukan penginstalan Docker, dan berjalan di server Linux atau virtual machine (VM). Untuk menyalin data di sistem file CIFS atau SMB, Anda dapat memasang volume di server atau VM Linux, lalu menjalankan agen dari server atau VM Linux.

Persyaratan memori

Berikut adalah persyaratan memori untuk agen Transfer Service for on-premises data:

• Memori minimum: 1 GiB
• Memori minimum untuk mendukung upload berperforma tinggi: 6 GiB

Batasan penskalaan

Storage Transfer Service mendukung transfer individual yang:

• Berukuran ratusan terabyte
• Hingga 1 miliar file
• Kecepatan transfer beberapa puluh Gbps

Setiap transfer yang lebih besar dari ukuran ini dapat diandalkan, tetapi belum diuji performanya.

Jika Anda memiliki set data yang lebih besar dari batas ini, sebaiknya bagi data Anda ke beberapa tugas transfer.

Saat ini kami mendukung direktori besar, selama setiap agen memiliki memori setidaknya 1 GB yang tersedia untuk setiap 1 juta file di direktori terbesar, sehingga kami dapat melakukan iterasi pada konten direktori tanpa melebihi memori.

Batasan agen dan kumpulan agen

Kami mendukung hingga 100 agen untuk satu kumpulan agen. Kemungkinan besar Anda tidak memerlukan lebih banyak agen untuk mencapai performa yang lebih baik dengan lingkungan yang biasa.

Maksimum 800 kumpulan agen didukung per project.

Satu direktori per tugas

Kami hanya mendukung transfer konten lengkap direktori sistem file (secara rekursif). Anda dapat mempartisi transfer dengan membuat beberapa tugas yang mentransfer subdirektori yang berbeda dari set data Anda, tetapi saat ini kami tidak mendukung dukungan pemfilteran atau globbing file dalam satu tugas.

Nama file yang didukung

Aturan berikut berlaku untuk semua nama file yang merupakan bagian dari transfer:

• Nama file harus menggunakan encoding UTF8.
• Nama file harus kompatibel dengan unicode.
• String ini tidak boleh berisi baris baru (\n) atau enter (\r).

Jika direktori sumber Anda berisi nama file yang tidak didukung, tugas listingan file untuk direktori tersebut akan gagal.

Jika hal ini terjadi, perbarui nama file yang tidak didukung dan jalankan ulang tugas.

Jenis file yang didukung

Storage Transfer Service mendukung transfer file reguler dan file tersembunyi seperti Unix. File tersembunyi bergaya Unix adalah file yang diawali dengan karakter .. Saat Storage Transfer Service menemukan file non-reguler, seperti perangkat, pipe bernama, atau soket, layanan ini akan menampilkan error UNSUPPORTED_FILE_MODE.

Direktori kosong tidak dibuat di Cloud Storage, karena objek tidak berada dalam subdirektori dalam bucket. Untuk mengetahui informasi selengkapnya, lihat Namespace objek.

Panjang jalur maksimum

Storage Transfer Service mengikuti panjang jalur maksimum Cloud Storage sebesar 1.024 byte. Awalan objek untuk objek tujuan disertakan dalam batasan panjang, karena awalan disertakan dalam nama objek di Cloud Storage.

Metadata file yang didukung

Lihat Penyimpanan metadata untuk mengetahui detail metadata yang dipertahankan, baik secara default maupun opsional.

Jeda tugas yang diperpanjang

Tugas yang dijeda selama lebih dari 30 hari dianggap tidak aktif. Jika tugas tidak aktif, tugas yang dijeda akan dibatalkan dan jadwal konfigurasi tugas dinonaktifkan. Tidak ada tugas baru yang dimulai kecuali jika Anda mengaktifkan tugas lagi secara eksplisit.

Keamanan sumber sistem file

Akses agen

Pengguna yang dapat membuat tugas transfer dapat mengambil data dari, dan mendownload data ke, direktori sistem file apa pun yang dapat diakses oleh agen. Jika agen dijalankan sebagai root dan diberi akses ke seluruh sistem file, pelaku berbahaya mungkin dapat mengambil alih host. Sebaiknya Anda membatasi akses agen hanya ke direktori yang diperlukan.