Keterbatasan Yang Telah Diketahui

Halaman ini mendokumentasikan batasan umum Cloud Storage dan Storage Transfer Service.

Batasan umum

Batas ukuran objek Cloud Storage 5 TB

Cloud Storage mendukung ukuran objek tunggal maksimum hingga 5 terabyte. Jika Anda memiliki objek yang berukuran lebih besar dari 5 TB, transfer objek akan gagal untuk objek tersebut untuk Cloud Storage atau Storage Transfer Service.

Persyaratan penamaan objek Cloud Storage

Cloud Storage memberlakukan persyaratan nama objek yang berlaku untuk semua transfer Storage Transfer Service.

Objek yang diubah tidak akan ditransfer

Storage Transfer Service tidak mengunci file sumber selama transfer.

Jika data objek diupdate selama transfer, berikut ini akan dijelaskan cara Storage Transfer Service merespons:

• Transfer dari cloud non-Google ke Google Cloud: Jika data objek diperbarui selama proses transfer, Storage Transfer Service akan gagal mentransfer objek tersebut dan objeknya tidak akan ditransfer.

• Transfer dari sistem file ke Google Cloud: Jika data objek diperbarui selama transfer, Storage Transfer Service akan mencoba mengupload lagi. Jika upload gagal beberapa kali, Storage Transfer Service akan mencatat FILE_MODIFIED_FAILURE. Untuk informasi selengkapnya, lihat Pemecahan masalah.

• Mentransfer dari Google Cloud ke sistem file: Jika data objek diperbarui selama transfer, Storage Transfer Service akan mencoba mendownload lagi. Jika download gagal beberapa kali, Storage Transfer Service akan mencatat PRECONDITION_FAILURE. Untuk informasi selengkapnya, lihat Pemecahan masalah.

Untuk mengatasi kegagalan:

1. Coba transfer lagi.

2. Jika transfer objek terus gagal, pastikan datanya tidak dapat diperbarui selama transfer:

   • Sumber Cloud Storage - Menempatkan penahanan objek.
   • Sumber Amazon S3 - Menyetel kunci Objek S3.
   • Microsoft Azure Storage source - Menetapkan kebijakan yang tidak dapat diubah untuk penyimpanan Blob.
   • Sumber sistem file - Menetapkan file dalam mode hanya baca atau membatasi penulisan ke file yang ditransfer.

3. Setelah transfer selesai, Anda dapat mengaktifkan kembali pembaruan pada objek.

Folder di Cloud Storage

Objek Cloud Storage berada di dalam namespace datar di dalam bucket. Untuk mengetahui informasi selengkapnya, lihat Namespace objek. Oleh karena itu, Storage Transfer Service tidak membuat namespace hierarkis dalam Cloud Storage. Misalnya, jika Anda mentransfer dari Azure Data Lake Storage (ADLS) Gen 2, Storage Transfer Service tidak akan membuat ulang namespace ADLS Gen 2 di Cloud Storage.

Menghapus objek dalam bucket Amazon S3 yang ditangguhkan versi

Saat menggunakan penghapusan objek Storage Transfer Service dari sumber setelah fitur transfer pada bucket Amazon S3 yang ditangguhkan versi, Storage Transfer Service akan menghapus objek dengan ID versi null, bukan versi saat ini.

Lokasi tugas Storage Transfer Service

Storage Transfer Service memilih lokasinya berdasarkan region bucket Cloud Storage sumber. Mulai hari ini, kami membuat tugas Storage Transfer Service di lokasi berikut. Daftar ini dapat berubah karena Storage Transfer Service menambahkan dukungan untuk region baru.

Jika bucket Cloud Storage sumber Anda terletak di region yang tidak tercantum, kami akan memilih region default dalam region luar sumber.

• ASIA-TIMUR1
• ASIA-TIMUR2
• ASIA-Amerika Utara (AS)1
• ASIA-Amerika Utara2
• ASIA-Amerika Utara
• ASIA-SELATAN1
• ASIA-SELATAN2
• ASIA-SOUTHEAST1
• ASIA-SOUTHEAST2
• AUSTRALIA-SOUTHEAST1
• AUSTRALIA-SOUTHEAST2
• EROPA-BARAT1
• EROPA-BARAT2
• EROPA-BARAT3
• EROPA-BARAT4
• EROPA-BARAT9
• EROPA-UTAMA1
• EROPA-SOUTHWEST1
• NORTHAMERICA-Amerika Utara
• NORTHAMERICA-Amerika Utara
• PUSAT AMERIKA SERIKAT1
• PUSAT AMERIKA SERIKAT2
• AS-TIMUR1
• AS-TIMUR 4
• AS-BARAT1
• AS-BARAT 2
• AS-BARAT 3
• AS-BARAT 4
• NAM4

Keterbatasan transfer sistem file yang diketahui

Tidak ada dukungan real-time

Storage Transfer Service tidak mendukung deteksi perubahan sub-jam. Storage Transfer Service adalah layanan pemindahan data batch yang dapat memindai sumber dengan frekuensi hingga satu kali per jam.

Konfigurasi sistem operasi yang didukung

Agen transfer memerlukan Docker yang terinstal, dan berjalan di server Linux atau virtual machine (VM). Untuk menyalin data di sistem file CIFS atau SMB, Anda dapat memasang volume di server Linux atau VM, lalu menjalankan agen dari server Linux atau VM.

Persyaratan memori

Berikut adalah persyaratan memori untuk Layanan transfer bagi agen data lokal:

• Memori minimum: 1GiB
• Memori minimum untuk mendukung upload berperforma tinggi: 6 GiB

Batasan penskalaan

Storage Transfer Service mendukung transfer individual yang:

• Berukuran ratusan terabyte
• Hingga 1 miliar file
• Beberapa 10 Gbps dalam kecepatan transfer

Setiap transfer yang berukuran lebih besar dari ukuran ini dapat diandalkan, tetapi belum diuji performanya.

Jika set data yang Anda miliki lebih besar dari batas ini, sebaiknya bagi data Anda menjadi beberapa tugas transfer.

Saat ini kami mendukung direktori besar, asalkan setiap agen memiliki memori minimal 1 GB yang tersedia untuk setiap 1 juta file di direktori terbesar, sehingga kami dapat melakukan iterasi konten direktori tanpa melebihi memori.

Batasan kumpulan agen dan agen

Kami mendukung hingga 100 agen untuk satu kumpulan agen. Anda tidak mungkin memerlukan lebih banyak agen untuk mencapai performa yang lebih baik mengingat lingkungan yang biasanya digunakan.

Hingga 800 kumpulan agen didukung per project.

Satu direktori per tugas

Kami hanya mendukung transfer isi lengkap direktori sistem file (secara rekursif). Anda dapat mempartisi transfer dengan membuat beberapa tugas yang mentransfer berbagai subdirektori set data, tetapi saat ini kami tidak mendukung pemindahan file atau pemfilteran dukungan dalam satu tugas.

Nama file yang didukung

Aturan berikut berlaku untuk semua nama file yang merupakan bagian dari transfer:

• Nama file harus menggunakan encoding UTF8.
• Nama file harus kompatibel dengan unicode.
• Parameter tidak boleh berisi baris baru (\n) atau enter (\r).

Jika direktori sumber Anda berisi nama file yang tidak didukung, tugas listingan file untuk direktori tersebut akan gagal.

Jika hal ini terjadi, perbarui nama file yang tidak didukung dan jalankan kembali tugas.

Jenis file yang didukung

Storage Transfer Service mendukung transfer file reguler dan file tersembunyi seperti Unix. File tersembunyi gaya Unix adalah file yang dimulai dengan karakter .. Saat Storage Transfer Service menemukan file tidak biasa, seperti perangkat, pipa bernama, atau soket, hal ini akan memunculkan error UNSUPPORTED_FILE_MODE.

Direktori kosong tidak dibuat di Cloud Storage karena objek tidak berada dalam subdirektori di dalam bucket. Untuk mengetahui informasi selengkapnya, lihat Namespace objek.

Panjang jalur maksimum

Storage Transfer Service mengikuti panjang jalur maksimum Cloud Storage, yaitu 1.024 byte. Awalan objek untuk objek tujuan disertakan dalam pembatasan panjang, karena awalan tersebut disertakan dalam nama objek di Cloud Storage.

Metadata file yang didukung

Lihat Preservasi metadata untuk mengetahui detail tentang metadata yang dipertahankan, baik secara default maupun opsional.

Jeda tugas yang diperpanjang

Tugas yang dijeda selama lebih dari 30 hari dianggap tidak aktif. Jika tugas tidak aktif, tugas yang dijeda akan dibatalkan dan jadwal konfigurasi tugas dinonaktifkan. Tidak ada tugas baru yang dijalankan, kecuali jika Anda secara eksplisit mengaktifkan kembali tugas tersebut.

Keamanan sumber sistem file

Akses agen

Pengguna yang dapat membuat tugas transfer dapat mengambil data dari, dan mendownload data ke, direktori sistem file apa pun yang dapat diakses oleh agen. Jika agen dijalankan sebagai root dan diberi akses ke seluruh sistem file, pelaku kejahatan mungkin dapat mengambil alih host. Sebaiknya Anda membatasi akses agen hanya ke direktori yang diperlukan.