Dokumen ini menjelaskan metadata yang disimpan saat Anda menggunakan Storage Transfer Service untuk mentransfer data antara berbagai sumber dan tujuan.
Ringkasan
Storage Transfer Service mempertahankan metadata berikut:
Metadata kustom buatan pengguna untuk transfer yang berasal dari Cloud Storage, Amazon S3, atau Microsoft Azure Blob Storage dipertahankan.
Transfer antar-bucket Cloud Storage dapat secara opsional mempertahankan ACL objek, kunci enkripsi yang dikelola pelanggan, kelas penyimpanan, waktu pembuatan objek (sebagai nilai kolom
customTime
), dan penangguhan sementara.Untuk transfer dari sumber apa pun ke bucket Cloud Storage, kelas penyimpanan objek di bucket tujuan dapat ditetapkan ke class yang didukung sebagai bagian dari transfer.
Ukuran file dan waktu terakhir diubah (
mtime
) dipertahankan untuk transfer yang berasal dari sistem file POSIX.mtime
tidak dipertahankan untuk folder.Secara opsional, symlink, UID numerik, GID numerik, dan MODE numerik dapat dipertahankan untuk transfer ke dan dari sistem file POSIX.
Hanya untuk transfer antarsistem file, jika UID, GID, atau MODE dipertahankan, metadata tersebut juga akan dipertahankan untuk folder. Cloud Storage membuat ulang folder pada sistem file tujuan dan memulihkan UID, GID, dan/atau MODE. Termasuk folder kosong.
mtime
tidak dipertahankan.Metadata tingkat folder tidak akan dipertahankan jika transfer dilakukan melalui manifes.
Kolom metadata yang tidak disebutkan secara eksplisit dalam dokumen ini tidak akan dipertahankan.
Perilaku penyimpanan metadata
Bagian berikut mencantumkan contoh metadata dari berbagai sistem penyimpanan sumber yang berbeda, dan cara Storage Transfer Service menyimpan metadata dari setiap sistem penyimpanan. Untuk mengetahui daftar lengkap metadata, baca dokumentasi sistem penyimpanan sumber.
Amazon S3 ke Cloud Storage
Contoh metadata | Perilaku preservasi |
---|---|
Kolom metadata kunci tetap Amazon S3, seperti:
Cache-Control ,
Content-Disposition , dan
Content-Type .
|
Dipertahankan sebagai metadata kunci tetap. |
Metadata buatan pengguna Amazon S3, yang diformat sebagai key:value pair. Untuk mengetahui informasi selengkapnya, lihat bagian Metadata objek yang ditentukan pengguna dari Kunci objek dan metadata. |
Dipertahankan sebagai kolom metadata kustom pada objek Cloud Storage tujuan, yang dapat diedit atau dihapus nanti. |
ETag |
Dipertahankan sebagai kolom metadata kustom dengan kunci x-goog-source-etag , yang dapat diedit atau dihapus nanti.
|
Ukuran objek. |
Dipertahankan sebagai size .
|
Daftar kontrol akses (ACL) Amazon S3. Untuk mengetahui daftar lengkapnya, lihat bagian Kunci Kondisi di Ringkasan Daftar Kontrol Akses (ACL). | Tidak dipertahankan. |
Tag objek Amazon S3, yang Anda tetapkan sebagai key-value pair. Untuk mengetahui informasi selengkapnya, lihat Tag Objek. | Tidak dipertahankan. |
Metadata yang ditentukan sistem Amazon S3, kecuali untuk ETag dan ukuran objek. Untuk mengetahui daftar lengkapnya, lihat bagian
Metadata objek yang ditentukan sistem pada
Metadata dan kunci objek. |
Tidak dipertahankan.
Metadata stempel waktu dari sumber tidak dipertahankan. Waktu pembuatan, |
Kelas penyimpanan |
Ada beberapa opsi untuk menyetel kelas penyimpanan selama transfer.
Lihat dokumentasi referensi metadataOptions untuk mengetahui detailnya. |
Microsoft Azure Storage ke Cloud Storage
Contoh metadata | Perilaku preservasi |
---|---|
Kolom metadata kunci tetap Microsoft Azure Storage, seperti:
Cache-Control ,
Content-Disposition , dan
Content-Type .
|
Dipertahankan sebagai metadata kunci tetap. |
Metadata buatan pengguna Microsoft Azure Storage, yang diformat sebagai key:value pair. Untuk mengetahui informasi selengkapnya, baca Setelan dan pengambilan properti serta metadata untuk resource layanan Blob . |
Dipertahankan sebagai kolom metadata kustom pada objek Cloud Storage tujuan, yang dapat diedit atau dihapus nanti. |
ETag
|
Dipertahankan sebagai kolom metadata kustom dengan kunci x-goog-source-etag , yang dapat diedit atau dihapus nanti.
|
Ukuran objek. |
Dipertahankan sebagai size .
|
Izin sistem file POSIX yang didukung oleh Azure Data Lake Storage (ADLS) Gen 2. | Tidak dipertahankan. |
Kontrol akses Microsoft Azure Storage, khususnya
x-ms-blob-public-access . Untuk informasi selengkapnya, lihat bagian
Header Respons
dalam
Mendapatkan ACL Container
.
|
Tidak dipertahankan. |
Tag indeks Microsoft Azure Storage. Untuk mengetahui informasi selengkapnya, baca Mengelola dan menemukan data Azure Blob dengan tag indeks blob . | Tidak dipertahankan. |
Metadata stempel waktu Microsoft Azure Storage, seperti:
Last-Modified ,
x-ms-creation-time ,
x-ms-version ,
x-ms-request-server-encrypted , dan
x-ms-encryption-scope .
Untuk mengetahui informasi selengkapnya, baca
Menetapkan Metadata Blob
.
|
Tidak dipertahankan.
Metadata stempel waktu dari sumber tidak dipertahankan. Waktu pembuatan, |
Kelas penyimpanan |
Ada beberapa opsi untuk menyetel kelas penyimpanan selama transfer.
Lihat dokumentasi referensi metadataOptions untuk mengetahui detailnya. |
Transfer antar-bucket Cloud Storage
Contoh metadata | Perilaku preservasi |
---|---|
Kolom metadata kunci tetap Cloud Storage, seperti:
Untuk mengetahui informasi selengkapnya, lihat Metadata objek |
Dipertahankan sebagai metadata kunci tetap. |
Metadata buatan pengguna Cloud Storage, yang diformat sebagai key:value pair. Untuk mengetahui informasi selengkapnya, lihat Metadata kustom. |
Dipertahankan sebagai kolom metadata kustom pada objek Cloud Storage tujuan, yang dapat diedit atau dihapus nanti. |
Ukuran objek |
Dipertahankan sebagai size .
|
Pembuatan objek |
Dipertahankan sebagai kolom metadata kustom dengan kunci x-goog-reserved-source-generation , yang dapat diedit atau dihapus nanti.
|
Penangguhan objek |
Penangguhan berbasis peristiwa tidak dipertahankan. Jika bucket tujuan mengaktifkan properti penangguhan berbasis peristiwa default, penangguhan berbasis peristiwa akan diterapkan pada objek yang ditransfer. Penangguhan sementara dipertahankan secara default. Untuk menghapus penangguhan
sementara selama transfer, tetapkan kolom |
Daftar Kontrol Akses (ACL) |
ACL dapat dipertahankan secara opsional. Lihat dokumentasi referensi metadataOptions untuk mengetahui detailnya. Saat mempertahankan ACL, berhati-hatilah untuk menghindari pembuatan objek yang tidak dapat diakses. Untuk mengetahui informasi selengkapnya, lihat dokumentasi Daftar Kontrol Akses Cloud Storage. |
Kelas penyimpanan |
Ada beberapa opsi untuk menyetel kelas penyimpanan selama transfer.
Lihat dokumentasi referensi metadataOptions untuk mengetahui detailnya. |
Kunci enkripsi yang dikelola pelanggan |
Jika kunci enkripsi yang dikelola pelanggan (CMEK) digunakan pada sebuah objek, maka objek tersebut dapat secara opsional menggunakan kunci yang sama saat ditulis ke bucket tujuan. Perilaku default-nya adalah menulis objek ke bucket tujuan menggunakan metode enkripsi bucket. Saat mempertahankan CMEK asli, perhatikan batasan berikut:
Lihat dokumentasi referensi metadataOptions untuk mengetahui detailnya. |
Metadata stempel waktu |
Metadata |
Metadata Cloud Storage lainnya yang tidak dapat diedit, seperti etag dan componentCount .
|
Tidak Dipertahankan. |
Untuk mengetahui daftar metadata di Cloud Storage, lihat Objek.
Transfer daftar URL ke Cloud Storage
Untuk informasi selengkapnya tentang daftar URL, lihat Membuat daftar URL.
Contoh metadata | Perilaku preservasi |
---|---|
Kolom metadata kunci telah diperbaiki, seperti:
Cache-Control ,
Content-Disposition , dan
Content-Type .
|
Dipertahankan sebagai metadata yang dapat diedit. |
Content-Length dan MD5
|
Dipertahankan sebagai metadata yang tidak dapat diedit.
Jika sumber tidak memberikan nilai hash
Perilaku preservasi ini khusus untuk |
Metadata stempel waktu, seperti: Waktu pembuatan, waktu perubahan, dan metadata khusus sumber lainnya. |
Tidak dipertahankan.
Metadata stempel waktu dari sumber tidak dipertahankan. Waktu pembuatan, |
Kelas penyimpanan |
Ada beberapa opsi untuk menyetel kelas penyimpanan selama transfer.
Lihat dokumentasi referensi metadataOptions untuk mengetahui detailnya. |
Transfer sistem file POSIX
Saat mentransfer file dari sistem file POSIX, Storage Transfer Service secara opsional dapat mempertahankan atribut tertentu sebagai metadata kustom. Jika file ini nantinya ditulis kembali ke sistem file, Storage Transfer Service dapat mengonversi kembali metadata yang dipertahankan ke atribut POSIX.
Contoh metadata | Perilaku preservasi |
---|---|
Waktu diubah (mtime )
|
Dipertahankan.
|
Ukuran file |
Dipertahankan. Ukuran file dipertahankan sebagai |
UID numerik GID numerik MODE Numerik Link simbolis |
Opsional. Perilaku preservasi ditentukan dengan
objek Perilaku defaultnya adalah tidak mempertahankan metadata apa pun. |
Metadata folder | Metadata tingkat folder hanya dipertahankan untuk transfer antar-sistem file. Setelan preservasi UID, GID, dan MODE transfer diterapkan
ke file dan folder untuk transfer ini.
Metadata folder tidak dipertahankan untuk transfer manifes. |
Kelas penyimpanan |
Ada beberapa opsi untuk menyetel kelas penyimpanan selama transfer.
Lihat dokumentasi referensi metadataOptions untuk mengetahui detailnya. |
Mempertahankan metadata POSIX opsional
Untuk mempertahankan satu atau beberapa UID numerik, GID numerik, MODE numerik,
dan link simbolis, tentukan
objek
metadataOptions
dalam isi tugas transfer Anda.
Opsi ini berlaku untuk transfer POSIX ke Cloud Storage dan transfer Cloud Storage ke POSIX. Untuk yang terakhir, metadata harus dipertahankan saat file awalnya ditransfer ke Cloud Storage.
{
"description": "metadata-example",
"projectId": "example-project-id"
"transferSpec": {
...
"transferOptions": {
"metadataOptions": {
"gid": "GID_NUMBER", # Default is "GID_SKIP"
"uid": "UID_NUMBER", # Default is "UID_SKIP"
"mode": "MODE_PRESERVE", # Default is "MODE_SKIP"
"symlink": "SYMLINK_PRESERVE" # Default is "SYMLINK_SKIP"
}
}
}
}
POSIX ke Cloud Storage
Metadata yang dipertahankan disimpan di Cloud Storage sebagai key:value pair metadata khusus.
- GID numerik disimpan sebagai
goog-reserved-posix-gid
. - UID numerik disimpan sebagai
goog-reserved-posix-uid
. - MODE Numerik disimpan sebagai
goog-reserved-posix-mode
.
Untuk link simbolis, Storage Transfer Service mempertahankan link target sebagai objek di Cloud Storage dengan kualitas berikut:
- Kunci objek terdiri dari awalan tujuan ditambah jalur ke symlink,
yang sesuai dengan
root_directory
. - Metadata objek:
- Setiap metadata symlink dipertahankan sebagai metadata objek Cloud Storage.
- Entri metadata kustom dibuat:
goog-reserved-file-is-symlink:true
.
- Konten objek adalah target symlink. Misalnya, untuk symlink
sym-> dir1/target
, isi objeknya adalah "dir1/target".
Storage Transfer Service tidak memvalidasi link atau menyalin file target.
Cloud Storage ke POSIX
Jika metadata dipertahankan saat file ditransfer ke Cloud Storage, metadata tersebut dapat ditulis kembali ke file tersebut saat ditransfer kembali ke sistem file POSIX.
Jika opsi metadata ditetapkan ke dipertahankan, Storage Transfer Service akan melakukan tindakan berikut:
- Link simbolis: Storage Transfer Service membuat file symlink yang mengarah ke link target. Jika file target tidak ada, symlink akan rusak.
- GID, UID, dan MODE: nilai yang tersimpan dalam metadata Cloud Storage akan ditulis kembali ke file.
POSIX ke POSIX
Transfer antar-sistem file dapat mempertahankan GID, UID, dan MODE secara opsional untuk file dan folder.
Waktu terakhir diubah disimpan untuk file, tetapi tidak untuk folder. mtime
disetel ke waktu pembuatan folder di sistem file tujuan.
Storage Transfer Service menyimpan metadata folder dengan membuat objek folder 0 byte di bucket perantara, lalu menyalin kembali metadata tersebut ke folder pada sistem file tujuan. Karena alasan ini, jumlah objek yang dibuat di bucket perantara mungkin lebih besar dari jumlah file yang ditransfer.