Opsi penyimpanan untuk data Cloud TPU

Dokumen ini menjelaskan opsi penyimpanan data yang dapat digunakan saat melatih model di Cloud TPU.

Pengantar

Cloud TPU memerlukan penyimpanan data untuk:

  • download dan pra-pemrosesan set data
  • pemrosesan pipeline input host
  • input pelatihan model
  • output pelatihan model

Ada lima opsi penyimpanan untuk data aplikasi Cloud TPU dan set data pelatihan:

Untuk mengetahui detail biaya dan performa penyimpanan, lihat Opsi penyimpanan.

Boot disk untuk VM TPU atau Node TPU

Secara default, setiap VM Cloud TPU memiliki persistent disk booting tunggal berukuran 100 GB yang berisi sistem operasi. Boot disk juga dapat digunakan untuk menyimpan set data yang didownload untuk prapemrosesan serta data input dan output model, asalkan jumlah total tidak melebihi ruang yang tersedia di boot disk.

Jika aplikasi pelatihan Anda memerlukan ruang penyimpanan tambahan di luar default boot disk, Anda dapat menambahkan satu atau beberapa persistent disk ke instance VM atau TPU VM. Ada berbagai prosedur untuk menambahkan persistent disk ke TPU Node (VM Compute Engine) atau ke VM TPU.

Persistent disk yang dipasang ke VM TPU atau Node TPU

Persistent disk adalah perangkat penyimpanan jaringan tahan lama yang dapat diakses instance VM Anda, seperti disk fisik di desktop atau server. Data pada setiap persistent disk didistribusikan ke beberapa disk fisik. Compute Engine mengelola disk fisik dan distribusi data untuk memastikan redundansi dan performa optimal.

Persistent disk dibuat secara terpisah dari instance mesin virtual (VM) Anda, sehingga Anda dapat menyimpan data bahkan setelah Anda menghapus instance VM Anda. Performa persistent disk diskalakan secara otomatis mengikuti ukuran, sehingga Anda dapat mengubah ukuran persistent disk yang ada atau menambahkan lebih banyak persistent disk ke instance untuk memenuhi persyaratan performa dan ruang penyimpanan Anda.

Persistent disk memiliki redundansi bawaan untuk melindungi data Anda dari kegagalan peralatan dan memastikan ketersediaan data melalui peristiwa pemeliharaan pusat data. Checksum dihitung untuk semua operasi persistent disk, sehingga kami dapat memastikan bahwa yang Anda baca adalah apa yang Anda tulis.

Selain itu, Anda dapat membuat snapshot persistent disk untuk melindungi dari kehilangan data karena error pengguna. Snapshot bersifat inkremental, dan hanya memerlukan waktu beberapa menit untuk dibuat meskipun Anda mengambil disk snapshot yang terpasang ke instance yang sedang berjalan.

Untuk mengetahui informasi lebih lanjut tentang cara menggunakan persistent disk dengan VM TPU, baca Menambahkan persistent disk ke VM TPU.

Bucket Cloud Storage

Bucket Cloud Storage adalah opsi penyimpanan yang paling fleksibel, skalabel, dan tahan lama untuk instance VM Anda. Jika tugas pelatihan Anda tidak memerlukan latensi persistent disk yang lebih rendah, Anda dapat menyimpan set data di bucket Cloud Storage.

Performa bucket Cloud Storage bergantung pada kelas penyimpanan yang Anda pilih dan lokasi bucket yang terkait dengan instance Anda.

Membuat bucket Cloud Storage di zona yang sama dengan instance VM (untuk TPU Node) atau VM TPU memberikan performa yang sebanding dengan persistent disk, tetapi dengan latensi yang lebih tinggi dan karakteristik throughput yang kurang konsisten.

Semua bucket Cloud Storage memiliki redundansi bawaan untuk melindungi data Anda dari kegagalan peralatan dan memastikan ketersediaan data melalui peristiwa pemeliharaan pusat data. Checksum dihitung untuk semua operasi Cloud Storage guna membantu memastikan bahwa yang Anda baca adalah apa yang Anda tulis.

Tidak seperti persistent disk, bucket Cloud Storage tidak dibatasi pada zona tempat instance Anda berada. Selain itu, Anda dapat membaca dan menulis data ke bucket dari beberapa instance secara bersamaan. Misalnya, Anda dapat mengonfigurasi instance di beberapa zona untuk membaca dan menulis data di bucket yang sama, bukan mereplikasi data ke persistent disk di beberapa zona.

Cloud Storage FUSE

Dengan Cloud Storage FUSE, Anda dapat memasang dan mengakses bucket Cloud Storage sebagai sistem file lokal. Hal ini memungkinkan aplikasi membaca dan menulis objek di bucket Anda menggunakan semantik sistem file standar.

Baca dokumentasi FUSE Cloud Storage untuk mengetahui detail cara kerja FUSE Cloud Storage dan deskripsi cara operasi Cloud Storage FUSE dipetakan ke operasi Cloud Storage. Anda dapat menemukan informasi tambahan tentang cara menggunakan Cloud Storage FUSE, seperti cara menginstal CLI FUSE Cloud Storage dan bucket pemasangan di GitHub.

Berbagi file Filestore

Filestore Filestore adalah Network Attached Storage (NAS) yang terkelola sepenuhnya untuk Compute Engine. Filestore menawarkan kompatibilitas dengan aplikasi perusahaan yang ada dan mendukung semua klien yang kompatibel dengan NFSv3.

Filestore menawarkan latensi rendah untuk operasi file. Untuk workload yang sensitif terhadap latensi, Filestore mendukung kapasitas hingga 100 TB dan throughput 25 GB per detik serta 720 ribu IOPS dengan performa variabilitas minimal.

Dengan Filestore, Anda dapat memasang berbagi file di VM TPU.

Langkah selanjutnya