Parallelstore adalah sistem file terdistribusi dengan latensi rendah yang terkelola sepenuhnya dan dirancang untuk memenuhi permintaan pelatihan AI/ML dan workload komputasi berperforma tinggi (HPC) yang memerlukan latensi sangat rendah (di bawah milidetik), semantik POSIX penuh, dan throughput operasi metadata yang tinggi. Parallelstore menskalakan hingga kecepatan baca 1 TB/s dan jutaan IOPS.
Untuk menghubungkan cluster Google Kubernetes Engine (GKE) ke instance Parallelstore, gunakan driver Container Storage Interface (CSI) Parallelstore. Driver CSI Parallelstore memungkinkan Anda menggunakan GKE API untuk menggunakan instance Parallelstore sebagai volume untuk workload stateful Anda (misalnya, Pod dan Tugas). Layanan ini dioptimalkan untuk workload pelatihan AI/ML, terutama yang melibatkan ukuran file yang lebih kecil dan operasi baca acak.
GKE mengaktifkan driver CSI untuk Anda secara default saat Anda membuat cluster GKE Autopilot baru. Di cluster GKE Standard baru dan yang sudah ada, Anda harus mengaktifkan driver CSI.
Manfaat
Anda dapat menggunakan driver CSI Parallelstore untuk mendapatkan manfaat dari penyimpanan berperforma tinggi. Dengan driver CSI Parallelstore, Anda dapat mempercepat workload komputasi berperforma tinggi dan pelatihan AI/ML, dengan akses yang cepat dan konsisten ke data bersama untuk pemrosesan dan analisis yang efisien.
- Anda memiliki akses ke sistem file paralel yang terkelola sepenuhnya sebagai penyimpanan melalui Kubernetes API.
- Driver CSI Parallelstore Google Kubernetes Engine mendukung mode akses ReadWriteMany, ReadOnlyMany, dan ReadWriteOnce .
- Anda dapat menggunakan driver CSI Parallelstore Google Kubernetes Engine untuk menyediakan PersistentVolumes secara dinamis.
- Anda dapat mengakses instance Parallelstore yang ada di workload Kubernetes. Anda juga dapat membuat instance Parallelstore secara dinamis dan menggunakannya dalam workload Kubernetes dengan StatefulSet atau Deployment.
Batasan
Persistensi data: Parallelstore adalah sistem file "scratch plus". Layanan ini didukung oleh SSD Lokal dengan kode penghapusan 2+1, dan waktu rata-rata hingga kehilangan data adalah dua bulan. Parallelstore bukan penyimpanan jangka panjang dan harus dianggap sebagai sistem file yang sangat cepat untuk beban kerja tertentu.
Batasan per Pod: GKE hanya mendukung pemasangan satu instance Parallelstore per Pod.
- Transfer data: Transfer data dari Cloud Storage ke Parallelstore tidak didukung oleh GKE API. Untuk melakukan transfer, gunakan Parallelstore API.
- Kapasitas yang dapat digunakan: Anda dapat mengonfigurasi kapasitas penyimpanan dari 12.000 GiB hingga 100.000 GiB.
- Zona yang didukung: Parallelstore didukung di zona ini. Jika region cluster Anda berbeda dengan region instance Parallelstore, akan ada penurunan performa I/O yang signifikan.
- Batasan VPC-SC untuk Parallelstore: Jika Anda menggunakan VPC Bersama dan Kontrol Layanan VPC, Anda harus memiliki project host yang menyediakan jaringan dan project layanan yang berisi instance Parallelstore di dalam perimeter yang sama agar instance Parallelstore berfungsi dengan benar. Memisahkan project host dan project layanan dengan perimeter dapat menyebabkan instance yang ada menjadi tidak tersedia dan mungkin tidak membuat instance baru.
- Dukungan mesin ARM: Driver CSI Parallelstore hanya mendukung node arsitektur amd64. Node berbasis ARM saat ini tidak didukung.
Persyaratan
Untuk menggunakan driver CSI Parallelstore, cluster Anda harus memenuhi persyaratan berikut:
- Pastikan Anda telah menginstal Google Cloud CLI versi terbaru. Versi gcloud CLI minimum yang didukung untuk fitur ini adalah 469.0.0 atau yang lebih baru.
- Gunakan cluster Google Kubernetes Engine versi 1.29 atau yang lebih baru.
Langkah berikutnya
- Buat dan gunakan volume yang didukung oleh instance Parallelstore Google Kubernetes Engine.
- Mengakses instance Parallelstore yang ada dari Google Kubernetes Engine.