Tentang driver CSI Parallelstore Google Kubernetes Engine

Parallelstore hanya tersedia berdasarkan undangan. Jika Anda ingin meminta akses ke Parallelstore dalam project Google Cloud , hubungi sales rep Anda.

Parallelstore adalah sistem file terdistribusi latensi rendah yang dikelola sepenuhnya dan dirancang untuk memenuhi permintaan pelatihan AI/ML dan workload komputasi berperforma tinggi (HPC) yang memerlukan latensi sangat rendah (sub-milidetik), semantik POSIX penuh, dan throughput operasi metadata yang tinggi. Parallelstore diskalakan hingga kecepatan baca 1 TB/detik dan jutaan IOPS.

Untuk menghubungkan cluster Google Kubernetes Engine (GKE) ke instance Parallelstore, gunakan driver Antarmuka Penyimpanan Container (CSI) Parallelstore. Driver CSI Parallelstore memungkinkan Anda menggunakan GKE API untuk menggunakan instance Parallelstore sebagai volume untuk workload stateful (misalnya, Pod dan Tugas). Bigtable dioptimalkan untuk beban kerja pelatihan AI/ML, terutama yang melibatkan ukuran file yang lebih kecil dan operasi baca acak.

GKE mengaktifkan driver CSI untuk Anda secara default saat Anda membuat cluster GKE Autopilot baru. Di cluster GKE Standard yang baru dan yang sudah ada, Anda harus mengaktifkan driver CSI.

Manfaat

Anda dapat menggunakan driver CSI Parallelstore untuk mendapatkan manfaat dari penyimpanan berperforma tinggi. Dengan driver CSI Parallelstore, Anda dapat mempercepat komputasi berperforma tinggi dan workload pelatihan AI/ML, dengan akses yang cepat dan konsisten ke data bersama untuk pemrosesan dan analisis yang efisien.

  • Anda memiliki akses ke sistem file paralel yang dikelola sepenuhnya sebagai penyimpanan melalui Kubernetes API.
  • Driver CSI Parallelstore Google Kubernetes Engine mendukung mode akses ReadWriteMany, ReadOnlyMany, dan ReadWriteOnce.
  • Anda dapat menggunakan driver CSI Parallelstore Google Kubernetes Engine untuk menyediakan PersistentVolumes secara dinamis.
  • Anda dapat mengakses instance Parallelstore yang ada di workload Kubernetes. Anda juga dapat membuat instance Parallelstore secara dinamis dan menggunakannya dalam workload Kubernetes dengan StatefulSet atau Deployment.

Batasan

  • Persistensi data: Parallelstore adalah sistem file "scratch plus". Layanan ini didukung oleh SSD Lokal dengan coding penghapusan 2+1, dan waktu rata-rata untuk kehilangan data adalah dua bulan. Parallelstore bukan penyimpanan jangka panjang dan harus dianggap sebagai sistem file yang sangat cepat untuk beban kerja tertentu.
  • Batasan per Pod: GKE hanya mendukung pemasangan satu instance Parallelstore per Pod.
  • Transfer data: Mentransfer data dari Cloud Storage ke Parallelstore tidak didukung oleh GKE API. Untuk melakukan transfer, gunakan Parallelstore API.
  • Kapasitas yang dapat digunakan: Anda dapat mengonfigurasi kapasitas penyimpanan dari 12.000 GiB hingga 100.000 GiB.
  • Zona yang didukung: Parallelstore didukung di zona ini. Jika region cluster Anda berbeda dengan region instance Parallelstore, akan ada penurunan performa I/O yang signifikan.
  • Batasan VPC-SC untuk Parallelstore: Jika menggunakan VPC Bersama dan Kontrol Layanan VPC, Anda harus memiliki project host yang menyediakan jaringan dan project layanan yang berisi instance Parallelstore di dalam perimeter yang sama agar instance Parallelstore berfungsi dengan benar. Memisahkan project host dan project layanan dengan perimeter dapat menyebabkan instance yang ada menjadi tidak tersedia dan mungkin tidak membuat instance baru.

Persyaratan

Untuk menggunakan driver CSI Parallelstore, cluster Anda harus memenuhi persyaratan berikut:

  • Pastikan Anda telah menginstal Google Cloud CLI versi terbaru. Versi gcloud CLI minimum yang didukung untuk fitur ini adalah 469.0.0 atau yang lebih baru.
  • Gunakan cluster Google Kubernetes Engine versi 1.29 atau yang lebih baru.

Langkah berikutnya