Untuk melengkapi disk booting, Anda dapat memasang Solid State Drive lokal (SSD lokal) ke master, pekerja utama, dan node pekerja sekunder di cluster. Saat SSD lokal disediakan ke cluster, data HDFS dan awal, seperti output shuffle, akan menggunakan SSD lokal, bukan persistent disk booting.
- SSD lokal dapat memberikan waktu baca dan tulis yang lebih cepat daripada persistent disk (lihat Performa SSD Lokal).
- Ukuran 375 GB dari setiap SSD lokal bersifat tetap, tetapi Anda dapat memasang beberapa SSD lokal untuk meningkatkan penyimpanan SSD (lihat Tentang SSD Lokal).
- Setiap SSD lokal dipasang ke
/mnt/<id>
di node cluster Dataproc. - SSD Lokal menggunakan
ext4
sebagai sistem file default.
Menggunakan SSD lokal
Perintah gcloud
Gunakan perintah gcloud dataproc clusters create dengan flag --num-master-local-ssds
, --num-workers-local-ssds
, dan --num-secondary-worker-local-ssds
untuk melampirkan SSD lokal ke node pekerja master, utama, dan sekunder cluster.
SSD Lokal dapat dilampirkan ke VM Dataproc menggunakan antarmuka SCSI (Small Computer System Interface) atau NVME (Non-Volatile Memory Express) (lihat performa SSD lokal).
Antarmuka SSD lokal VM cluster Dataproc default adalah antarmuka SCSI. Gunakan perintah gcloud dataproc clusters create dengan flag --master-local-ssd-interface
, --worker-local-ssd-interface
, dan --secondary-worker-local-ssd-interface
untuk menentukan antarmuka SSD lokal untuk node pekerja master, utama, dan sekunder.
Contoh:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
REST API
Tetapkan kolom numLocalSsds di InstanceGroupConfig masterConfig
, workerConfig
, dan secondaryWorkerConfig
dalam permintaan API cluster.create untuk memasang SSD lokal ke master, pekerja utama, dan node pekerja sekunder cluster.
SSD Lokal dapat dilampirkan ke VM Dataproc menggunakan antarmuka SCSI (Small Computer System Interface) atau NVME (Non-Volatile Memory Express) (lihat performa SSD lokal).
Antarmuka SSD lokal VM cluster Dataproc default adalah antarmuka SCSI. Tetapkan kolom localSsdInterface di InstanceGroupConfig masterConfig
, workerConfig
, dan secondaryWorkerConfig
dalam permintaan API cluster.create untuk menentukan antarmuka "SCSI" atau "NVME" guna memasang SSD lokal ke node master, pekerja utama, dan pekerja sekunder cluster.
Konsol
Buat cluster dan lampirkan SSD lokal ke node pekerja master, utama, dan sekunder dari panel Konfigurasi node di halaman Buat cluster Dataproc di konsol Google Cloud.