Benchmarking delle prestazioni delle SSD locali

---

I limiti di prestazioni delle SSD locali forniti nella sezione Scegli un'opzione di archiviazione sono stati raggiunti utilizzando impostazioni specifiche nell'istanza SSD locale. Se la tua istanza di macchina virtuale (VM) ha difficoltà a raggiungere questi limiti di prestazioni e l'hai già configurata utilizzando le impostazioni consigliate per le unità SSD locali, puoi confrontare i tuoi limiti di prestazioni con quelli pubblicati replicando le impostazioni utilizzate dal team di Compute Engine.

Avviso: lo script utilizzato in questa sezione è destinato solo al benchmarking e ai confronti delle prestazioni e non è progettato per ottimizzare il disco in termini di prestazioni. Sconsigliamo vivamente di eseguire questo script su una VM con un SSD locale su cui vuoi conservare i dati, in quanto questo script elimina tutti i dati sull'SSD locale.

Queste istruzioni presuppongono che tu stia utilizzando un sistema operativo Linux con il gestore dei pacchetti apt installato.

Nota: queste istruzioni creano unità SSD locali collegate a un'istanza tramite l'interfaccia NVMe. Se utilizzi l'interfaccia SCSI, sostituisci la posizione del disco /dev/disk/by-id/google-local-nvme-ssd-0 con /dev/disk/by-id/google-local-ssd-0 nei comandi che seguono.

Creare una VM con un dispositivo SSD locale

Il numero di SSD locali che una VM può avere si basa sul tipo di macchina utilizzato per crearla. Per informazioni dettagliate, consulta Scegliere un numero valido di SSD locali.

1. Crea un'istanza SSD locale con quattro o otto vCPU per ogni dispositivo, a seconda del tuo carico di lavoro.

   Ad esempio, il seguente comando crea una VM C3 con 4 vCPU e 1 unità SSD locale.

   gcloud compute instances create c3-ssd-test-instance \
       --machine-type "c3-standard-4-lssd"
   

   Per i tipi di macchine di seconda generazione e precedenti, specifica il numero di SSD locali da collegare alla VM utilizzando il flag --local-ssd. Il comando seguente crea una VM N2 con 8 vCPU e 1 SSD locale che utilizza l'interfaccia del disco NVMe:

   gcloud compute instances create ssd-test-instance \
       --machine-type "n2-standard-8" \
       --local-ssd interface=nvme
   

2. Esegui lo script seguente sulla VM. Lo script replica le impostazioni impiegate per ottenere i dati sulle prestazioni delle unità SSD forniti nella sezione sul rendimento. Tieni conto che il parametro --bs definisce la dimensione del blocco, che influisce sui risultati per diversi tipi di operazioni di lettura e scrittura.

   # install tools
   sudo apt-get -y update
   sudo apt-get install -y fio util-linux
   
   # discard Local SSD sectors
   sudo blkdiscard /dev/disk/by-id/google-local-nvme-ssd-0
   
   # full write pass - measures write bandwidth with 1M blocksize
   sudo fio --name=writefile \
   --filename=/dev/disk/by-id/google-local-nvme-ssd-0 --bs=1M --nrfiles=1 \
   --direct=1 --sync=0 --randrepeat=0 --rw=write --end_fsync=1 \
   --iodepth=128 --ioengine=libaio
   
   # rand read - measures max read IOPS with 4k blocks
   sudo fio --time_based --name=readbenchmark --runtime=30 --ioengine=libaio \
   --filename=/dev/disk/by-id/google-local-nvme-ssd-0  --randrepeat=0 \
   --iodepth=128 --direct=1 --invalidate=1 --verify=0 --verify_fatal=0 \
   --numjobs=4 --rw=randread --blocksize=4k --group_reporting
   
   # rand write - measures max write IOPS with 4k blocks
   sudo fio --time_based --name=writebenchmark  --runtime=30 --ioengine=libaio \
   --filename=/dev/disk/by-id/google-local-nvme-ssd-0 --randrepeat=0 \
   --iodepth=128 --direct=1 --invalidate=1 --verify=0 --verify_fatal=0 \
   --numjobs=4 --rw=randwrite --blocksize=4k --group_reporting
   

Creare una VM con il numero massimo di SSD locali

1. Se vuoi collegare 24 o più dispositivi SSD locali a un'istanza, utilizza un tipo di macchina con almeno 32 vCPU.

   I comandi seguenti creano una VM con il numero massimo consentito di dischi SSD locali che utilizzano l'interfaccia NVMe:

   Collega l'SSD locale alla VM

   gcloud compute instances create ssd-test-instance \
       --machine-type "n1-standard-32" \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme \
       --local-ssd interface=nvme
   

   Utilizzare i tipi di macchine -lssd

   Le serie di macchine più recenti offrono -lssd tipi di macchine dotati di un numero predefinito di dischi SSD locali. Ad esempio, per eseguire il benchmark di una VM con 32 unità SSD locali (capacità di 12 TiB), utilizza il seguente comando:

   gcloud compute instances create ssd-test-instance \
       --machine-type "c3-standard-176-lssd"
   

2. Installa lo strumento mdadm. La procedura di installazione di mdadm include una richiesta all'utente che interrompe gli script, quindi esegui la procedura manualmente:

   Debian e Ubuntu

   sudo apt update && sudo apt install mdadm --no-install-recommends
   

   CentOS e RHEL

   sudo yum install mdadm -y
   

   SLES e openSUSE

   sudo zypper install -y mdadm
   

3. Utilizza il comando find per identificare tutte le unità SSD locali che vuoi montare insieme:

   find /dev/ | grep google-local-nvme-ssd
   

   L'output è simile al seguente:

   /dev/disk/by-id/google-local-nvme-ssd-23
   /dev/disk/by-id/google-local-nvme-ssd-22
   /dev/disk/by-id/google-local-nvme-ssd-21
   /dev/disk/by-id/google-local-nvme-ssd-20
   /dev/disk/by-id/google-local-nvme-ssd-19
   /dev/disk/by-id/google-local-nvme-ssd-18
   /dev/disk/by-id/google-local-nvme-ssd-17
   /dev/disk/by-id/google-local-nvme-ssd-16
   /dev/disk/by-id/google-local-nvme-ssd-15
   /dev/disk/by-id/google-local-nvme-ssd-14
   /dev/disk/by-id/google-local-nvme-ssd-13
   /dev/disk/by-id/google-local-nvme-ssd-12
   /dev/disk/by-id/google-local-nvme-ssd-11
   /dev/disk/by-id/google-local-nvme-ssd-10
   /dev/disk/by-id/google-local-nvme-ssd-9
   /dev/disk/by-id/google-local-nvme-ssd-8
   /dev/disk/by-id/google-local-nvme-ssd-7
   /dev/disk/by-id/google-local-nvme-ssd-6
   /dev/disk/by-id/google-local-nvme-ssd-5
   /dev/disk/by-id/google-local-nvme-ssd-4
   /dev/disk/by-id/google-local-nvme-ssd-3
   /dev/disk/by-id/google-local-nvme-ssd-2
   /dev/disk/by-id/google-local-nvme-ssd-1
   /dev/disk/by-id/google-local-nvme-ssd-0
   

   find non garantisce un ordine. Non è un problema se i dispositivi sono elencati in un ordine diverso, purché il numero di righe di output corrisponda al numero previsto di partizioni dell'unità SSD.

   Se utilizzi dispositivi SCSI, utilizza il seguente comando find:

   find /dev/ | grep google-local-ssd
   

   I dispositivi NVMe devono essere tutti di tipo google-local-nvme-ssd-# e i dispositivi SCSI devono essere tutti di tipo google-local-ssd-#.

4. Utilizza lo strumento mdadm per combinare più dispositivi SSD locali in un singolo array denominato /dev/md0. L'esempio seguente unisce ventiquattro dispositivi SSD locali che utilizzano l'interfaccia NVMe. Per i dispositivi SSD locali che utilizzano SCSI, utilizza i nomi dei dispositivi restituiti dal comando find nel passaggio 3.

   sudo mdadm --create /dev/md0 --level=0 --raid-devices=24 \
   /dev/disk/by-id/google-local-nvme-ssd-0 \
   /dev/disk/by-id/google-local-nvme-ssd-1 \
   /dev/disk/by-id/google-local-nvme-ssd-2 \
   /dev/disk/by-id/google-local-nvme-ssd-3 \
   /dev/disk/by-id/google-local-nvme-ssd-4 \
   /dev/disk/by-id/google-local-nvme-ssd-5 \
   /dev/disk/by-id/google-local-nvme-ssd-6 \
   /dev/disk/by-id/google-local-nvme-ssd-7 \
   /dev/disk/by-id/google-local-nvme-ssd-8 \
   /dev/disk/by-id/google-local-nvme-ssd-9 \
   /dev/disk/by-id/google-local-nvme-ssd-10 \
   /dev/disk/by-id/google-local-nvme-ssd-11 \
   /dev/disk/by-id/google-local-nvme-ssd-12 \
   /dev/disk/by-id/google-local-nvme-ssd-13 \
   /dev/disk/by-id/google-local-nvme-ssd-14 \
   /dev/disk/by-id/google-local-nvme-ssd-15 \
   /dev/disk/by-id/google-local-nvme-ssd-16 \
   /dev/disk/by-id/google-local-nvme-ssd-17 \
   /dev/disk/by-id/google-local-nvme-ssd-18 \
   /dev/disk/by-id/google-local-nvme-ssd-19 \
   /dev/disk/by-id/google-local-nvme-ssd-20 \
   /dev/disk/by-id/google-local-nvme-ssd-21 \
   /dev/disk/by-id/google-local-nvme-ssd-22 \
   /dev/disk/by-id/google-local-nvme-ssd-23
   

   La risposta è simile alla seguente:

   mdadm: Defaulting to version 1.2 metadata
   mdadm: array /dev/md0 started.
   

   Puoi verificare i dettagli dell'array con mdadm --detail. L'aggiunta del flag --prefer=by-id elenca i dispositivi che utilizzano i percorsi /dev/disk/by-id.

    sudo mdadm --detail --prefer=by-id /dev/md0
   

   L'output dovrebbe essere simile al seguente per ogni dispositivo nell'array.

    ...
    Number   Major   Minor   RaidDevice State
    0     259        0        0      active sync   /dev/disk/by-id/google-local-nvme-ssd-0
    ...
   

5. Esegui lo script seguente sulla VM. Lo script replica le impostazioni utilizzate per ottenere i dati sulle prestazioni dell'unità SSD forniti nella sezione sul rendimento. Il parametro --bs definisce la dimensione del blocco, che influisce sui risultati per diversi tipi di operazioni di lettura e scrittura.

   # install tools
   sudo apt-get -y update
   sudo apt-get install -y fio util-linux
   
   # full write pass - measures write bandwidth with 1M blocksize
   sudo fio --name=writefile \
   --filename=/dev/md0 --bs=1M --nrfiles=1 \
   --direct=1 --sync=0 --randrepeat=0 --rw=write --end_fsync=1 \
   --iodepth=128 --ioengine=libaio
   
   # rand read - measures max read IOPS with 4k blocks
   sudo fio --time_based --name=benchmark  --runtime=30 \
   --filename=/dev/md0 --ioengine=libaio --randrepeat=0 \
   --iodepth=128 --direct=1 --invalidate=1 --verify=0 --verify_fatal=0 \
   --numjobs=32 --rw=randread --blocksize=4k --group_reporting --norandommap
   
   # rand write - measures max write IOPS with 4k blocks
   sudo fio --time_based --name=benchmark  --runtime=30 \
   --filename=/dev/md0 --ioengine=libaio --randrepeat=0 \
   --iodepth=128 --direct=1 --invalidate=1 --verify=0 --verify_fatal=0 \
   --numjobs=32 --rw=randwrite --blocksize=4k --group_reporting --norandommap
   

Benchmark delle VM ottimizzate per l'archiviazione

1. Il benchmark delle VM ottimizzate per lo spazio di archiviazione (come la famiglia Z3) deve essere eseguito direttamente sulle partizioni del dispositivo. Puoi ottenere i nomi delle partizioni con lsblk

   lsblk -o name,size -lpn | grep 2.9T | awk '{print $1}'
   

   L'output è simile al seguente:

   /dev/nvme1n1
   /dev/nvme2n1
   /dev/nvme3n1
   /dev/nvme4n1
   /dev/nvme5n1
   /dev/nvme6n1
   /dev/nvme7n1
   /dev/nvme8n1
   /dev/nvme9n1
   /dev/nvme10n1
   /dev/nvme11n1
   /dev/nvme12n1
   

2. Esegui direttamente i benchmark sulle partizioni SSD locali separandoli con i delimitatori di due punti.

   # install benchmarking tools
   sudo apt-get -y update
   sudo apt-get install -y fio util-linux
   
   # Full Write Pass.
   # SOVM achieves max read performance on previously written/discarded ranges.
   sudo  fio --readwrite=write --blocksize=1m --iodepth=4 --ioengine=libaio \
   --direct=1 --group_reporting \
   --name=job1 --filename=/dev/nvme1n1 --name=job2 --filename=/dev/nvme2n1 \
   --name=job3 --filename=/dev/nvme3n1 --name=job4 --filename=/dev/nvme4n1 \
   --name=job5 --filename=/dev/nvme5n1 --name=job6 --filename=/dev/nvme6n1 \
   --name=job7 --filename=/dev/nvme7n1 --name=job8 --filename=/dev/nvme8n1 \
   --name=job9 --filename=/dev/nvme9n1 --name=job10 --filename=/dev/nvme10n1 \
   --name=job11  --filename=/dev/nvme11n1 --name=job12 --filename=/dev/nvme12n1
   
   # rand read - measures max read IOPS with 4k blocks
   sudo fio --readwrite=randread --blocksize=4k --iodepth=128  \
   --numjobs=4 --direct=1 --runtime=30 --group_reporting  --ioengine=libaio \
   --name=job1 --filename=/dev/nvme1n1 --name=job2 --filename=/dev/nvme2n1 \
   --name=job3 --filename=/dev/nvme3n1 --name=job4 --filename=/dev/nvme4n1 \
   --name=job5 --filename=/dev/nvme5n1 --name=job6 --filename=/dev/nvme6n1 \
   --name=job7 --filename=/dev/nvme7n1 --name=job8 --filename=/dev/nvme8n1 \
   --name=job9 --filename=/dev/nvme9n1 --name=job10 --filename=/dev/nvme10n1 \
   --name=job11  --filename=/dev/nvme11n1 --name=job12 --filename=/dev/nvme12n1
   
   # rand write - measures max write IOPS with 4k blocks
   sudo fio --readwrite=randwrite --blocksize=4k --iodepth=128 \
   --numjobs=4 --direct=1 --runtime=30 --group_reporting --ioengine=libaio \
   --name=job1 --filename=/dev/nvme1n1 --name=job2 --filename=/dev/nvme2n1 \
   --name=job3 --filename=/dev/nvme3n1 --name=job4 --filename=/dev/nvme4n1 \
   --name=job5 --filename=/dev/nvme5n1 --name=job6 --filename=/dev/nvme6n1 \
   --name=job7 --filename=/dev/nvme7n1 --name=job8 --filename=/dev/nvme8n1 \
   --name=job9 --filename=/dev/nvme9n1 --name=job10 --filename=/dev/nvme10n1 \
   --name=job11  --filename=/dev/nvme11n1 --name=job12 --filename=/dev/nvme12n1
   

Passaggi successivi

• Scopri di più sui prezzi delle unità SSD locali.