Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Aggiunta di un disco permanente a una VM TPU

Questo documento descrive come configurare e collegare un disco permanente (PD) a una VM TPU.

Panoramica

Una VM TPU include un disco di avvio da 100 GB. Per alcuni set di dati potresti aver bisogno di più spazio di archiviazione locale per l'addestramento o la pre-elaborazione. Per addestrare questi modelli, puoi aggiungere un disco permanente per espandere la capacità del disco locale.

Puoi aggiungere un disco permanente alla tua VM TPU quando crei la VM TPU oppure puoi aggiungerne uno dopo la creazione della VM TPU.

Prerequisiti

Devi disporre di un account e di un progetto GCP prima di utilizzare le seguenti procedure. Se non hai ancora configurato un progetto Cloud TPU, segui la procedura descritta in Configurare un account e un progetto Cloud TPU prima di continuare.

Passaggi di livello elevato

I passaggi di livello generale per configurare un disco permanente con una VM TPU sono i seguenti:

  1. Crea un disco permanente
  2. Lancia una VM TPU con un disco permanente oppure aggiungi un disco permanente a una VM TPU esistente
  3. Accedi tramite SSH alla VM TPU
  4. Elenca i dischi collegati
  5. Formattare il disco permanente collegato
  6. Crea una directory per montare il disco permanente
  7. Montare il disco permanente
  8. Imposta le autorizzazioni per il disco permanente
  9. Pulisci la VM TPU e le risorse del disco permanente

Configurazione di una VM TPU e di un disco permanente

  1. In un'istanza di Cloud Shell, crea un disco permanente:

    $ gcloud compute disks create disk-name \
    --size disk-size  \
    --zone zone \
    --type pd-balanced
    

    Descrizioni flag comando

    disk-name
    Un nome scelto da te per il disco permanente.
    disk-size
    Le dimensioni del disco permanente in GB.
    zone
    La zona in cui creare il disco permanente. Deve essere la stessa zona utilizzata per creare la TPU.
    type
    Il tipo di disco da aggiungere. I tipi supportati sono: 'pd-standard', 'pd-ssd' o 'pd-balanced'.
  2. Avvia una VM TPU con il disco permanente collegato o aggiungi un disco permanente a una VM TPU esistente.

    $ gcloud compute tpus tpu-vm create tpu-name \
    --project project-id \
    --zone=zone \
    --accelerator-type=v3-8 \
    --version=Cloud TPU software version \
    --data-disk source=projects/project-id/zones/zone/disks/disk-name,mode=read-write
    

    Descrizioni flag comando

    tpu-name
    Il nome che hai scelto per le risorse TPU.
    project
    Il tuo ID progetto.
    zone
    La zona in cui intendi creare la Cloud TPU.
    accelerator-type
    Il tipo di Cloud TPU da creare.
    version
    La versione software di Cloud TPU del tuo framework.
    data-disk
    Il nome e la modalità di lettura/scrittura del disco permanente da collegare alla VM TPU.
    1. Utilizza il comando seguente per aggiungere un disco permanente a una VM TPU esistente. Per ulteriori dettagli ed esempi, consulta la documentazione di gcloud.

      $ gcloud compute tpus tpu-vm attach-disk tpu-name \
       --zone=zone \
       --disk=disk-name \
       --mode=disk-mode
      

      Descrizioni flag comando

      tpu-name
      Il nome delle risorse TPU.

      zone
      La zona in cui si trova la Cloud TPU.

      disk-name
      Il nome del disco permanente da collegare alla VM TPU.

      mode
      La modalità del disco. La modalità deve essere una delle seguenti: read-only o read-write.

  3. SSH nella VM TPU

    $ gcloud compute tpus tpu-vm ssh tpu-name --zone zone
    
  4. Nella VM TPU, elenca i dischi collegati alla VM TPU:

    (vm)$ sudo lsblk
    
    NAME    MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
    loop0     7:0    0  55.5M  1 loop /snap/core18/1997
    loop1     7:1    0  67.6M  1 loop /snap/lxd/20326
    loop2     7:2    0  32.3M  1 loop /snap/snapd/11588
    loop3     7:3    0  32.1M  1 loop /snap/snapd/11841
    loop4     7:4    0  55.4M  1 loop /snap/core18/2066
    sda       8:0    0   300G  0 disk
    ├─sda1    8:1    0 299.9G  0 part /
    ├─sda14   8:14   0     4M  0 part
    └─sda15   8:15   0   106M  0 part /boot/efi
    sdb       8:16   0    10G  0 disk    # persistent disk
    

    sda è il disco di avvio della VM. Il nome del disco permanente collegato dipende dal numero di dischi permanenti collegati alla VM.

  5. Formatta il disco permanente collegato:

    (vm)$ sudo mkfs.ext4 -m 0 -E lazy_itable_init=0,lazy_journal_init=0,discard /dev/sdb
    
  6. Crea una directory per montare il disco permanente:

    (vm)$ sudo mkdir -p /mnt/disks/persist
    
  7. Monta il disco permanente:

    (vm)$ sudo mount -o discard,defaults /dev/sdb /mnt/disks/persist
  8. Imposta le autorizzazioni per il disco permanente:

    (vm)$ sudo chmod a+w /mnt/disks/persist
    
  9. Se vuoi eliminare il disco permanente quando elimini la VM TPU, devi impostare lo stato di eliminazione automatica del disco permanente utilizzando il comando seguente:

    $ gcloud alpha compute instances set-disk-auto-delete vm-instance \
     --zone=zone \
     --auto-delete \
     --disk=disk-name
    

    Descrizioni flag comando

    vm-instance
    Dopo aver eseguito l'accesso tramite SSH alla VM TPU, il prompt di Cloud Shell include un ID utente seguito da un nome di istanza VM generata (ad esempio, pjohnston@t1v-n-...$). Sostituisci vm-instance con il nome dell'istanza VM generata,
    zone
    La zona in cui si trova il disco permanente.
    auto-delete
    Elimina automaticamente il disco permanente quando vengono eliminate le risorse TPU.
    disk-name
    Un nome del tuo disco permanente.

    Se non vuoi che il disco permanente venga eliminato automaticamente, ignora questo comando. Puoi utilizzare il comando mostrato in Pulizia in qualsiasi momento per rimuovere manualmente il disco permanente.

Se la tua VM si arresta per qualsiasi motivo, il disco permanente potrebbe essere disconnesso. Consulta l'articolo Configurare il montaggio automatico al riavvio del sistema per fare in modo che il disco permanente venga montato automaticamente al riavvio della VM. Per ulteriori informazioni, consulta la sezione Modificare un disco permanente.

Esegui la pulizia

  1. Disconnettiti dall'istanza di Compute Engine, se non lo hai già fatto:

    (vm)$ exit
    

    Il tuo prompt dovrebbe ora essere username@projectname, a indicare che ti trovi in Cloud Shell.

  2. Elimina le risorse Cloud TPU e Compute Engine.

    $ gcloud compute tpus tpu-vm delete tpu-name \
     --zone=zone
    
  3. Verifica che le risorse siano state eliminate eseguendo gcloud list. L'eliminazione può richiedere alcuni minuti. L'output da gcloud list non deve mostrare alcuna risorsa VM TPU creata da questa procedura.

    VM TPU

    $ gcloud compute tpus tpu-vm list --zone=zone
    

    Nodo TPU

    $ gcloud compute tpus execution-groups list --zone zone
    
  4. Verifica che il disco permanente sia stato eliminato automaticamente quando la VM TPU è stata eliminata elencando tutti i dischi nella zona in cui hai creato il disco permanente:

    $ gcloud compute disks list --filter="zone:( us-central1-b )"
    

    Se il disco permanente non è stato eliminato quando la VM TPU è stata eliminata, utilizza i comandi seguenti per eliminarlo:

    $ gcloud compute disks delete disk-name \
    --zone zone