Elaborazione delle immagini satellitari Landsat con GPU

---

Nota: quanto segue considerazioni applicabili a questa offerta GA:

• I job che utilizzano GPU sono soggetti ad addebiti come specificato nel Pagina dei prezzi di Dataflow.
• Per utilizzare le GPU, il job Dataflow deve utilizzare Dataflow Runner v2.

Questo tutorial mostra come utilizzare le GPU in Dataflow per elaborare immagini satellitari di Landsat 8 ed eseguirne il rendering come file JPEG. Il tutorial si basa sull'esempio Elaborazione delle immagini satellitari Landsat con GPU.

Obiettivi

• Crea un'immagine Docker per Dataflow con TensorFlow compatibile con GPU.
• Eseguire un job Dataflow con le GPU.

Costi

Questo tutorial utilizza componenti fatturabili di Google Cloud, tra cui:

• Cloud Storage
• Dataflow
• Artifact Registry

Utilizza il Calcolatore prezzi per generare una stima dei costi in base all'utilizzo previsto.

Prima di iniziare

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
2. Installa Google Cloud CLI.

3. Per initialize gcloud CLI, esegui questo comando:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

6. Abilita le API Dataflow, Cloud Build, and Artifact Registry.

   gcloud services enable dataflow cloudbuild.googleapis.com artifactregistry.googleapis.com

7. Crea credenziali di autenticazione locali per il tuo Account Google:

   gcloud auth application-default login

8. Concedi i ruoli al tuo Account Google. Esegui questo comando una volta per ciascuno dei seguenti ruoli IAM: roles/iam.serviceAccountUser

   gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE

   • Sostituisci PROJECT_ID con l'ID progetto.
   • Sostituisci EMAIL_ADDRESS con il tuo indirizzo email.
   • Sostituisci ROLE con ogni singolo ruolo.
9. Installa Google Cloud CLI.

10. Per initialize gcloud CLI, esegui questo comando:

    gcloud init

11. Create or select a Google Cloud project.

    Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

12. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

13. Abilita le API Dataflow, Cloud Build, and Artifact Registry.

    gcloud services enable dataflow cloudbuild.googleapis.com artifactregistry.googleapis.com

14. Crea credenziali di autenticazione locali per il tuo Account Google:

    gcloud auth application-default login

15. Concedi i ruoli al tuo Account Google. Esegui questo comando una volta per ciascuno dei seguenti ruoli IAM: roles/iam.serviceAccountUser

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE

    • Sostituisci PROJECT_ID con l'ID progetto.
    • Sostituisci EMAIL_ADDRESS con il tuo indirizzo email.
    • Sostituisci ROLE con ogni singolo ruolo.

16. Concedi ruoli al tuo account di servizio predefinito Compute Engine. Esegui il comando seguente una volta per ciascuno dei seguenti ruoli IAM: roles/dataflow.admin, roles/dataflow.worker, roles/bigquery.dataEditor roles/pubsub.editor roles/storage.objectAdmin e roles/artifactregistry.reader.

    gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:[e-mail]" --role=SERVICE_ACCOUNT_ROLE

    • Sostituisci PROJECT_ID con l'ID progetto.
    • Sostituisci PROJECT_NUMBER con il numero del tuo progetto. Per trovare il numero del progetto, consulta Identificare i progetti.
    • Sostituisci SERVICE_ACCOUNT_ROLE con ogni singolo ruolo.
17. Per archiviare i file di immagine JPEG di output da questo tutorial, crea un'immagine Bucket Cloud Storage:
    1. Nella console Google Cloud, vai alla pagina Bucket di Cloud Storage.

       Vai alla pagina Bucket

    2. Fai clic su Crea bucket.
    3. Nella pagina Crea un bucket, inserisci le informazioni del bucket. Per andare al passaggio successivo, fai clic su Continua.
       • In Assegna un nome al bucket, inserisci un nome univoco per il bucket. Non includere informazioni sensibili nel nome del bucket, poiché lo spazio dei nomi dei bucket è globale e visibile pubblicamente.
       • Per Scegli dove archiviare i tuoi dati, segui questi passaggi:
         • Seleziona un'opzione Tipo di località.
         • Seleziona un'opzione Località.
       • Per Scegli una classe di archiviazione predefinita per i dati, seleziona quanto segue: Standard.
       • Per Scegli come controllare l'accesso agli oggetti, seleziona un'opzione Controllo dell'accesso.
       • In Impostazioni avanzate (facoltative), specifica un metodo di crittografia, un criterio di conservazione o le etichette dei bucket.
    4. Fai clic su Crea.

Preparare l'ambiente di lavoro

Scarica i file di base, quindi crea il tuo repository Artifact Registry.

Scarica i file di base

Scarica i file di base e poi cambia le directory.

1. Clona il repository python-docs-samples.

   git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git
   

2. Vai al codice campione Google Cloud.

   cd python-docs-samples/dataflow/gpu-examples/tensorflow-landsat
   

Configura Artifact Registry

Crea un repository Artifact Registry in modo da poter caricare gli artefatti. Ciascuna un repository può contenere artefatti per un singolo formato supportato.

Tutti i contenuti del repository vengono criptati utilizzando chiavi di proprietà e gestite da Google oppure gestite dal cliente. Artifact Registry utilizza Chiavi di proprietà di Google e gestite da Google per impostazione predefinita e non è richiesta alcuna configurazione per questa opzione.

Devi avere almeno Accesso in Writer ad Artifact Registry nel repository.

Esegui questo comando per creare un nuovo repository. Il comando utilizza --async e restituisce immediatamente, senza attendere l'operazione tra l'avanzamento da completare.

gcloud artifacts repositories create REPOSITORY \
    --repository-format=docker \
    --location=LOCATION \
    --async

Sostituisci REPOSITORY con un nome per il repository. Per ogni posizione del repository in un progetto, i nomi dei repository devono essere univoci.

Prima di eseguire il push o il pull delle immagini, configura Docker per autenticare le richieste per Artifact Registry. Per configurare l'autenticazione nei repository Docker, esegui il seguente comando:

gcloud auth configure-docker LOCATION-docker.pkg.dev

Il comando aggiorna la configurazione Docker. Ora puoi connetterti a Artifact Registry nel tuo progetto Google Cloud per eseguire il push delle immagini.

crea l'immagine Docker

Cloud Build ti consente di creare un'immagine Docker utilizzando un Dockerfile e salvare in Artifact Registry, dove l'immagine è accessibile ad altri Google Cloud.

Crea l'immagine container utilizzando build.yaml di configurazione del deployment.

gcloud builds submit --config build.yaml

Esegui il job Dataflow con le GPU

Il seguente blocco di codice mostra come avviare questo Dataflow una pipeline con GPU.

Eseguiamo la pipeline Dataflow utilizzando run.yaml di configurazione del deployment.

Nota: avviamo il job utilizzando l'immagine container per assicurarci che venga avviato con la stessa versione Python dei worker e con tutte le dipendenze installate.

export PROJECT=PROJECT_NAME
export BUCKET=BUCKET_NAME

export JOB_NAME="satellite-images-$(date +%Y%m%d-%H%M%S)"
export OUTPUT_PATH="gs://$BUCKET/samples/dataflow/landsat/output-images/"
export REGION="us-central1"
export GPU_TYPE="nvidia-tesla-t4"

gcloud builds submit \
    --config run.yaml \
    --substitutions _JOB_NAME=$JOB_NAME,_OUTPUT_PATH=$OUTPUT_PATH,_REGION=$REGION,_GPU_TYPE=$GPU_TYPE \
    --no-source

Sostituisci quanto segue:

• PROJECT_NAME: il nome del progetto Google Cloud
• BUCKET_NAME: il nome del bucket Cloud Storage (senza il prefisso gs://)

Dopo aver eseguito questa pipeline, attendi il completamento del comando. Se esci dalla potresti perdere le variabili di ambiente che hai impostato.

Per evitare di condividere la GPU tra più processi worker, questo esempio utilizza un con 1 vCPU. Vengono gestiti i requisiti di memoria della pipeline. utilizzando 13 GB di memoria estesa. Per ulteriori informazioni, consulta GPU e parallelismo dei worker.

Visualizza i tuoi risultati

La pipeline in tensorflow-landsat/main.py elabora le immagini satellitari di Landsat 8 come file JPEG. Per visualizzare questi file:

1. Elenca i file JPEG di output con i dettagli per utilizzando Google Cloud CLI.

   gcloud storage ls "gs://$BUCKET/samples/dataflow/landsat/" --long --readable-sizes
   

2. Copia i file nella tua directory locale.

   mkdir outputs
   gcloud storage cp "gs://$BUCKET/samples/dataflow/landsat/*" outputs/
   

3. Apri questi file immagine con il visualizzatore di immagini che preferisci.

Esegui la pulizia

Per evitare che al tuo Account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione creato per il tutorial.

Per eliminare il progetto:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività in questo documento, quando lo elimini elimini anche qualsiasi altro lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

Passaggi successivi

• Guarda un esempio minimo di TensorFlow abilitato per GPU
• Guarda un esempio minimo di PyTorch abilitato per GPU
• Scopri di più sul supporto delle GPU su Dataflow.
• Esamina le attività per l'utilizzo delle GPU.
• Esplora le architetture di riferimento, i diagrammi e le best practice su Google Cloud. Dai un'occhiata al nostro Centro architetture cloud.