Crea ed esegui un job di esempio

Crea ed esegui un job di esempio

Scopri come creare ed eseguire un job di transcodifica video di esempio su Batch.

---

Per seguire le indicazioni dettagliate per questa attività direttamente nella console Google Cloud, fai clic su Aiuto:

Guidami

---

Prima di iniziare

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
2. Installa Google Cloud CLI.

3. Per initialize gcloud CLI, esegui questo comando:

   gcloud init

4. Crea o seleziona un progetto Google Cloud.

   Nota: se non prevedi di conservare le risorse create in questa procedura, crea un progetto anziché selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto, rimuovendo tutte le risorse associate.

   • Crea un progetto Google Cloud:

     gcloud projects create PROJECT_ID

     Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

   • Seleziona il progetto Google Cloud che hai creato:

     gcloud config set project PROJECT_ID

     Sostituisci PROJECT_ID con il nome del tuo progetto Google Cloud.

5. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

6. Abilita le API Batch, Compute Engine, Logging and Cloud Storage.

   gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com storage.googleapis.com

7. Installa Google Cloud CLI.

8. Per initialize gcloud CLI, esegui questo comando:

   gcloud init

9. Crea o seleziona un progetto Google Cloud.

   Nota: se non prevedi di conservare le risorse create in questa procedura, crea un progetto anziché selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto, rimuovendo tutte le risorse associate.

   • Crea un progetto Google Cloud:

     gcloud projects create PROJECT_ID

     Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

   • Seleziona il progetto Google Cloud che hai creato:

     gcloud config set project PROJECT_ID

     Sostituisci PROJECT_ID con il nome del tuo progetto Google Cloud.

10. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

11. Abilita le API Batch, Compute Engine, Logging and Cloud Storage.

    gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com storage.googleapis.com

12. Assicurati che tu e l'account di servizio del job disponga delle autorizzazioni necessarie per completare questo tutorial. Questo tutorial utilizza l'account di servizio predefinito per un job, ovvero l'account di servizio predefinito di Compute Engine.

    Nota: se hai creato un nuovo progetto, questo passaggio non è obbligatorio:

    • In qualità di creatore del progetto, ti viene concesso automaticamente il ruolo IAM Proprietario (roles/owner), che dispone già di tutte le autorizzazioni necessarie per questo tutorial.
    • In un nuovo progetto, all'account di servizio predefinito di Compute Engine viene concesso automaticamente il ruolo Editor (roles/editor), che dispone già di tutte le autorizzazioni necessarie per questo tutorial.

    • Per ottenere le autorizzazioni necessarie per completare questo tutorial, chiedi all'amministratore di concederti i seguenti ruoli IAM:

      • Per creare, visualizzare ed eliminare job:
        • Editor job batch (roles/batch.jobsEditor) sul progetto
        • Utente account di servizio (roles/iam.serviceAccountUser) nell'account di servizio predefinito di Compute Engine
      • Per creare, visualizzare ed eliminare i bucket Cloud Storage: Amministratore Storage (roles/storage.admin) sul progetto
      • Per visualizzare i log dai job: Visualizzatore log (roles/logging.viewer) sul progetto

      Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

      Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

    • Per assicurarti che l'account di servizio predefinito di Compute Engine disponga delle autorizzazioni necessarie per completare questo tutorial, chiedi all'amministratore di concedere all'account di servizio predefinito di Compute Engine i seguenti ruoli IAM:

      • Reporter agente batch (roles/batch.agentReporter) sul progetto
      • Per consentire ai job di accedere ai bucket Cloud Storage: Amministratore Storage (roles/storage.admin) sul progetto
      • Per consentire ai job di generare log in Logging: Writer log (roles/logging.logWriter) sul progetto

13. Clona il repository Git in batch nella directory attuale:

    git clone https://github.com/GoogleCloudPlatform/batch-samples.git
    

14. Vai alla directory transcoding:

    cd batch-samples/transcoding/
    

Prepara gli input del job

1. Crea un bucket Cloud Storage:

   gcloud storage buckets create gs://BUCKET_NAME
   

   Sostituisci BUCKET_NAME con un nome globalmente univoco per il bucket.

   Attenzione: non includere informazioni sensibili in un nome del bucket Cloud Storage. Il nome di un bucket è globale e visibile pubblicamente.

   L'output è simile al seguente:

   Creating gs://BUCKET_NAME/...
   

2. Copia lo script transcode.sh e la cartella contenente i file video nel tuo bucket Cloud Storage:

   gcloud storage cp -R transcode.sh input gs://BUCKET_NAME
   

   L'output è simile al seguente:

   Copying file://transcode.sh to gs://BUCKET_NAME/transcode.sh
   Copying file://input/video-2.mp4 to gs://BUCKET_NAME/input/video-2.mp4
   Copying file://input/video-1.mp4 to gs://BUCKET_NAME/input/video-1.mp4
   Copying file://input/video-0.mp4 to gs://BUCKET_NAME/input/video-0.mp4
     Completed files 4/4 | 37.5MiB/37.5MiB
   
   Average throughput: 48.4MiB/s
   

Crea un job

1. In un editor di testo di tua scelta, apri il file di configurazione job.json.

2. Imposta il valore del campo remotePath sul nome del tuo bucket Cloud Storage:

   {
     "taskGroups": [
       {
         "taskSpec": {
           "runnables": [
             {
               "script": {
                 "text": "bash /mnt/share/transcode.sh"
               }
             }
           ],
           "computeResource": {
             "cpuMilli": 2000,
             "memoryMib": 2048
           },
           "volumes": [
             {
               "gcs": {
                 "remotePath": "BUCKET_NAME"
               },
               "mountPath": "/mnt/share"
             }
           ],
           "maxRetryCount": 2,
           "maxRunDuration": "600s"
         },
         "taskCount": 3,
         "parallelism": 3
       }
     ],
     "allocationPolicy": {
       "instances": [
         {
           "policy": {
             "machineType": "n2d-standard-4",
             "provisioningModel": "SPOT"
           }
         }
       ]
     },
     "labels": {
       "department": "creative",
       "env": "testing"
     },
     "logsPolicy": {
       "destination": "CLOUD_LOGGING"
     }
   }
   

3. Salva le modifiche e chiudi l'editor di testo.

4. Crea il job transcode:

   gcloud batch jobs submit transcode \
       --config=job.json \
       --location=us-central1
   

   L'output è simile al seguente:

   Job transcode-7a1654ca-211c-40e8-b0fb-8a00 was successfully submitted.
   ...
   

   Il job esegue 3 attività contemporaneamente. Ogni attività esegue lo script transcode.sh, che codifica 1 dei 3 file video e lo carica nel bucket Cloud Storage.

Monitora il job

1. Nella console Google Cloud, vai alla pagina Elenco job.

   Vai all'elenco dei job

2. Nella colonna Nome job, fai clic su transcodifica.

   Si apre la pagina Dettagli job.

3. Fai clic sulla scheda Eventi.

   Nella sezione Elenco eventi puoi monitorare lo stato del job transcode. Il tempo impiegato dal job per completare le fasi di inserimento in coda, pianificazione ed esecuzione varia in base a diversi fattori. Per questo esempio, il job può essere completato entro circa 5 minuti.

4. (Facoltativo) Per aggiornare la pagina, fai clic su Aggiorna.

Prima di procedere con il passaggio successivo, assicurati che lo stato del job sia impostato su Riuscito. Se il job non riesce, consulta la sezione Risoluzione dei problemi.

Visualizza i video codificati

1. Nella console Google Cloud, vai alla pagina Bucket.

   Vai a Bucket

2. Nella colonna Nome, fai clic su BUCKET_NAME.

   Viene visualizzata la pagina Dettagli bucket.

3. Nella colonna Nome, fai clic su output/, quindi fai clic su uno dei file video codificati.

   Viene visualizzata la pagina Dettagli oggetto.

4. Per visualizzare il video codificato, fai clic su Anteprima, quindi su Riproduci.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, elimina il progetto Google Cloud con le risorse.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto utilizzato in questo tutorial.

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività in questo documento, quando lo elimini elimini anche qualsiasi altro lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

Elimina un progetto Google Cloud:

gcloud projects delete PROJECT_ID

Elimina singole risorse

Se vuoi continuare a utilizzare il progetto attuale, elimina le singole risorse utilizzate in questo tutorial.

Elimina il job

Al termine dell'esecuzione del job batch, elimina il job transcode:

gcloud batch jobs delete transcode \
    --location=us-central1

L'output è simile al seguente:

Job projects/example-project/locations/us-central1/jobs/transcode deletion is in progress

L'eliminazione di un job comporta anche l'eliminazione dei relativi dettagli e della relativa cronologia. I log del job vengono eliminati automaticamente al termine del periodo di conservazione dei log di Cloud Logging.

Elimina il bucket

Se non hai più bisogno del bucket Cloud Storage utilizzato in questo tutorial e dei suoi contenuti, elimina il bucket:

gcloud storage rm gs://BUCKET_NAME \
    --recursive

L'output è simile al seguente:

Removing objects:
Removing gs://BUCKET_NAME/input/video-0.mp4#1694788495332395...
Removing gs://BUCKET_NAME/input/video-2.mp4#1694788495296173...
Removing gs://BUCKET_NAME/input/video-1.mp4#1694788495228839...
Removing gs://BUCKET_NAME/output/video-0.mp4#1694788495332395...
Removing gs://BUCKET_NAME/output/video-2.mp4#1694788495296173...
Removing gs://BUCKET_NAME/output/video-1.mp4#1694788495228839...
Removing gs://BUCKET_NAME/transcode.sh#1694788495039427...
  Completed 4/4
Removing Buckets:
Removing gs://BUCKET_NAME/...
  Completed 1/1

Elimina il repository Git

Se non ti serve più il repository Git in batch che hai clonato per questo tutorial, puoi eliminarlo:

cd ../../ && rm -rf batch-samples

Passaggi successivi

• Scopri come iniziare a utilizzare Batch.

• Scopri di più sulla creazione ed esecuzione dei job.