Beispieljob erstellen und ausführen

Beispieljob erstellen und ausführen

Hier erfährst du, wie du einen Beispieljob zur Videotranscodierung in Batch erstellst und ausführst.

---

Klicken Sie auf Anleitung, um eine detaillierte Anleitung für diese Aufgabe direkt in der Google Cloud Console aufzurufen:

Anleitung

---

Hinweise

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Batch, Compute Engine, Logging and Cloud Storage APIs:

   gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com storage.googleapis.com

7. Install the Google Cloud CLI.

8. To initialize the gcloud CLI, run the following command:

   gcloud init

9. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

10. Make sure that billing is enabled for your Google Cloud project.

11. Enable the Batch, Compute Engine, Logging and Cloud Storage APIs:

    gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com storage.googleapis.com

12. Achten Sie darauf, dass Sie und das Dienstkonto des Jobs die erforderlichen Berechtigungen haben, um diese Anleitung abzuschließen. In dieser Anleitung wird das Compute Engine-Standarddienstkonto als Standarddienstkonto für einen Job verwendet.

    Hinweis: Wenn Sie ein neues Projekt erstellt haben, ist dieser Schritt nicht erforderlich:

    • Als Projektersteller erhalten Sie automatisch die IAM-Rolle „Inhaber“ (roles/owner), die bereits alle für diese Anleitung erforderlichen Berechtigungen enthält.
    • In einem neuen Projekt wird dem Compute Engine-Standarddienstkonto automatisch die Rolle „Bearbeiter“ (roles/editor) zugewiesen. Diese Rolle hat bereits alle Berechtigungen, die für diese Anleitung erforderlich sind.

    • Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen dieser Anleitung benötigen:

      • So erstellen, ansehen und löschen Sie Jobs:
        • Batch-Job-Bearbeiter (roles/batch.jobsEditor) für das Projekt
        • Dienstkontonutzer (roles/iam.serviceAccountUser) für das standardmäßige Compute Engine-Dienstkonto
      • So erstellen, rufen Sie auf und löschen Sie Cloud Storage-Buckets: Storage-Administrator (roles/storage.admin) für das Projekt
      • So rufen Sie Logs von Jobs auf: Logbetrachter (roles/logging.viewer) für das Projekt

      Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

      Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

    • Damit das Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen zum Ausführen dieser Anleitung hat, bitten Sie Ihren Administrator, dem Compute Engine-Standarddienstkonto die folgenden IAM-Rollen zuzuweisen:

      • Batch-Agent-Melder (roles/batch.agentReporter) für das Projekt
      • So gewähren Sie Jobs Zugriff auf Cloud Storage-Buckets: Storage-Administrator (roles/storage.admin) für das Projekt
      • Damit Jobs Logs in Logging generieren können: Logautor (roles/logging.logWriter) für das Projekt

13. Klonen Sie das Batch-Git-Repository in das aktuelle Verzeichnis:

    git clone https://github.com/GoogleCloudPlatform/batch-samples.git

14. Wechseln Sie in das Verzeichnis transcoding:

    cd batch-samples/transcoding/

Jobeingaben vorbereiten

1. Erstellen Sie einen Cloud Storage-Bucket:

   gcloud storage buckets create gs://BUCKET_NAME
   

   Ersetzen Sie BUCKET_NAME durch einen global eindeutigen Namen für den Bucket.

   Achtung: Der Name eines Cloud Storage-Buckets darf keine vertraulichen Informationen enthalten. Ein Bucket-Name ist global und öffentlich sichtbar.

   Die Ausgabe sieht in etwa so aus:

   Creating gs://BUCKET_NAME/...
   

2. Kopieren Sie das transcode.sh-Script und den Ordner mit den Videodateien in Ihren Cloud Storage-Bucket:

   gcloud storage cp -R transcode.sh input gs://BUCKET_NAME
   

   Die Ausgabe sieht in etwa so aus:

   Copying file://transcode.sh to gs://BUCKET_NAME/transcode.sh
   Copying file://input/video-2.mp4 to gs://BUCKET_NAME/input/video-2.mp4
   Copying file://input/video-1.mp4 to gs://BUCKET_NAME/input/video-1.mp4
   Copying file://input/video-0.mp4 to gs://BUCKET_NAME/input/video-0.mp4
     Completed files 4/4 | 37.5MiB/37.5MiB
   
   Average throughput: 48.4MiB/s
   

Job erstellen

1. Öffnen Sie die Konfigurationsdatei job.json in einem Texteditor Ihrer Wahl.

2. Legen Sie den Wert des Felds remotePath auf den Namen Ihres Cloud Storage-Bucket fest:

   {
     "taskGroups": [
       {
         "taskSpec": {
           "runnables": [
             {
               "script": {
                 "text": "bash /mnt/share/transcode.sh"
               }
             }
           ],
           "computeResource": {
             "cpuMilli": 2000,
             "memoryMib": 2048
           },
           "volumes": [
             {
               "gcs": {
                 "remotePath": "BUCKET_NAME"
               },
               "mountPath": "/mnt/share"
             }
           ],
           "maxRetryCount": 2,
           "maxRunDuration": "600s"
         },
         "taskCount": 3,
         "parallelism": 3
       }
     ],
     "allocationPolicy": {
       "instances": [
         {
           "policy": {
             "machineType": "n2d-standard-4",
             "provisioningModel": "SPOT"
           }
         }
       ]
     },
     "labels": {
       "department": "creative",
       "env": "testing"
     },
     "logsPolicy": {
       "destination": "CLOUD_LOGGING"
     }
   }
   

3. Speichern Sie die Änderungen und schließen Sie den Texteditor.

4. Erstellen Sie den transcode-Job:

   gcloud batch jobs submit transcode \
       --config=job.json \
       --location=us-central1
   

   Die Ausgabe sieht in etwa so aus:

   Job transcode-7a1654ca-211c-40e8-b0fb-8a00 was successfully submitted.
   ...
   

   Der Job führt drei Aufgaben gleichzeitig aus. Jede Aufgabe führt das Skript transcode.sh aus, das eine von drei Videodateien codiert und in den Cloud Storage-Bucket hochlädt.

Job überwachen

1. Rufen Sie in der Google Cloud -Console die Seite Aufgabenliste auf.

   Jobliste aufrufen

2. Klicke in der Spalte Jobname auf Transcodieren.

   Die Seite Jobdetails wird aufgerufen.

3. Klicken Sie auf den Tab Events (Ereignisse).

   Im Abschnitt Ereignisliste können Sie den Status des transcode-Jobs überwachen. Wie lange es dauert, bis ein Job in die Warteschlange gestellt, geplant und ausgeführt wird, hängt von mehreren Faktoren ab. In diesem Beispiel können Sie davon ausgehen, dass der gesamte Job in etwa 5 Minuten abgeschlossen ist.

4. Optional: Klicken Sie auf Aktualisieren, um die Seite zu aktualisieren.

Bevor Sie mit dem nächsten Schritt fortfahren, prüfen Sie, ob der Status des Jobs auf Erfolgreich gesetzt ist. Wenn der Job fehlschlägt, lesen Sie stattdessen die Informationen unter Fehlerbehebung.

Codierte Videos ansehen

1. Rufen Sie in der Google Cloud -Konsole die Seite Buckets auf.

   Buckets aufrufen

2. Klicken Sie in der Spalte Name auf BUCKET_NAME.

   Die Seite Bucket-Details wird geöffnet.

3. Klicken Sie in der Spalte Name auf output/ und dann auf eine der codierten Videodateien.

   Die Seite Objektdetails wird geöffnet.

4. Wenn Sie sich das codierte Video ansehen möchten, klicken Sie auf Vorschau und dann auf Wiedergabe.

Bereinigen

Löschen Sie das Google Cloud -Projekt mit den Ressourcen, damit Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen nicht in Rechnung gestellt werden.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für diese Anleitung erstellten Projekts.

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

Einzelne Ressourcen löschen

Wenn Sie das aktuelle Projekt weiter verwenden möchten, löschen Sie die einzelnen Ressourcen, die in dieser Anleitung verwendet wurden.

Job löschen

Löschen Sie den transcode-Job, nachdem der Batchjob abgeschlossen ist:

gcloud batch jobs delete transcode \
    --location=us-central1

Die Ausgabe sieht in etwa so aus:

Job projects/example-project/locations/us-central1/jobs/transcode deletion is in progress

Wenn Sie einen Job löschen, werden auch die Details und der Verlauf des Jobs gelöscht. Die Logs des Jobs werden am Ende der Aufbewahrungsdauer für Cloud Logging-Logs automatisch gelöscht.

Bucket löschen

Wenn Sie den in dieser Anleitung verwendeten Cloud Storage-Bucket und seinen Inhalt nicht mehr benötigen, löschen Sie den Bucket:

gcloud storage rm gs://BUCKET_NAME \
    --recursive

Die Ausgabe sieht in etwa so aus:

Removing objects:
Removing gs://BUCKET_NAME/input/video-0.mp4#1694788495332395...
Removing gs://BUCKET_NAME/input/video-2.mp4#1694788495296173...
Removing gs://BUCKET_NAME/input/video-1.mp4#1694788495228839...
Removing gs://BUCKET_NAME/output/video-0.mp4#1694788495332395...
Removing gs://BUCKET_NAME/output/video-2.mp4#1694788495296173...
Removing gs://BUCKET_NAME/output/video-1.mp4#1694788495228839...
Removing gs://BUCKET_NAME/transcode.sh#1694788495039427...
  Completed 4/4
Removing Buckets:
Removing gs://BUCKET_NAME/...
  Completed 1/1

Git-Repository löschen

Wenn Sie das Batch-Git-Repository, das Sie für diese Anleitung geklont haben, nicht mehr benötigen, können Sie es löschen:

cd ../../ && rm -rf batch-samples

Nächste Schritte

• Weitere Informationen zum Einstieg in Batch

• Weitere Informationen zum Erstellen und Ausführen von Jobs