Créer et exécuter un exemple de job

Découvrez comment créer et exécuter un exemple de job de transcodage vidéo sur Batch.

Pour obtenir des instructions détaillées sur cette tâche directement dans la console Google Cloud, cliquez sur Visite guidée :

Visite guidée

Avant de commencer

  1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
  2. Installez Google Cloud CLI.

  3. Pour initialiser gcloudCLI, exécutez la commande suivante : 

    gcloud init

  4. Créez ou sélectionnez un projet Google Cloud.

    • Créez un projet Google Cloud :

      gcloud projects create PROJECT_ID

      Remplacez PROJECT_ID par le nom du projet Google Cloud que vous créez.

    • Sélectionnez le projet Google Cloud que vous avez créé :

      gcloud config set project PROJECT_ID

      Remplacez PROJECT_ID par le nom de votre projet Google Cloud.

  5. Vérifiez que la facturation est activée pour votre projet Google Cloud.

  6. Activer les API Batch, Compute Engine, Logging and Cloud Storage : 

    gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com storage.googleapis.com
    7.
  7. Installez Google Cloud CLI.

  8. Pour initialiser gcloudCLI, exécutez la commande suivante : 

    gcloud init

  9. Créez ou sélectionnez un projet Google Cloud.

    • Créez un projet Google Cloud :

      gcloud projects create PROJECT_ID

      Remplacez PROJECT_ID par le nom du projet Google Cloud que vous créez.

    • Sélectionnez le projet Google Cloud que vous avez créé :

      gcloud config set project PROJECT_ID

      Remplacez PROJECT_ID par le nom de votre projet Google Cloud.

  10. Vérifiez que la facturation est activée pour votre projet Google Cloud.

  11. Activer les API Batch, Compute Engine, Logging and Cloud Storage : 

    gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com storage.googleapis.com
    12.

  12. Assurez-vous que vous et le compte de service du job disposez des autorisations requises pour suivre ce tutoriel. Ce tutoriel utilise le compte de service par défaut pour une tâche, qui est le compte de service Compute Engine par défaut.

    • Pour obtenir les autorisations nécessaires pour suivre ce tutoriel, demandez à votre administrateur de vous attribuer les rôles IAM suivants:

      Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

      Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

    • Pour vous assurer que le compte de service Compute Engine par défaut dispose des autorisations nécessaires pour suivre ce tutoriel, demandez à votre administrateur d'attribuer au compte de service Compute Engine par défaut les rôles IAM suivants:

  13. Clonez le dépôt git Batch dans le répertoire actuel: 
    git clone https://github.com/GoogleCloudPlatform/batch-samples.git
  14. Accédez au répertoire transcoding : 
    cd batch-samples/transcoding/

Préparer les entrées du job

  1. Créez un bucket Cloud Storage :

    gcloud storage buckets create gs://BUCKET_NAME

    Remplacez BUCKET_NAME par un nom unique pour le bucket.

    Le résultat ressemble à ce qui suit :

    Creating gs://BUCKET_NAME/...

  2. Copiez le script transcode.sh et le dossier contenant les fichiers vidéo dans votre bucket Cloud Storage:

    gcloud storage cp -R transcode.sh input gs://BUCKET_NAME

    Le résultat ressemble à ce qui suit :

    Copying file://transcode.sh to gs://BUCKET_NAME/transcode.sh
Copying file://input/video-2.mp4 to gs://BUCKET_NAME/input/video-2.mp4
Copying file://input/video-1.mp4 to gs://BUCKET_NAME/input/video-1.mp4
Copying file://input/video-0.mp4 to gs://BUCKET_NAME/input/video-0.mp4
  Completed files 4/4 | 37.5MiB/37.5MiB

Average throughput: 48.4MiB/s

Créer un job

  1. Dans l'éditeur de texte de votre choix, ouvrez le fichier de configuration job.json.

  2. Définissez la valeur du champ remotePath sur le nom de votre bucket Cloud Storage:

    {
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "bash /mnt/share/transcode.sh"
            }
          }
        ],
        "computeResource": {
          "cpuMilli": 2000,
          "memoryMib": 2048
        },
        "volumes": [
          {
            "gcs": {
              "remotePath": "BUCKET_NAME"
            },
            "mountPath": "/mnt/share"
          }
        ],
        "maxRetryCount": 2,
        "maxRunDuration": "600s"
      },
      "taskCount": 3,
      "parallelism": 3
    }
  ],
  "allocationPolicy": {
    "instances": [
      {
        "policy": {
          "machineType": "n2d-standard-4",
          "provisioningModel": "SPOT"
        }
      }
    ]
  },
  "labels": {
    "department": "creative",
    "env": "testing"
  },
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}

  3. Enregistrez les modifications et fermez l'éditeur de texte.

  4. Créez la tâche transcode:

    gcloud batch jobs submit transcode \
    --config=job.json \
    --location=us-central1

    Le résultat ressemble à ce qui suit :

    Job transcode-7a1654ca-211c-40e8-b0fb-8a00 was successfully submitted.
...

    Le job exécute trois tâches simultanément. Chaque tâche exécute le script transcode.sh, qui encode l'un des trois fichiers vidéo et l'importe dans le bucket Cloud Storage.

Surveiller la tâche

  1. Dans la console Google Cloud, accédez à la page Liste des tâches.

    Accéder à la liste des jobs

  2. Dans la colonne Job name (Nom de la tâche), cliquez sur transcode (transcoder).

    La page "Job Details" (informations sur le job) s'ouvre alors.

  3. Cliquez sur l'onglet Événements.

    Dans la section Liste des événements, vous pouvez surveiller l'état de la tâche transcode. Le temps nécessaire à la mise en file d'attente, à la planification et à l'exécution d'un job varie en fonction de plusieurs facteurs. Pour cet exemple, la tâche devrait être entièrement terminée en cinq minutes environ.

  4. Facultatif: Pour mettre à jour la page, cliquez sur Actualiser.

Avant de passer à l'étape suivante, assurez-vous que l'état de la tâche est défini sur Succeeded (Réussie). Si votre tâche échoue, consultez plutôt la section Dépannage.

Afficher les vidéos encodées

  1. Dans la console Google Cloud, accédez à la page Buckets.

    Accéder à la page "Buckets"

  2. Dans la colonne Nom, cliquez sur BUCKET_NAME.

    La page Informations sur le bucket s'ouvre.

  3. Dans la colonne Nom, cliquez sur output/, puis sur l'un des fichiers vidéo encodés.

    La page Détails de l'objet s'affiche.

  4. Pour afficher la vidéo encodée, cliquez sur Aperçu, puis sur Lecture.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page ne soient facturées sur votre compte Google Cloud, supprimez le projet Google Cloud contenant les ressources.

Supprimer le projet

Le moyen le plus simple d'empêcher la facturation est de supprimer le projet que vous avez utilisé dans ce tutoriel.

Supprimez un projet Google Cloud :

gcloud projects delete PROJECT_ID

Supprimer des ressources individuelles

Si vous souhaitez continuer à utiliser le projet actuel, supprimez les ressources individuelles utilisées dans ce tutoriel.

Supprimer le job

Une fois l'exécution du job par lot terminée, supprimez le job transcode:

gcloud batch jobs delete transcode \
    --location=us-central1

Le résultat ressemble à ce qui suit :

Job projects/example-project/locations/us-central1/jobs/transcode deletion is in progress

La suppression d'un job entraîne également la suppression de ses détails et de son historique. Les journaux de la tâche sont automatiquement supprimés à la fin de la durée de conservation des journaux Cloud Logging.

Supprimer le bucket

Si vous n'avez plus besoin du bucket Cloud Storage utilisé dans ce tutoriel ni de son contenu, supprimez-le:

gcloud storage rm gs://BUCKET_NAME \
    --recursive

Le résultat ressemble à ce qui suit :

Removing objects:
Removing gs://BUCKET_NAME/input/video-0.mp4#1694788495332395...
Removing gs://BUCKET_NAME/input/video-2.mp4#1694788495296173...
Removing gs://BUCKET_NAME/input/video-1.mp4#1694788495228839...
Removing gs://BUCKET_NAME/output/video-0.mp4#1694788495332395...
Removing gs://BUCKET_NAME/output/video-2.mp4#1694788495296173...
Removing gs://BUCKET_NAME/output/video-1.mp4#1694788495228839...
Removing gs://BUCKET_NAME/transcode.sh#1694788495039427...
  Completed 4/4
Removing Buckets:
Removing gs://BUCKET_NAME/...
  Completed 1/1

Supprimer le dépôt Git

Si vous n'avez plus besoin du dépôt Git Batch que vous avez cloné pour ce tutoriel, vous pouvez le supprimer:

cd ../../ && rm -rf batch-samples

Étapes suivantes