Membuat dan menjalankan tugas contoh

Pelajari cara membuat dan menjalankan contoh tugas transcoding video di Batch.


Jika ingin mengikuti panduan langkah demi langkah untuk tugas ini langsung di Konsol Google Cloud, klik Pandu saya:

Pandu saya


Sebelum memulai

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. Install the Google Cloud CLI.
  3. To initialize the gcloud CLI, run the following command:

    gcloud init
  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Batch, Compute Engine, Logging and Cloud Storage APIs:

    gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com storage.googleapis.com
  7. Install the Google Cloud CLI.
  8. To initialize the gcloud CLI, run the following command:

    gcloud init
  9. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  10. Make sure that billing is enabled for your Google Cloud project.

  11. Enable the Batch, Compute Engine, Logging and Cloud Storage APIs:

    gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com storage.googleapis.com
  12. Pastikan Anda dan akun layanan tugas memiliki izin yang diperlukan untuk menyelesaikan tutorial ini. Tutorial ini menggunakan akun layanan default untuk tugas, yaitu akun layanan default Compute Engine.

    • Untuk mendapatkan izin yang Anda perlukan untuk menyelesaikan tutorial ini, minta administrator untuk memberi Anda peran IAM berikut:

      • Untuk membuat, melihat, dan menghapus tugas:
      • Untuk membuat, melihat, dan menghapus bucket Cloud Storage: Storage Admin (roles/storage.admin) di project
      • Untuk melihat log dari tugas: Logs Viewer (roles/logging.viewer) di project

      Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

      Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

    • Untuk memastikan bahwa akun layanan default Compute Engine memiliki izin yang diperlukan untuk menyelesaikan tutorial ini, minta administrator untuk memberikan akun layanan default Compute Engine peran IAM berikut:

      • Batch Agent Reporter (roles/batch.agentReporter) di project
      • Untuk mengizinkan tugas mengakses bucket Cloud Storage: Storage Admin (roles/storage.admin) di project
      • Agar tugas dapat membuat log di Logging: Logs Writer (roles/logging.logWriter) di project

  13. Clone Batch git repositori ke direktori saat ini:
    git clone https://github.com/GoogleCloudPlatform/batch-samples.git
  14. Buka direktori transcoding:
    cd batch-samples/transcoding/

Menyiapkan input tugas

  1. Membuat bucket Cloud Storage:

    gcloud storage buckets create gs://BUCKET_NAME
    

    Ganti BUCKET_NAME dengan nama yang unik secara global untuk bucket.

    Outputnya mirip dengan hal berikut ini:

    Creating gs://BUCKET_NAME/...
    
  2. Salin skrip transcode.sh dan folder yang berisi file video ke bucket Cloud Storage Anda:

    gcloud storage cp -R transcode.sh input gs://BUCKET_NAME
    

    Outputnya mirip dengan hal berikut ini:

    Copying file://transcode.sh to gs://BUCKET_NAME/transcode.sh
    Copying file://input/video-2.mp4 to gs://BUCKET_NAME/input/video-2.mp4
    Copying file://input/video-1.mp4 to gs://BUCKET_NAME/input/video-1.mp4
    Copying file://input/video-0.mp4 to gs://BUCKET_NAME/input/video-0.mp4
      Completed files 4/4 | 37.5MiB/37.5MiB
    
    Average throughput: 48.4MiB/s
    

Buat tugas

  1. Di editor teks pilihan Anda, buka file konfigurasi job.json.

  2. Tetapkan nilai kolom remotePath ke nama bucket Cloud Storage Anda:

    {
      "taskGroups": [
        {
          "taskSpec": {
            "runnables": [
              {
                "script": {
                  "text": "bash /mnt/share/transcode.sh"
                }
              }
            ],
            "computeResource": {
              "cpuMilli": 2000,
              "memoryMib": 2048
            },
            "volumes": [
              {
                "gcs": {
                  "remotePath": "BUCKET_NAME"
                },
                "mountPath": "/mnt/share"
              }
            ],
            "maxRetryCount": 2,
            "maxRunDuration": "600s"
          },
          "taskCount": 3,
          "parallelism": 3
        }
      ],
      "allocationPolicy": {
        "instances": [
          {
            "policy": {
              "machineType": "n2d-standard-4",
              "provisioningModel": "SPOT"
            }
          }
        ]
      },
      "labels": {
        "department": "creative",
        "env": "testing"
      },
      "logsPolicy": {
        "destination": "CLOUD_LOGGING"
      }
    }
    
  3. Simpan perubahan Anda dan tutup editor teks.

  4. Buat tugas transcode:

    gcloud batch jobs submit transcode \
        --config=job.json \
        --location=us-central1
    

    Outputnya mirip dengan hal berikut ini:

    Job transcode-7a1654ca-211c-40e8-b0fb-8a00 was successfully submitted.
    ...
    

    Tugas menjalankan 3 tugas secara serentak. Setiap tugas menjalankan skrip transcode.sh, yang mengenkode 1 dari 3 file video dan menguploadnya ke bucket Cloud Storage.

Memantau tugas

  1. Di konsol Google Cloud, buka halaman Daftar tugas.

    Buka Daftar tugas

  2. Di kolom Nama tugas, klik transkode.

    Halaman Detail tugas akan terbuka.

  3. Klik tab Events.

    Di bagian Daftar peristiwa, Anda dapat memantau status tugas transcode. Waktu yang diperlukan tugas untuk selesai diantrekan, dijadwalkan, dan dijalankan bervariasi berdasarkan beberapa faktor. Untuk contoh ini, Anda dapat mengharapkan tugas selesai dalam waktu sekitar 5 menit.

  4. Opsional: Untuk memperbarui halaman, klik Refresh.

Sebelum melanjutkan ke langkah berikutnya, pastikan status tugas ditetapkan ke Berhasil. Jika tugas Anda gagal, lihat Pemecahan masalah.

Melihat video yang dienkode

  1. Di konsol Google Cloud, buka halaman Bucket.

    Buka Bucket

  2. Di kolom Nama, klik BUCKET_NAME.

    Halaman Detail bucket akan terbuka.

  3. Di kolom Name, klik output/, lalu klik salah satu file video yang dienkode.

    Halaman Detail objek akan terbuka.

  4. Untuk melihat video yang dienkode, klik Pratinjau, lalu klik Putar.

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan pada halaman ini, hapus project Google Cloud yang berisi resource tersebut.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda gunakan dalam tutorial ini.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

Menghapus resource satu per satu

Jika Anda ingin terus menggunakan project saat ini, hapus setiap resource yang digunakan dalam tutorial ini.

Menghapus tugas

Setelah tugas Batch selesai berjalan, hapus tugas transcode:

gcloud batch jobs delete transcode \
    --location=us-central1

Outputnya mirip dengan hal berikut ini:

Job projects/example-project/locations/us-central1/jobs/transcode deletion is in progress

Menghapus tugas juga akan menghapus detail dan histori tugas. Log tugas akan otomatis dihapus pada akhir periode retensi log Cloud Logging.

Menghapus bucket

Jika Anda tidak lagi memerlukan bucket Cloud Storage yang digunakan dalam tutorial ini dan kontennya, hapus bucket:

gcloud storage rm gs://BUCKET_NAME \
    --recursive

Outputnya mirip dengan hal berikut ini:

Removing objects:
Removing gs://BUCKET_NAME/input/video-0.mp4#1694788495332395...
Removing gs://BUCKET_NAME/input/video-2.mp4#1694788495296173...
Removing gs://BUCKET_NAME/input/video-1.mp4#1694788495228839...
Removing gs://BUCKET_NAME/output/video-0.mp4#1694788495332395...
Removing gs://BUCKET_NAME/output/video-2.mp4#1694788495296173...
Removing gs://BUCKET_NAME/output/video-1.mp4#1694788495228839...
Removing gs://BUCKET_NAME/transcode.sh#1694788495039427...
  Completed 4/4
Removing Buckets:
Removing gs://BUCKET_NAME/...
  Completed 1/1

Menghapus repositori git

Jika tidak lagi memerlukan repositori git Batch yang Anda clone untuk tutorial ini, Anda dapat menghapusnya:

cd ../../ && rm -rf batch-samples

Langkah selanjutnya