Mem-build dan membuat pekerjaan Python di Cloud Run

Pelajari cara membuat pekerjaan Cloud Run sederhana, lalu men-deploy dari sumber, yang secara otomatis mengemas kode Anda ke dalam image container, mengupload image container ke Artifact Registry, lalu di-deploy ke Cloud Run. Anda dapat menggunakan bahasa lain selain yang telah ditampilkan.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  4. Menginstal Google Cloud CLI.

  5. Untuk initialize gcloud CLI, jalankan perintah berikut: 

    gcloud init

  6. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  7. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  8. Menginstal Google Cloud CLI.

  9. Untuk initialize gcloud CLI, jalankan perintah berikut: 

    gcloud init

Menulis contoh pekerjaan

Untuk menulis pekerjaan di Python:

  1. Buat direktori baru bernama jobs dan pindahlah ke direktori tersebut:

    mkdir jobs
cd jobs

  2. Buat file main.py untuk kode pekerjaan yang sebenarnya. Salin contoh baris berikut ke dalamnya:

    import json
import os
import random
import sys
import time

# Retrieve Job-defined env vars
TASK_INDEX = os.getenv("CLOUD_RUN_TASK_INDEX", 0)
TASK_ATTEMPT = os.getenv("CLOUD_RUN_TASK_ATTEMPT", 0)
# Retrieve User-defined env vars
SLEEP_MS = os.getenv("SLEEP_MS", 0)
FAIL_RATE = os.getenv("FAIL_RATE", 0)

# Define main script
def main(sleep_ms=0, fail_rate=0):
    """Program that simulates work using the sleep method and random failures.

    Args:
        sleep_ms: number of milliseconds to sleep
        fail_rate: rate of simulated errors
    """
    print(f"Starting Task #{TASK_INDEX}, Attempt #{TASK_ATTEMPT}...")
    # Simulate work by waiting for a specific amount of time
    time.sleep(float(sleep_ms) / 1000)  # Convert to seconds

    # Simulate errors
    random_failure(float(fail_rate))

    print(f"Completed Task #{TASK_INDEX}.")

def random_failure(rate):
    """Throws an error based on fail rate

    Args:
        rate: a float between 0 and 1
    """
    if rate < 0 or rate > 1:
        # Return without retrying the Job Task
        print(
            f"Invalid FAIL_RATE env var value: {rate}. "
            + "Must be a float between 0 and 1 inclusive."
        )
        return

    random_failure = random.random()
    if random_failure < rate:
        raise Exception("Task failed.")

# Start script
if __name__ == "__main__":
    try:
        main(SLEEP_MS, FAIL_RATE)
    except Exception as err:
        message = (
            f"Task #{TASK_INDEX}, " + f"Attempt #{TASK_ATTEMPT} failed: {str(err)}"
        )

        print(json.dumps({"message": message, "severity": "ERROR"}))
        sys.exit(1)  # Retry Job Task by exiting the process

    Tugas Cloud Run mengizinkan pengguna untuk menentukan jumlah tugas yang akan dijalankan oleh tugas tersebut. Kode contoh ini menunjukkan cara menggunakan variabel lingkungan CLOUD_RUN_TASK_INDEX bawaan. Setiap tugas mewakili satu salinan container yang berjalan. Perhatikan bahwa tugas-tugas biasanya dijalankan secara paralel. Menggunakan beberapa tugas akan berguna jika setiap tugas dapat memproses subset data Anda secara independen.

    Setiap tugas mengetahui indeksnya, yang disimpan dalam variabel lingkungan CLOUD_RUN_TASK_INDEX. Variabel lingkungan CLOUD_RUN_TASK_COUNT bawaan berisi jumlah tugas yang disediakan pada waktu eksekusi tugas melalui parameter --tasks.

    Kode yang ditampilkan juga menunjukkan cara mencoba ulang tugas, menggunakan variabel lingkungan CLOUD_RUN_TASK_ATTEMPT bawaan yang berisi berapa kali tugas ini telah dicoba ulang, mulai dari 0 untuk upaya pertama dan bertambah 1 untuk setiap percobaan ulang berturut-turut yang berhasil, hingga --max-retries.

    Kode ini juga memungkinkan Anda menghasilkan kegagalan sebagai cara untuk menguji percobaan ulang dan membuat log error sehingga Anda dapat melihat tampilannya.

  3. Buat file teks bernama Procfile tanpa ekstensi file, yang berisi hal berikut:

    web: python3 main.py

Kode Anda telah lengkap dan siap untuk dikemas dalam container.

Bangun container tugas, kirim ke Artifact Registry, lalu deploy ke Cloud Run

Penting: Panduan memulai ini mengasumsikan bahwa Anda memiliki peran pemilik atau editor dalam project yang Anda gunakan untuk panduan memulai tersebut. Atau, lihat izin deployment Cloud Run, izin Cloud Build, dan izin Artifact Registry untuk izin yang diperlukan.

Panduan memulai ini menggunakan deploy dari sumber, yang membuat container, mengunggahnya ke Artifact Registry, dan men-deploy tugas tersebut ke Cloud Run:

gcloud run jobs deploy job-quickstart \
    --source . \
    --tasks 50 \
    --set-env-vars SLEEP_MS=10000 \
    --set-env-vars FAIL_RATE=0.1 \
    --max-retries 5 \
    --region REGION \
    --project=PROJECT_ID

dengan PROJECT_ID sebagai project ID Anda dan REGION adalah region Anda , misalnya, us-central1. Perhatikan bahwa Anda dapat mengubah berbagai parameter menjadi nilai apa pun yang Anda ingin gunakan untuk tujuan pengujian Anda. SLEEP_MS menyimulasikan pekerjaan dan FAIL_RATE menyebabkan X% tugas gagal sehingga Anda dapat bereksperimen dengan paralelisme dan mencoba ulang tugas yang gagal.

Menjalankan tugas di Cloud Run

Untuk menjalankan tugas yang baru saja Anda buat:

gcloud run jobs execute job-quickstart --region REGION

Ganti REGION dengan region yang Anda gunakan saat membuat dan men-deploy tugas, misalnya us-central1.

Langkah selanjutnya

Untuk informasi lebih lanjut dalam mem-build container dari kode sumber dan penerapan untuk repositori, lihat: