Crea e crea un job Python in Cloud Run

Scopri come creare un semplice job Cloud Run, quindi eseguire il deployment dall'origine che pacchettizza automaticamente il codice in un'immagine container, carica dell'immagine container in Artifact Registry, quindi ne esegue il deployment in Cloud Run. Puoi utilizzare altre lingue oltre a quelle mostrate.

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. To initialize the gcloud CLI, run the following command: 

    gcloud init

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  7. Make sure that billing is enabled for your Google Cloud project.

  8. Install the Google Cloud CLI.

  9. To initialize the gcloud CLI, run the following command: 

    gcloud init

  10. Abilita l'API Cloud Run Admin e l'API Cloud Build:

    gcloud services enable run.googleapis.com \
    cloudbuild.googleapis.com

    Dopo aver attivato l'API Cloud Run Admin, l'account di servizio predefinito di Compute Engine viene creato automaticamente.

  11. Affinché Cloud Build sia in grado di creare le tue origini, concedi il Account di servizio Cloud Build all'account di servizio predefinito di Compute Engine eseguendo questo comando:

    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/cloudbuild.builds.builder

    Sostituisci PROJECT_NUMBER con il tuo Google Cloud il numero del progetto e PROJECT_ID con il tuo Google Cloud dell'ID progetto. Per istruzioni dettagliate su come trovare l'ID progetto e il numero del progetto, consulta Creazione e gestione dei progetti.

    La propagazione del ruolo dell'account di servizio Cloud Build all'account di servizio predefinito di Compute Engine richiede un paio di minuti.

Scrittura del job di esempio

Per scrivere un job in Python:

  1. Crea una nuova directory denominata jobs e cambia directory al suo interno:

    mkdir jobs
cd jobs

  2. Crea un file main.py per il codice del job effettivo. Copia le seguenti righe di esempio al suo interno:

    import json
import os
import random
import sys
import time

# Retrieve Job-defined env vars
TASK_INDEX = os.getenv("CLOUD_RUN_TASK_INDEX", 0)
TASK_ATTEMPT = os.getenv("CLOUD_RUN_TASK_ATTEMPT", 0)
# Retrieve User-defined env vars
SLEEP_MS = os.getenv("SLEEP_MS", 0)
FAIL_RATE = os.getenv("FAIL_RATE", 0)


# Define main script
def main(sleep_ms=0, fail_rate=0):
    """Program that simulates work using the sleep method and random failures.

    Args:
        sleep_ms: number of milliseconds to sleep
        fail_rate: rate of simulated errors
    """
    print(f"Starting Task #{TASK_INDEX}, Attempt #{TASK_ATTEMPT}...")
    # Simulate work by waiting for a specific amount of time
    time.sleep(float(sleep_ms) / 1000)  # Convert to seconds

    # Simulate errors
    random_failure(float(fail_rate))

    print(f"Completed Task #{TASK_INDEX}.")


def random_failure(rate):
    """Throws an error based on fail rate

    Args:
        rate: a float between 0 and 1
    """
    if rate < 0 or rate > 1:
        # Return without retrying the Job Task
        print(
            f"Invalid FAIL_RATE env var value: {rate}. "
            + "Must be a float between 0 and 1 inclusive."
        )
        return

    random_failure = random.random()
    if random_failure < rate:
        raise Exception("Task failed.")


# Start script
if __name__ == "__main__":
    try:
        main(SLEEP_MS, FAIL_RATE)
    except Exception as err:
        message = (
            f"Task #{TASK_INDEX}, " + f"Attempt #{TASK_ATTEMPT} failed: {str(err)}"
        )

        print(json.dumps({"message": message, "severity": "ERROR"}))
        sys.exit(1)  # Retry Job Task by exiting the process

    I job Cloud Run consentono agli utenti di specificare il numero di attività di cui eseguire il job da eseguire. Questo codice di esempio mostra come utilizzare la variabile di ambiente CLOUD_RUN_TASK_INDEX incorporata. Ogni attività rappresenta una copia in esecuzione del container. Tieni presente che di solito le attività vengono eseguite in parallelo. Utilizzare più attività è utile se ogni attività può elaborare in modo indipendente un sottoinsieme dei tuoi dati.

    Ogni attività è a conoscenza del proprio indice, archiviato nel CLOUD_RUN_TASK_INDEX variabile di ambiente. La variabile di ambiente CLOUD_RUN_TASK_COUNT integrata contiene il numero di attività fornite al momento dell'esecuzione del job tramite il parametro --tasks.

    Il codice mostrato mostra anche come ripetere le attività utilizzando la variabile di ambiente CLOUD_RUN_TASK_ATTEMPT integrata, che contiene il numero di volte in cui è stata ripetuta l'attività, a partire da 0 per il primo tentativo e incrementando di 1 per ogni tentativo successivo, fino a --max-retries.

    Il codice consente anche di generare errori per testare i nuovi tentativi. e generare log di errore per vedere come si presentano.

  3. Crea un file di testo denominato Procfile senza estensione del file, contenente il prefisso seguenti:

    web: python3 main.py

Il codice è completo e pronto per essere pacchettizzato in un container.

Crea il contenitore dei job, invialo ad Artifact Registry ed esegui il deployment in Cloud Run

Importante: questa guida introduttiva presuppone che tu disponga dei ruoli di proprietario o editor nel progetto che stai utilizzando. In caso contrario, consulta il ruolo Sviluppatore di origini Cloud Run per le autorizzazioni necessarie per eseguire il deployment di una risorsa Cloud Run dall'origine.

Questa guida rapida utilizza il deployment dall'origine, che crea il container, lo carica in Artifact Registry ed esegue il deployment del job in Cloud Run:

gcloud run jobs deploy job-quickstart \
    --source . \
    --tasks 50 \
    --set-env-vars SLEEP_MS=10000 \
    --set-env-vars FAIL_RATE=0.1 \
    --max-retries 5 \
    --region REGION \
    --project=PROJECT_ID

dove PROJECT_ID è l'ID progetto e REGION è la regione, ad esempio us-central1. Tieni presente che puoi modificare i vari parametri in base ai valori che vuoi utilizzare per i test. SLEEP_MS simula il lavoro e FAIL_RATE fa sì che X% delle attività non vada a buon fine, quindi possono sperimentare il parallelismo e ritentare le attività non riuscite.

Esegui un job in Cloud Run

Per eseguire il job appena creato:

gcloud run jobs execute job-quickstart --region REGION

Sostituisci REGION con la regione utilizzata per creare e implementare il job, ad esempio us-central1.

Passaggi successivi

Per saperne di più sulla creazione di un container dall'origine di codice e sul push a un repository, consulta: