Costruisci e crea un job Python in Cloud Run

Scopri come creare un semplice job Cloud Run, quindi eseguire il deployment dall'origine, che pacchettizza automaticamente il codice in un'immagine container, carica l'immagine del container in Artifact Registry e quindi ne esegue il deployment in Cloud Run. Puoi utilizzare altre lingue oltre a quelle mostrate.

Prima di iniziare

  1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
  2. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

  3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  4. Installa Google Cloud CLI.
  5. Per initialize gcloud CLI, esegui questo comando:

    gcloud init
  6. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

  7. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  8. Installa Google Cloud CLI.
  9. Per initialize gcloud CLI, esegui questo comando:

    gcloud init

Scrittura del job di esempio

Per scrivere un job in Python:

  1. Crea una nuova directory denominata jobs e cambia directory al suo interno:

    mkdir jobs
    cd jobs
    
  2. Crea un file main.py per il codice effettivo del job. Copia al suo interno le seguenti righe di esempio:

    import json
    import os
    import random
    import sys
    import time
    
    # Retrieve Job-defined env vars
    TASK_INDEX = os.getenv("CLOUD_RUN_TASK_INDEX", 0)
    TASK_ATTEMPT = os.getenv("CLOUD_RUN_TASK_ATTEMPT", 0)
    # Retrieve User-defined env vars
    SLEEP_MS = os.getenv("SLEEP_MS", 0)
    FAIL_RATE = os.getenv("FAIL_RATE", 0)
    
    # Define main script
    def main(sleep_ms=0, fail_rate=0):
        """Program that simulates work using the sleep method and random failures.
    
        Args:
            sleep_ms: number of milliseconds to sleep
            fail_rate: rate of simulated errors
        """
        print(f"Starting Task #{TASK_INDEX}, Attempt #{TASK_ATTEMPT}...")
        # Simulate work by waiting for a specific amount of time
        time.sleep(float(sleep_ms) / 1000)  # Convert to seconds
    
        # Simulate errors
        random_failure(float(fail_rate))
    
        print(f"Completed Task #{TASK_INDEX}.")
    
    def random_failure(rate):
        """Throws an error based on fail rate
    
        Args:
            rate: a float between 0 and 1
        """
        if rate < 0 or rate > 1:
            # Return without retrying the Job Task
            print(
                f"Invalid FAIL_RATE env var value: {rate}. "
                + "Must be a float between 0 and 1 inclusive."
            )
            return
    
        random_failure = random.random()
        if random_failure < rate:
            raise Exception("Task failed.")
    
    # Start script
    if __name__ == "__main__":
        try:
            main(SLEEP_MS, FAIL_RATE)
        except Exception as err:
            message = (
                f"Task #{TASK_INDEX}, " + f"Attempt #{TASK_ATTEMPT} failed: {str(err)}"
            )
    
            print(json.dumps({"message": message, "severity": "ERROR"}))
            sys.exit(1)  # Retry Job Task by exiting the process

    I job Cloud Run consentono agli utenti di specificare il numero di attività da eseguire. Questo codice campione mostra come utilizzare la variabile di ambiente integrata CLOUD_RUN_TASK_INDEX. Ogni attività rappresenta una copia in esecuzione del container. Tieni presente che le attività vengono generalmente eseguite in parallelo. Usare più attività è utile se ognuna è in grado di elaborare autonomamente un sottoinsieme dei tuoi dati.

    Ogni attività è a conoscenza del proprio indice, archiviato nella variabile di ambiente CLOUD_RUN_TASK_INDEX. La variabile di ambiente integrata CLOUD_RUN_TASK_COUNT contiene il numero di attività fornite al momento dell'esecuzione del job tramite il parametro --tasks.

    Il codice mostrato mostra anche come riprovare a eseguire le attività, utilizzando la variabile di ambiente integrata CLOUD_RUN_TASK_ATTEMPT, che contiene il numero di volte in cui questa attività è stata riprovata, a partire da 0 per il primo tentativo e incrementando di 1 per ogni tentativo successivo, fino a un massimo di --max-retries.

    Il codice consente inoltre di generare errori per testare i nuovi tentativi e generare log degli errori in modo da vederne l'aspetto.

  3. Crea un file di testo denominato Procfile senza estensione, contenente quanto segue:

    web: python3 main.py

Il tuo codice è completo e pronto per essere pacchettizzato in un container.

Crea un container di job, invialo ad Artifact Registry ed eseguine il deployment su Cloud Run

Importante: questa guida rapida presuppone che tu disponga dei ruoli di proprietario o editor nel progetto utilizzato per la guida rapida. In caso contrario, consulta Autorizzazioni per il deployment di Cloud Run, Autorizzazioni Cloud Build e Autorizzazioni Artifact Registry per le autorizzazioni necessarie.

Questa guida rapida utilizza il deployment dall'origine, che crea il container, lo carica su Artifact Registry ed esegue il deployment del job in Cloud Run:

gcloud run jobs deploy job-quickstart \
    --source . \
    --tasks 50 \
    --set-env-vars SLEEP_MS=10000 \
    --set-env-vars FAIL_RATE=0.1 \
    --max-retries 5 \
    --region REGION \
    --project=PROJECT_ID

dove PROJECT_ID è l'ID progetto e REGION è la tua regione, ad esempio us-central1. Tieni presente che puoi modificare i vari parametri con qualsiasi valore che vuoi utilizzare per i test. SLEEP_MS simula il lavoro, mentre FAIL_RATE provoca la mancata riuscita delle attività (X%) per consentirti di sperimentare il parallelismo e riprovare le attività non riuscite.

Esegui un job in Cloud Run

Per eseguire il job appena creato:

gcloud run jobs execute job-quickstart --region REGION

Sostituisci REGION con la regione che hai utilizzato quando hai creato ed eseguito il deployment del job, ad esempio us-central1.

Passaggi successivi

Per saperne di più sulla creazione di un container da un codice sorgente di codice e sul push a un repository, consulta: