Crea e crea un job Python in Cloud Run

Scopri come creare un semplice job Cloud Run, quindi eseguire il deployment dall'origine che pacchettizza automaticamente il codice in un'immagine container, carica dell'immagine container in Artifact Registry, quindi ne esegue il deployment in Cloud Run. Puoi utilizzare altre lingue oltre a quelle mostrate.

Prima di iniziare

  1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  4. Installa Google Cloud CLI.

  5. Per initialize gcloud CLI, esegui questo comando: 

    gcloud init
    6.

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  7. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  8. Installa Google Cloud CLI.

  9. Per initialize gcloud CLI, esegui questo comando: 

    gcloud init
    10.

  10. Individua l'account di servizio predefinito di Compute Engine. Per impostazione predefinita, l'account di servizio predefinito di Compute Engine viene creato automaticamente con il seguente formato email:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    Sostituisci PROJECT_NUMBER con il tuo Google Cloud del progetto. Puoi trovare il numero del tuo progetto nella Ti diamo il benvenuto della console Google Cloud o eseguendo questo comando:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Per gli ambienti di produzione, consigliamo vivamente creazione di un nuovo account di servizio e la concessione di uno o più ruoli IAM contenenti autorizzazioni minime richieste e seguire il principio del privilegio minimo.

  11. Affinché Cloud Build sia in grado di creare le tue origini, concedi il Account di servizio Cloud Build all'account di servizio predefinito di Compute Engine eseguendo questo comando: 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/cloudbuild.builds.builder

Scrittura del job di esempio

Per scrivere un job in Python:

  1. Crea una nuova directory denominata jobs e cambia directory al suo interno:

    mkdir jobs
cd jobs

  2. Crea un file main.py per il codice del job effettivo. Copia le seguenti righe di esempio al suo interno:

    import json
import os
import random
import sys
import time

# Retrieve Job-defined env vars
TASK_INDEX = os.getenv("CLOUD_RUN_TASK_INDEX", 0)
TASK_ATTEMPT = os.getenv("CLOUD_RUN_TASK_ATTEMPT", 0)
# Retrieve User-defined env vars
SLEEP_MS = os.getenv("SLEEP_MS", 0)
FAIL_RATE = os.getenv("FAIL_RATE", 0)


# Define main script
def main(sleep_ms=0, fail_rate=0):
    """Program that simulates work using the sleep method and random failures.

    Args:
        sleep_ms: number of milliseconds to sleep
        fail_rate: rate of simulated errors
    """
    print(f"Starting Task #{TASK_INDEX}, Attempt #{TASK_ATTEMPT}...")
    # Simulate work by waiting for a specific amount of time
    time.sleep(float(sleep_ms) / 1000)  # Convert to seconds

    # Simulate errors
    random_failure(float(fail_rate))

    print(f"Completed Task #{TASK_INDEX}.")


def random_failure(rate):
    """Throws an error based on fail rate

    Args:
        rate: a float between 0 and 1
    """
    if rate < 0 or rate > 1:
        # Return without retrying the Job Task
        print(
            f"Invalid FAIL_RATE env var value: {rate}. "
            + "Must be a float between 0 and 1 inclusive."
        )
        return

    random_failure = random.random()
    if random_failure < rate:
        raise Exception("Task failed.")


# Start script
if __name__ == "__main__":
    try:
        main(SLEEP_MS, FAIL_RATE)
    except Exception as err:
        message = (
            f"Task #{TASK_INDEX}, " + f"Attempt #{TASK_ATTEMPT} failed: {str(err)}"
        )

        print(json.dumps({"message": message, "severity": "ERROR"}))
        sys.exit(1)  # Retry Job Task by exiting the process

    I job Cloud Run consentono agli utenti di specificare il numero di attività associate al job da eseguire. Questo codice campione mostra come utilizzare l'CLOUD_RUN_TASK_INDEX integrata variabile di ambiente. Ogni attività rappresenta una copia in esecuzione del container. Tieni presente che di solito le attività vengono eseguite in parallelo. Utilizzare più attività è utile se ogni attività può elaborare in modo indipendente un sottoinsieme dei tuoi dati.

    Ogni attività è a conoscenza del proprio indice, archiviato nel CLOUD_RUN_TASK_INDEX variabile di ambiente. La variabile di ambiente CLOUD_RUN_TASK_COUNT integrata contiene il numero di attività fornite al momento dell'esecuzione del job tramite --tasks .

    Il codice mostrato mostra anche come riprovare le attività, utilizzando lo strumento CLOUD_RUN_TASK_ATTEMPT variabile di ambiente, che contiene il numero di numero di nuovi tentativi per questa attività, a partire da 0 per il primo tentativo e con incrementi di 1 per ogni tentativo successivo, fino a un massimo di --max-retries.

    Il codice consente anche di generare errori per testare i nuovi tentativi. e generare log di errore per vedere come si presentano.

  3. Crea un file di testo denominato Procfile senza estensione del file, contenente il prefisso seguenti:

    web: python3 main.py

Il codice è completo e pronto per essere pacchettizzato in un container.

Crea il container dei job, invialo ad Artifact Registry ed esegui il deployment in Cloud Run

Importante: questa guida rapida presuppone che tu disponga dei ruoli di proprietario o editor nel progetto che stai utilizzando per la guida rapida. In caso contrario, fai riferimento al ruolo Sviluppatore origine Cloud Run per le autorizzazioni richieste per il deployment di una risorsa Cloud Run dall'origine.

Questa guida rapida utilizza il deployment dall'origine, che crea il container, lo carica in Artifact Registry ed esegue il deployment del job in Cloud Run:

gcloud run jobs deploy job-quickstart \
    --source . \
    --tasks 50 \
    --set-env-vars SLEEP_MS=10000 \
    --set-env-vars FAIL_RATE=0.1 \
    --max-retries 5 \
    --region REGION \
    --project=PROJECT_ID

dove PROJECT_ID è l'ID progetto e REGION è il tuo regione, ad esempio us-central1. Tieni presente che puoi modificare i vari parametri ai valori che vuoi utilizzare per i tuoi test. SLEEP_MS simula il lavoro e FAIL_RATE fa sì che X% delle attività non vada a buon fine, quindi possono sperimentare il parallelismo e ritentare le attività non riuscite.

esegui un job in Cloud Run

Per eseguire il job appena creato:

gcloud run jobs execute job-quickstart --region REGION

Sostituisci REGION con la regione utilizzata al momento della creazione e del deployment il job, ad esempio us-central1.

Passaggi successivi

Per saperne di più sulla creazione di un container dall'origine di codice e sul push a un repository, consulta: