Guía de inicio rápido

En esta página, se muestra cómo crear un entorno de Cloud Composer en Google Cloud Console y cómo ejecutar un DAG de Apache Airflow (también llamado flujo de trabajo).

Antes de comenzar

  1. Accede a tu Cuenta de Google.

    Si todavía no tienes una cuenta, regístrate para obtener una nueva.

  2. En la página de selección de proyectos de Cloud Console, selecciona o crea un proyecto de Cloud.

    Ir a la página Selector de proyectos

  3. Comprueba que la facturación esté habilitada en tu proyecto.

    Descubre cómo puedes habilitar la facturación

  4. Habilita la API Cloud Composer.

    Habilita la API

Crea un entorno

Console

  1. En Cloud Console, ve a la página Crear entorno.

    Abrir la página Crear entorno

  2. En el campo Nombre, ingresa example-environment.

  3. En la lista desplegable Ubicación, selecciona una región para el entorno de Cloud Composer. Consulta Regiones disponibles para obtener información sobre cómo seleccionar una región.

  4. Para otras opciones de configuración del entorno, usa los valores predeterminados proporcionados.

  5. Para crear el entorno, haz clic en Crear.

  6. Espera hasta que se complete la creación del entorno. Cuando termine, aparecerá la marca de verificación verde a la izquierda del nombre del entorno.

gcloud

gcloud composer environments create example-environment \
    --location LOCATION

Reemplaza LOCATION por la región de Compute Engine donde se encuentra el entorno. Asegúrate de que en la ubicación que especificas Composer esté disponible.

Terraform

Para configurar este entorno con Terraform, agrega el siguiente bloque de recursos a tu configuración de Terraform y ejecuta terraform apply.

resource "google_composer_environment" "composer-quickstart" {
    name   = "example-environment"
    region = "LOCATION"
}

Reemplaza LOCATION por la región de Compute Engine donde se encuentra el entorno. Asegúrate de que en la ubicación que especificas Composer esté disponible.

Visualiza detalles del entorno

Una vez completada la creación del entorno, puedes ver la información de implementación de tu entorno, como la versión de Cloud Composer, la URL de la interfaz web de Airflow y la carpeta de los DAG en Cloud Storage.

Para ver la información de implementación, sigue estos pasos:

  1. En Cloud Console, ve a la página Entornos.

    Abrir la página Entornos

  2. Para ver la página de detalles de Entorno, haz clic en example-environment.

Crea un DAG

Un DAG de Airflow es una colección de tareas organizadas que deseas programar y ejecutar. Los DAG se definen en archivos estándares de Python.

El código de Python en quickstart.py realiza estas tareas:

  1. Crea un DAG composer_sample_dag. El DAG se ejecuta una vez al día.
  2. Ejecuta una tarea print_dag_run_conf. La tarea imprime la configuración de ejecución del DAG con el operador bash.

Para crear un DAG, crea una copia del archivo quickstart.py en tu máquina local.

import datetime

import airflow
from airflow.operators import bash_operator

YESTERDAY = datetime.datetime.now() - datetime.timedelta(days=1)

default_args = {
    'owner': 'Composer Example',
    'depends_on_past': False,
    'email': [''],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': datetime.timedelta(minutes=5),
    'start_date': YESTERDAY,
}

with airflow.DAG(
        'composer_sample_dag',
        'catchup=False',
        default_args=default_args,
        schedule_interval=datetime.timedelta(days=1)) as dag:

    # Print the dag_run id from the Airflow logs
    print_dag_run_conf = bash_operator.BashOperator(
        task_id='print_dag_run_conf', bash_command='echo {{ dag_run.id }}')

Sube el DAG a Cloud Storage

Cloud Composer programa solo los DAG que se encuentran en la carpeta DAG del depósito de Cloud Storage del entorno.

Para programar tu DAG, mueve el archivo quickstart.py de tu máquina local a la carpeta DAG de tu entorno. Para ello, sigue estos pasos:

  1. En Cloud Console, ve a la página Entornos.

    Abrir la página Entornos

  2. Para abrir la carpeta /dags, haz clic en el vínculo Carpeta DAG de example-environment.

  3. En la página de detalles del depósito, haz clic en Subir archivos y selecciona tu copia local de quickstart.py.

  4. Para subir el archivo, haz clic en Abrir.

    Después de subir el DAG, Cloud Composer agrega el DAG a Airflow y lo programa de inmediato. Es posible que el DAG tarde unos minutos en aparecer en la interfaz web de Airflow.

Visualiza el DAG en la interfaz web de Airflow

Cada entorno de Cloud Composer tiene un servidor web que ejecuta la interfaz web de Airflow que puedes usar para administrar los DAG.

Para ver el DAG en la interfaz web de Airflow, sigue estos pasos:

  1. En Cloud Console, ve a la página Entornos.

    Abrir la página Entornos

  2. Para abrir la interfaz web de Airflow, haz clic en el vínculo Airflow para example-environment. La interfaz se abre en una nueva ventana del navegador.

  3. En la barra de herramientas de Airflow, haz clic en DAGs.

  4. Para abrir la página de detalles del DAG, haz clic en composer_sample_dag.

    La página del DAG muestra la Vista de árbol (Tree View), una representación gráfica de las tareas y dependencias del flujo de trabajo.

Visualiza los detalles de la instancia de la tarea en los registros de Airflow

El DAG que programaste incluye la tarea print_dag_run_conf. Esta tarea imprime la configuración de ejecución del DAG, que se puede ver en los registros de Airflow para la instancia de la tarea.

Para ver los detalles de la instancia de la tarea, sigue estos pasos:

  1. En la Vista de árbol (Tree View) del DAG, en la interfaz web de Airflow, haz clic en Vista de gráfico (Graph View).

    Si desplazas el mouse sobre el gráfico de la tarea print_dag_run_conf, se muestra su estado. Ten en cuenta que el borde alrededor de la tarea también indica el estado (borde verde claro = en ejecución).

  2. Haz clic en la tarea print_dag_run_conf.

    Se muestra el menú contextual de la instancia de la tarea. Aquí puedes obtener metadatos y realizar algunas acciones.

  3. En el menú contextual de la instancia de la tarea, haz clic en Ver registro (View Log).

  4. En el registro, busca Running: ['bash' para ver el resultado del operador bash.

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta guía de inicio rápido.

  1. En Cloud Console, ve a la página Administrar recursos.

    Ir a la página Administrar recursos

  2. Si el proyecto que deseas borrar está vinculado con una organización, selecciónala en la lista Organización, en la parte superior de la página.
  3. En la lista de proyectos, selecciona el proyecto que deseas borrar y haz clic en Borrar .
  4. En el cuadro de diálogo, escribe el ID del proyecto y haz clic en Cerrar para borrar el proyecto.

Como alternativa, puedes borrar los recursos que se usan en este instructivo de la siguiente manera:

  1. Borra el entorno de Cloud Composer.
  2. Borra el depósito de Cloud Storage para el entorno de Cloud Composer. Aunque borres el entorno de Cloud Composer, no se borra el depósito.
  3. Borra los temas de Pub/Sub para el entorno de Cloud Composer (composer-agent y composer-backend). Aunque borres el entorno de Cloud Composer, no se borran estos temas.

Próximos pasos