Consultar registros de Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

En esta página, se describe cómo acceder a los registros de Apache Airflow para Cloud Composer y cómo visualizarlos.

Tipos de registros

Cloud Composer tiene los siguientes registros de Airflow:

  • Registros de Airflow: Estos registros están asociados con tareas de DAG únicas. Puedes ver los registros de tareas en la carpeta logs de Cloud Storage asociada al entorno de Cloud Composer. También puedes ver los registros en la interfaz web de Airflow.

  • Registros de transmisión: Estos registros son un superconjunto de los registros de Airflow. Para para acceder a los registros de transmisión, ve a la pestaña Registros de Detalles del entorno en la consola de Google Cloud, usa Cloud Logging o Cloud Monitoring.

    Se aplican las cuotas de Logging y Monitoring.

    Si deseas obtener más información sobre Cloud Logging y Cloud Monitoring para tu entorno de Cloud Composer, consulta Supervisa entornos.

Registros en Cloud Storage

Cuando creas un entorno, Cloud Composer crea un bucket de Cloud Storage y lo asocia con él. Cloud Composer almacena los registros de las tareas de un solo DAG en la carpeta logs del bucket.

Estructura del directorio de la carpeta de registro

La carpeta logs incluye carpetas para cada flujo de trabajo que se ejecuta en el entorno. Cada carpeta de flujo de trabajo incluye una carpeta para sus DAG y subDAG. Cada carpeta contiene los archivos de registro de cada tarea. El nombre de archivo de la tarea indica cuándo comenzó la tarea.

En el siguiente ejemplo, se muestra la estructura del directorio de registro de un entorno.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Retención de registros

Para evitar la pérdida de datos, los registros guardados en el bucket del entorno no se borran después de borrar el entorno. Debes borrar manualmente los registros de en el bucket de tu entorno.

Los registros almacenados en el bucket del entorno usan la política del bucket. Cloud Composer crea buckets con la política predeterminada que mantiene datos para siempre.

Para los registros almacenados en Cloud Logging, Cloud Composer usa _Default y las definiciones períodos de retención de registros.

Antes de comenzar

Debes tener una función que pueda ver objetos en depósitos de entorno. Para obtener más información, consulta Control de acceso.

Visualiza registros de tareas en Cloud Storage

Haz lo siguiente para ver los archivos de registro de las tareas del DAG:

  1. Para ver los archivos de registro, ingresa el siguiente comando y reemplaza VARIABLES por los valores apropiados:

    gcloud storage ls gs://BUCKET/logs --recursive

  2. Si deseas copiar un solo registro o subcarpeta, ingresa el siguiente comando y reemplaza VARIABLES por los valores apropiados (opcional):

    gcloud storage cp gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY --recursive

Visualiza los registros de transmisión en la consola de Google Cloud

Cloud Composer produce los siguientes registros:

  • airflow: los registros sin clasificar que generan los pods de Airflow
  • airflow-upgrade-db: los registros que genera el trabajo de inicialización de la base de datos de Airflow (antes airflow-database-init-job).
  • airflow-scheduler: los registros que genera el programador de Airflow
  • dag-Processor-manager: los registros del administrador de procesadores del DAG (la parte del programador que procesa los archivos DAG).
  • airflow-triggerer: los registros que genera el activador de Airflow
  • airflow-webserver: los registros que genera la interfaz web de Airflow
  • airflow-worker: los registros generados como parte del flujo de trabajo y la ejecución del DAG
  • cloudaudit.googleapis.com/activity: los registros que genera la actividad del administrador
  • composer-agent: los registros generados como parte de las operaciones de creación y actualización del entorno
  • gcs-syncd: Los registros generados por los procesos de sincronización de archivos.
  • build-log-worker-scheduler: Los registros de la compilación local de la imagen de trabajador de Airflow (durante las actualizaciones y la instalación del paquete de Python).
  • build-log-webserver: Los registros de la compilación de la imagen de servidor web de Airflow (durante las actualizaciones y la instalación del paquete de Python).
  • airflow-monitoring: los registros que genera la supervisión de Airflow

Estos registros se pueden ver en la pestaña de registros de la página de detalles del entorno o en Cloud Logging.

Para ver los registros de transmisión en la página de detalles del entorno, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página Entornos.

    Ir a Entornos

  2. Busca el nombre del entorno que deseas inspeccionar en la lista. Haz clic en el nombre del entorno para abrir la página Detalles del entorno y, luego, selecciona la pestaña Registros.

  3. Selecciona la subcategoría de los registros que deseas ver y elige el intervalo de tiempo que deseas inspeccionar con el selector de rango de tiempo en la esquina superior izquierda.

Para ver los registros de transmisión en Cloud Logging, haz lo siguiente:

  1. Ve al Explorador de registros en la consola de Google Cloud.

    Ir al Explorador de registros

  2. Selecciona los registros que deseas ver.

    Puedes filtrar por propiedades, como el nivel y el archivo de registro, la etiqueta predefinida, el nombre de la tarea, el flujo de trabajo y la fecha de ejecución. Para obtener más información selecciona y filtra registros, consulta Usa el Explorador de registros.

    Para obtener información sobre cómo exportar registros, consulta Configura y administra receptores.

¿Qué sigue?