Verifica el estado de tu entorno de Cloud Composer

---

Debido a la arquitectura de microservicios de Cloud Composer, la supervisión del funcionamiento de extremo a extremo de tu configuración de Airflow incluye varias métricas. En este instructivo, se muestra un enfoque para usar las métricas basadas en registros del conjunto de operaciones de Google Cloud a fin de configurar la supervisión y las alertas según una métrica personalizada.

Objetivos

• Implementar un DAG sencillo que se ejecute cada cierto tiempo en el entorno de Cloud Composer
• Aprovechar los registros que produce el conjunto de operaciones de Google Cloud para Cloud Composer mediante las métricas basadas en registros a fin de crear una métrica personalizada
• Configurar la supervisión y las alertas según la métrica personalizada

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• Cloud Composer

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Antes de comenzar

1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

2. En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.

   Nota: Si no planeas conservar los recursos que creaste durante este procedimiento, crea un proyecto en lugar de seleccionar uno existente. Cuando termines, puedes borrar el proyecto y quitar todos los recursos asociados con él.

   Ir al selector de proyectos

3. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

4. En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.

   Nota: Si no planeas conservar los recursos que creaste durante este procedimiento, crea un proyecto en lugar de seleccionar uno existente. Cuando termines, puedes borrar el proyecto y quitar todos los recursos asociados con él.

   Ir al selector de proyectos

5. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

6. Crea un entorno de Cloud Composer.
7. Asegúrate de tener los permisos adecuados. Se requieren los siguientes permisos para acceder a los registros y las métricas de tu entorno de Cloud Composer:
   • Registros y supervisión, de solo lectura: logging.viewer y monitoring.viewer
   • Registros (incluidos los privados), de solo lectura: logging.privateLogViewer
   • Supervisión, de lectura y escritura: monitoring.editor

   Para obtener más información, consulta Guía de control de acceso.

Agrega el DAG a tu entorno

1. Sube el siguiente DAG al depósito de Cloud Storage del entorno:

   import airflow
   from airflow import DAG
   from airflow.operators.bash_operator import BashOperator
   from datetime import timedelta
   
   default_args = {
       'retries': 1,
       'retry_delay': timedelta(minutes=5),
       'start_date': airflow.utils.dates.days_ago(0)
   }
   
   dag = DAG(
       'liveness',
       default_args=default_args,
       description='liveness monitoring dag',
       schedule_interval=timedelta(minutes=1))
   
   t1 = BashOperator(
       task_id='echo', bash_command='echo test', dag=dag, depends_on_past=False)
   

2. Espera hasta que Airflow programe el DAG. Puedes comprobar el estado en la interfaz web de Airflow.

   

Crea la métrica de contador basada en registros en el conjunto de operaciones de Google Cloud

1. Ve al Explorador de registros.

   Ir al Explorador de registros.

2. Asegúrate de que el proyecto correcto esté seleccionado en la parte superior de la página o usa el menú desplegable de la parte superior de la página para seleccionar un proyecto.

3. En el campo de recursos, selecciona Cloud Composer Environment (Entorno de Cloud Composer) y, luego, elige la ubicación y el nombre del entorno.

4. En el campo de tipo de registro, selecciona airflow-worker.

5. En la barra de filtros, crea un filtro a fin de mostrar solo los registros que emite el DAG en funcionamiento. Para ello, ingresa la siguiente etiqueta: label:workflow:liveness.

6. En la parte superior de la página, haz clic en Create Metric (Crear métrica). El Metric Editor (Editor de métricas) se muestra en el lado derecho de la página, y el panel del visor que muestra tus registros aparece en el lado izquierdo.

   

7. En el panel Metric editor (Editor de métricas), configura los siguientes campos:

   1. Name (Nombre): elige un nombre único entre las métricas basadas en registros de tu proyecto, por ejemplo, liveness-logs-cnt.
   2. Descripción: describe la métrica.
   3. Type (Tipo): Contador.

8. Haz clic en Create Metric (Crear métrica). Aparecerá la página de métricas basadas en registros.

Crea la política de alertas

1. En la página de métricas basadas en registros, comprueba la métrica para la que deseas crear una política y, en el menú a la derecha de la ficha de la métrica, selecciona Create alert from metric (Crear alerta a partir de métricas). Aparecerá la página Crear una política de alertas nueva.

   

2. En la página Crear una política de alertas nueva, en la sección Condiciones, haz clic en Editar. Aparece una ventana de creación de MÉTRICA con datos propagados previamente.

3. Ingresa un nombre para la condición (opcional).

4. En la sección Target (Objetivo), para Aggregator (Agregador), selecciona count (recuento).

5. En la sección Configuration (Configuración), para Threshold (Umbral), configura el valor según sea necesario.

   

6. Haz clic en Guardar. Aparece el panel Crear política de alertas nueva con la condición completada.

7. Completa las secciones Notificaciones, Documentación y Asignar un nombre a esta política de la política de alertas.

8. Haz clic en Guardar.

Limpia

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Precaución: Borrar un proyecto tiene estas consecuencias:

• Se borra todo en el proyecto. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varias infraestructuras, instructivos y guías de inicio rápido la reutilización de proyectos puede ayudarte a evitar exceder los límites de las cuotas del proyecto.

1. En la consola de Google Cloud, ve a la página Administrar recursos.

   Ir a Administrar recursos

2. En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
3. En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.

¿Qué sigue?

Si deseas obtener información sobre cómo usar un panel personalizado para ver las métricas de tu entorno de Cloud Composer, consulta Supervisa entornos y flujos de trabajo en el conjunto de operaciones de Google Cloud.