Verifica el estado de tu entorno de Cloud Composer

Debido a la arquitectura de microservicios de Cloud Composer, la supervisión del funcionamiento de extremo a extremo de tu configuración de Airflow incluye varias métricas. En este instructivo, se muestra un enfoque para usar las métricas basadas en registros del conjunto de operaciones de Google Cloud a fin de configurar la supervisión y las alertas según una métrica personalizada.

Objetivos

  • Implementar un DAG sencillo que se ejecute cada cierto tiempo en el entorno de Cloud Composer
  • Aprovechar los registros que produce el conjunto de operaciones de Google Cloud para Cloud Composer mediante las métricas basadas en registros a fin de crear una métrica personalizada
  • Configurar la supervisión y las alertas según la métrica personalizada

Costos

Cloud Composer es un producto pago, por lo que incurrirás en costos de uso en este instructivo. Para obtener más información, consulta Precios. También puedes usar la calculadora de precios para generar una estimación de los costos en función de tu uso proyectado. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Antes de comenzar

  1. Accede a tu Cuenta de Google.

    Si todavía no tienes una cuenta, regístrate para obtener una nueva.

  2. En la página de selección de proyectos de Cloud Console, selecciona o crea un proyecto de Cloud.

    Ir a la página Selector de proyectos

  3. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud. Obtén información sobre cómo confirmar que tienes habilitada la facturación para tu proyecto.

  4. Crea un entorno de Cloud Composer.
  5. Asegúrate de tener los permisos adecuados. Se requieren los siguientes permisos para acceder a los registros y las métricas de tu entorno de Cloud Composer:
    • Registros y supervisión, de solo lectura: logging.viewer y monitoring.viewer
    • Registros (incluidos los privados), de solo lectura: logging.privateLogViewer
    • Supervisión, de lectura y escritura: monitoring.editor

    Para obtener más información, consulta Control de acceso de Cloud Composer.

Agrega el DAG a tu entorno

  1. Sube el siguiente DAG al depósito de Cloud Storage del entorno:

    import airflow
    from airflow import DAG
    from airflow.operators.bash_operator import BashOperator
    from datetime import timedelta
    
    default_args = {
        'retries': 1,
        'retry_delay': timedelta(minutes=5),
        'start_date': airflow.utils.dates.days_ago(0)
    }
    
    dag = DAG(
        'liveness',
        default_args=default_args,
        description='liveness monitoring dag',
        schedule_interval=timedelta(minutes=1))
    
    t1 = BashOperator(
        task_id='echo', bash_command='echo test', dag=dag, depends_on_past=False)
    
  2. Espera hasta que Airflow programe el DAG. Puedes comprobar el estado en la interfaz web de Airflow.

    Interfaz web de Airflow

Crea la métrica de contador basada en registros en el conjunto de operaciones de Google Cloud

  1. Ve al Visor de registros.

    Ir al visor de registros

  2. Asegúrate de que el proyecto correcto esté seleccionado en la parte superior de la página o usa el menú desplegable de la parte superior de la página para seleccionar un proyecto.

  3. En el campo de recursos, selecciona Cloud Composer Environment (Entorno de Cloud Composer) y, luego, elige la ubicación y el nombre del entorno.

  4. En el campo de tipo de registro, selecciona airflow-worker.

  5. En la barra de filtros, crea un filtro a fin de mostrar solo los registros que emite el DAG en funcionamiento. Para ello, ingresa la siguiente etiqueta: label:workflow:liveness.

  6. En la parte superior de la página, haz clic en Create Metric (Crear métrica). El Metric Editor (Editor de métricas) se muestra en el lado derecho de la página, y el panel del visor que muestra tus registros aparece en el lado izquierdo.

    Crear métrica

  7. En el panel Metric editor (Editor de métricas), configura los siguientes campos:

    1. Name (Nombre): elige un nombre único entre las métricas basadas en registros de tu proyecto, por ejemplo, liveness-logs-cnt.
    2. Descripción: describe la métrica.
    3. Type (Tipo): Contador.
  8. Haz clic en Create Metric (Crear métrica). Aparecerá la página de métricas basadas en registros.

Crea la política de alertas

  1. En la página de métricas basadas en registros, comprueba la métrica para la que deseas crear una política y, en el menú a la derecha de la ficha de la métrica, selecciona Create alert from metric (Crear alerta a partir de métricas). Aparecerá la página Crear una política de alertas nueva.

    Crear alerta

  2. En la página Crear una política de alertas nueva, en la sección Condiciones, haz clic en Editar. Aparece una ventana de creación de MÉTRICA con datos propagados previamente.

  3. Ingresa un nombre para la condición (opcional).

  4. En la sección Target (Objetivo), para Aggregator (Agregador), selecciona count (recuento).

  5. En la sección Configuration (Configuración), para Threshold (Umbral), configura el valor según sea necesario.

    Política de alertas

  6. Haga clic en Save. Aparece el panel Crear política de alertas nueva con la condición completada.

  7. Completa las secciones Notificaciones, Documentación y Asignar un nombre a esta política de la política de alertas.

  8. Haga clic en Save.

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud Platform por los recursos que usaste en este instructivo:

  1. En Cloud Console, ve a la página Administrar recursos.

    Ir a la página Administrar recursos

  2. En la lista de proyectos, selecciona el proyecto que deseas borrar y haz clic en Borrar .
  3. En el cuadro de diálogo, escribe el ID del proyecto y haz clic en Cerrar para borrar el proyecto.

Qué sigue

Si deseas obtener información sobre cómo usar un panel personalizado para ver las métricas de tu entorno de Cloud Composer, consulta Supervisa entornos y flujos de trabajo en el conjunto de operaciones de Google Cloud.