Guías prácticas

Autenticación y control de acceso

• Autenticación

  Configura la autenticación para un entorno de Cloud Composer

• Control de acceso

  Controla el acceso a un entorno de Cloud Composer

Crear y configurar entornos

• Inhabilitar y habilitar Cloud Composer

  Habilita la API de Cloud Composer

• Configurar VPC compartidas

  Configura un proyecto host y recursos de red para Cloud Composer

• Configurar IP privadas

  Habilita la IP privada en un entorno de Cloud Composer

• Configura redes a gran escala para entornos de Cloud Composer

  Organiza redes a gran escala para entornos de Cloud Composer

• Configura las notificaciones por correo electrónico

  Configura notificaciones por correo electrónico y servicios SMTP para los entornos de Cloud Composer

• Especifica períodos de mantenimiento

  Especifica los períodos en los que puede ocurrir el mantenimiento de los entornos.

• Crear entornos

  Crea un entorno nuevo de Cloud Composer

• Configure variables de entorno

  Requisitos para configurar variables de entorno

• Administra las etiquetas de entorno y desglosa los costos de entorno

  Asigna etiquetas a tus entornos y, luego, desglosa los costos de facturación según esas etiquetas.

• Entornos de escalamiento

  Ajusta los parámetros de escalamiento y rendimiento de los entornos

• Administrar conexiones

  Usa conexiones de Airflow para acceder a recursos en un proyecto de Google Cloud

• Usa KubernetesPodOperator

  Lanza pods de GKE desde Cloud Composer al clúster de GKE de un entorno

Acceder a entornos

• Interfaz de línea de comandos de Airflow

  Usa la interfaz de la línea de comandos (CLI) de Apache Airflow con un entorno de Cloud Composer

• Interfaz web de Airflow

  Conéctate a la interfaz web de Apache Airflow para un entorno de Cloud Composer

• Base de datos de Airflow

  Conéctate a la base de datos de Airflow y ejecuta consultas de SQL.

Administra flujos de trabajo

• Escribir DAG

  Escribe DAG (flujos de trabajo) para un entorno de Cloud Composer

• Agregar y actualizar DAG

  Administra DAG (flujos de trabajo) en un entorno de Cloud Composer

• Agrupa tareas en DAG

  Agrupación de tareas dentro de los DAG en un entorno de Cloud Composer

• Importa operadores de paquetes de proveedores de backport

  Usar versiones nuevas de operadores en los entornos de Airflow 1.10.*

• Activar DAG

  Activa los DAG según un programa y de forma manual

• Activa DAG con Cloud Functions

  Activa los DAG en respuesta a eventos mediante Cloud Functions

• Instalar complementos personalizados

  Instala complementos en un entorno de Cloud Composer

• Instalar dependencias de Python

  Instala dependencias del índice de paquetes de Python en un entorno de Cloud Composer

• Probar DAG

  Prueba los DAG de manera local

• Solucionar problemas de DAG

  Soluciona problemas comunes del flujo de trabajo

Supervisar entornos

• Consultar registros de Airflow

  Visualiza registros de tareas de Airflow para un entorno de Cloud Composer

• Ver registros de auditoría

  Visualiza los registros de auditoría de un entorno de Cloud Composer

• Supervisar entornos en Stackdriver

  Usa Stackdriver para supervisar un entorno de Cloud Composer

Actualizar entornos

• Actualiza y borra entornos

  Actualiza o borra un entorno de Cloud Composer

• Actualiza entornos

  Actualiza un entorno existente de Cloud Composer a una versión nueva

• Limpia la base de datos de Airlfow

  Quita las entradas anteriores de la base de datos de Airflow para reducir su tamaño.

• Soluciona problemas de instalación de paquetes de PyPI

  Soluciona problemas de dependencias de paquetes de PyPI en entornos de Cloud Composer.

• Migra entornos a Airflow 2.0

  Transfiere DAG, datos y configuración de tus entornos de Airflow 1.10.* existentes a entornos de Airflow 2