Guías prácticas

Crea entornos

• Habilitar e inhabilitar el servicio de Cloud Composer

  Habilita e inhabilita el servicio de Cloud Composer en tu proyecto.

• Crear entornos

  Crear entornos de Cloud Composer con Google Cloud Console, gcloud, API de Cloud Composer y Terraform

Configura las Herramientas de redes

• Configurar herramientas de redes de IP privada

  Configura las herramientas de redes de tu proyecto para entornos de IP privada de Cloud Composer.

• Configurar herramientas de redes de VPC compartidas

  Configura las herramientas de redes de los proyectos host y de servicio para los entornos de Cloud Composer.

• Configurar los Controles del servicio de VPC

  Crear entornos en un perímetro de Controles del servicio de VPC

• Configurar redes a gran escala para entornos de Cloud Composer

  Configure redes a gran escala para entornos de Cloud Composer

• Configurar rangos de IP públicas que se usan de forma privada

  Usa rangos de IP públicas de uso privado en tus entornos.

• Habilita el agente de enmascaramiento de IP

  Usa masquerading de IP con tu entorno.

Configurar entornos

• Configure las variables de entorno

  Configura variables de entorno que estén disponibles para los procesos de programador, trabajador y servidor web de Apache Airflow.

• Anula las opciones de configuración de Airflow

  Anula las opciones de configuración de Airflow para ajustar la instancia de Airflow según tus necesidades y requisitos.

• Escalar entornos

  Cambia los parámetros de escalamiento y rendimiento de tu entorno.

• Administrar conexiones de Airflow

  Almacena la información de conexión que Airflow usa para comunicarse con otras API, como proyectos de Google Cloud, otros proveedores de servicios en la nube o servicios de terceros.

• Habilita e inhabilita la serialización de DAG

  Configura el programador de Airflow para que procese archivos DAG antes de que se envíen al servidor web.

• Especificar los períodos de mantenimiento

  Configura períodos en los que Cloud Composer puede realizar el mantenimiento de tu entorno.

• Configura las notificaciones por correo electrónico

  Configura los servicios SMTP para tu entorno.

• Administrar las etiquetas del entorno y desglosar los costos del entorno

  Asigna etiquetas a tus entornos y, luego, desglosa los costos de facturación según estas etiquetas

Configurar la seguridad y el control de acceso

• Control de acceso con IAM

  Asigna funciones y permisos a las cuentas de usuario y servicio que funcionan con Cloud Composer.

• Control de acceso a la IU de Airflow

  Usa el control de acceso a la IU de Airflow (Control de acceso basado en funciones de Airflow o RBAC de Airflow) para asignar permisos para las acciones disponibles en la IU de Airflow.

• Usar claves de encriptación administradas por el cliente

  Encripta datos en tu entorno con claves de encriptación administradas por el cliente (CMEK).

• Configurar restricciones de ubicación de recursos

  Configura restricciones de ubicación de recursos para que Cloud Composer almacene los datos en las ubicaciones que especifiques.

• Configurar Secret Manager

  Almacena datos sensibles en Secret Manager y accede a ellos desde tu entorno.

Actualizar, actualizar y borrar entornos

• Actualizar entornos

  Cambia la configuración de tu entorno.

• Actualiza entornos

  Actualizar tu entorno a una versión posterior de Cloud Composer y Airflow

• Borra entornos

  Borra tu entorno.

• Guarda y carga instantáneas de entorno

  Guarda y carga el estado de tu entorno con instantáneas.

• Limpiar la base de datos de Airflow

  Quita las entradas anteriores de la base de datos de Airflow para reducir su tamaño.

• Migrar entornos a Airflow 2

  Transfiere DAG, datos y configuración de tu Airflow 1.10 existente.* entornos de Airflow 2.

• Migra entornos a Cloud Composer 2 (de Airflow 2)

  Transfiere DAG, datos y configuraciones de su entorno de Cloud Composer 1 existente con Airflow 2 a un entorno de Cloud Composer 2.

• Migra entornos a Cloud Composer 2 (de Airflow 2) mediante instantáneas

  Transfiere DAG, datos y parámetros de configuración de su entorno de Cloud Composer 1 existente con Airflow 2 a un entorno de Cloud Composer 2 mediante instantáneas de entorno.

• Migra entornos a Cloud Composer 2 (de Airflow 1)

  Transfiere DAG, datos y configuraciones de su entorno de Cloud Composer 1 existente con Airflow 1 a un entorno de Cloud Composer 2.

• Migra entornos a Cloud Composer 2 (de Airflow 1) mediante instantáneas

  Transfiere DAG, datos y parámetros de configuración de su entorno de Cloud Composer 1 existente con Airflow 1 a un entorno de Cloud Composer 2 mediante instantáneas de entorno.

Acceder a entornos

• Interfaz de línea de comandos de Airflow

  Ejecuta comandos de la CLI de Airflow en tu entorno.

• Interfaz web de Airflow

  Acceder a la IU de Airflow para tu entorno

• API de REST de Airflow

  Realiza solicitudes a la API de REST de Airflow.

• Base de datos de Airflow

  Acceder a la base de datos de Airflow y ejecutar consultas

Administrar DAG

• Escribir DAG

  Escribir archivos de definición de DAG

• Agregar y actualizar DAG

  Sube los DAG a tu bucket de entorno.

• Activar DAG

  Activa los DAG de forma programada, manual y con otros métodos.

• Importar operadores desde paquetes de proveedores de portabilidad a versiones anteriores

  Usa versiones más recientes de operadores en tus entornos de Airflow 1.10.* Si los importas desde paquetes de operadores de backport.

• Usar KubernetesPodOperator

  Ejecuta pods en el clúster de tu entorno con KubernetesPodOperator

• Usa los operadores de GKE

  Administrar clústeres y ejecutar Pods en ellos con operadores de GKE

• Agrupar tareas dentro de los DAG

  Agrupa tareas en tus DAG con los diferentes métodos que proporciona Airflow.

• Activar DAG con Cloud Functions

  Activa DAG en tu entorno con Cloud Functions

• Instalar complementos personalizados

  Instala complementos personalizados en tu entorno de Cloud Composer.

• Instalar dependencias de Python

  Instala paquetes de Python en tu entorno.

• Probar DAG

  Verifique sus DAG para detectar errores, actualice y pruebe los DAG implementados.

Supervisar entornos

• Ver registros de Airflow

  Ver y ver los registros de Airflow para su entorno

• Ver registros de auditoría

  Habilita y visualiza los registros de auditoría de Cloud Composer

• Supervisar entornos

  Acceder al panel de supervisión de tu entorno y usarlo

• Supervisar entornos con Monitoring

  Consulta las métricas de tu entorno en Monitoring y accede a los registros del entorno en Cloud Logging.