Crea entornos
Configura las Herramientas de redes
-
Configurar herramientas de redes de IP privada
Configura las herramientas de redes de tu proyecto para entornos privados de Cloud Composer con IP.
-
Configurar herramientas de redes de VPC compartidas
Configura las herramientas de redes del proyecto host y de servicio para los entornos de Cloud Composer.
-
Configurar los Controles del servicio de VPC
Crea entornos en un perímetro de los Controles del servicio de VPC.
-
Configurar redes a gran escala para entornos de Cloud Composer
Configure redes a gran escala para entornos de Cloud Composer
-
Configurar rangos de IP públicas que se usan de forma privada
Usa rangos de IP públicos de uso privado en tus entornos.
-
Habilita el agente de enmascaramiento de IP
Usa masquerading de IP con tu entorno.
Configurar entornos
-
Configure las variables de entorno
Establece las variables de entorno que están disponibles para los procesos del programador, trabajador y servidor web de Apache Airflow.
-
Anula las opciones de configuración de Airflow
Anula las opciones de configuración de Airflow para ajustar la instancia de Airflow a tus necesidades y requisitos.
-
Escalar entornos
Cambia los parámetros de escala y rendimiento de tu entorno.
-
Administrar conexiones de Airflow
Almacena la información de conexión que Airflow usa para comunicarse con otras API, como proyectos de Google Cloud, otros proveedores de servicios en la nube o servicios de terceros.
-
Inhabilita y habilita la serialización de DAG
Configura el programador de Airflow para que procese los archivos DAG antes de enviarlos al servidor web.
-
Especificar los períodos de mantenimiento
Configura períodos para que Cloud Composer pueda realizar el mantenimiento de tu entorno.
-
Configura las notificaciones por correo electrónico
Configura los servicios SMTP para tu entorno.
-
Administrar las etiquetas del entorno y desglosar los costos del entorno
Asigna etiquetas a tus entornos y, luego, desglosa los costos de facturación según estas etiquetas
Configurar la seguridad y el control de acceso
-
Control de acceso con IAM
Asigna funciones y permisos para las cuentas de usuario y servicio que funcionan con Cloud Composer.
-
Control de acceso a la IU de Airflow
Use el control de acceso de la IU de Airflow (Control de acceso basado en funciones de Airflow o RBAC de Airflow) para asignar permisos a las acciones disponibles dentro de la IU de Airflow.
-
Usa claves de encriptación administradas por el cliente
Encripta datos en tu entorno con claves de encriptación administradas por el cliente (CMEK).
-
Configurar restricciones de ubicación de recursos
Configura las restricciones de ubicación de los recursos para que Cloud Composer almacene tus datos en las ubicaciones que especifiques.
-
Configurar Secret Manager
Almacena datos sensibles en Secret Manager y accede a ellos desde tu entorno.
Actualizar, actualizar y borrar entornos
-
Actualizar entornos
Cambia la configuración de tu entorno.
-
Actualiza entornos
Actualiza tu entorno a una versión posterior de Cloud Composer y Airflow
-
Borra entornos
Borra tu entorno.
-
Guarda y carga instantáneas del entorno
Guarda y carga el estado de tu entorno mediante instantáneas del entorno.
-
Limpiar la base de datos de Airflow
Quita las entradas anteriores de la base de datos de Airflow para reducir su tamaño.
-
Migrar entornos a Airflow 2
Transfiere DAG, datos y configuración desde tu Airflow 1.10.* a entornos de Airflow 2.
-
Migrar entornos a Cloud Composer 2 (desde Airflow 2)
Transfiere los DAG, los datos y la configuración de tu entorno de Cloud Composer 1 existente con Airflow 2 a un entorno de Cloud Composer 2.
-
Migra entornos a Cloud Composer 2 (desde Airflow 2) mediante instantáneas
Transfiere DAG, datos y configuración de tu entorno existente de Cloud Composer 1 con Airflow 2 a un entorno de Cloud Composer 2 mediante instantáneas del entorno.
-
Migrar entornos a Cloud Composer 2 (desde Airflow 1)
Transfiere los DAG, los datos y la configuración de tu entorno de Cloud Composer 1 existente con Airflow 1 a un entorno de Cloud Composer 2.
-
Migra entornos a Cloud Composer 2 (desde Airflow 1) mediante instantáneas
Transfiere los DAG, los datos y la configuración de tu entorno existente de Cloud Composer 1 con Airflow 1 a un entorno de Cloud Composer 2 mediante instantáneas del entorno.
Acceder a entornos
-
Interfaz de línea de comandos de Airflow
Ejecuta comandos de la CLI de Airflow en tu entorno.
-
Interfaz web de Airflow
Accede a la IU de Airflow para tu entorno.
-
API de REST de Airflow
Realiza solicitudes a la API de REST de Airflow.
-
Base de datos de Airflow
Accede a la base de datos de Airflow y ejecuta consultas.
Administrar DAG
-
Escribir DAG
Escribir archivos de definición de DAG
-
Agregar y actualizar DAG
Sube los DAG al bucket de tu entorno.
-
Activar DAG
Activa DAG según la programación, de forma manual y con otros métodos.
-
Importar operadores desde paquetes de proveedores de portabilidad a versiones anteriores
Usa versiones más recientes de los operadores en tus entornos de Airflow 1.10.* Para ello, impórtalos desde paquetes de operadores de portabilidad a versiones anteriores.
-
Usar KubernetesPodOperator
Ejecuta pods en el clúster de tu entorno mediante KubernetesPodOperator
-
Usa los operadores de GKE
Administra clústeres y ejecuta pods en ellos con operadores de GKE.
-
Agrupar tareas dentro de los DAG
Agrupa tareas en tus DAG con diferentes métodos que proporciona Airflow.
-
Activar DAG con Cloud Functions
Activa DAG en tu entorno con Cloud Functions
-
Instalar complementos personalizados
Instala complementos personalizados en tu entorno de Cloud Composer.
-
Instalar dependencias de Python
Instala paquetes de Python en tu entorno.
-
Probar DAG
Verifica los DAG para ver si hay errores, actualiza y prueba los DAG implementados.
Supervisar entornos
-
Ver registros de Airflow
Acceder y ver los registros de Airflow para tu entorno
-
Ver registros de auditoría
Habilita y visualiza los registros de auditoría para Cloud Composer
-
Supervisar entornos
Acceder al panel de supervisión de tu entorno y usarlo
-
Supervisar entornos con Monitoring
Visualiza las métricas de tu entorno en Monitoring y accede a los registros del entorno en Cloud Logging.