Actualizar entornos

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Vista previa — Cloud Composer 3

Esta función está sujeta a las "Condiciones de las Ofertas de Fase Previa a la DG" de la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de fase previa a la DG están disponibles “tal cual” y podrían tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

En esta página, se describe cómo actualizar tu entorno a un nuevo Airflow versión.

Información acerca de las operaciones de actualización

En Cloud Composer 3, no administras la versión de Cloud Composer del entorno:

• Cloud Composer actualiza la infraestructura automáticamente componentes del entorno. Estos componentes se relacionan con la funcionalidad de Cloud Composer y no cambian el funcionamiento de Airflow. o cómo se ejecutan tus DAG de Airflow.
• Cloud Composer no actualiza automáticamente la versión de Airflow y compilación, componentes de Airflow o componentes estrechamente relacionados con Airflow de las cargas de trabajo. No se modifican cuando se actualizan los componentes de la infraestructura. automáticamente.
• Puedes actualizar de forma manual a un nuevo Airflow versión o compilación.

Por ejemplo, puedes usar la misma versión y compilación de Airflow para varias meses, sin realizar ninguna actualización, y tu entorno aún recibe las actualizaciones, correcciones y mejoras más recientes de Cloud Composer los componentes de infraestructura del entorno. Cuando luego decides pasar a un nueva versión o compilación de Airflow, debes actualizar la versión de Airflow en tu en un entorno de nube.

Acerca de la actualización de la versión de Airflow

Tu entorno cambia la versión o compilación de Airflow de la siguiente manera forma:

• Tú controlas la versión (y la compilación) de Airflow de tu entorno. Puedes realizar la operación de actualización de la versión de Airflow cuando elijas tu entorno a una versión diferente de Airflow. Por ejemplo, esto podría suceder si la versión actual y la compilación de Airflow están ya no es compatible.

• Cloud Composer vuelve a implementar los componentes de Airflow de tu entorno con la versión y la compilación de Airflow especificadas.

• Cloud Composer aplica cambios de configuración de Airflow, como paquetes PyPI personalizados o anulaciones de la opción de configuración de Airflow, si tu los tenían antes de la actualización.

• Cloud Composer actualiza la conexión airflow_db de Airflow a apuntan a la nueva base de datos de Cloud SQL.

Cambiar la versión de Airflow no cambia la forma en que te conectas con los recursos en tu entorno, como la URL del bucket de tu entorno, o Servidor web de Airflow.

Información acerca de las operaciones de actualización automática de la infraestructura

Cloud Composer se ejecuta periódicamente operaciones automáticas de actualización de infraestructura:

• Las operaciones de actualización automática de la infraestructura se ejecutan periódicamente durante períodos de mantenimiento especificados para el entorno.

• No es posible inhabilitar las actualizaciones automáticas de infraestructura en Cloud Composer 3. Puedes controlar los períodos en los que se realizan las actualizaciones automáticas puede ejecutarse especificando períodos de mantenimiento personalizados para tu entorno.

• Esta operación se puede ver en la consola de Google Cloud y en los registros del entorno, como a cualquier otra operación de larga duración. Si bien el se está ejecutando la operación, no puedes iniciar otras operaciones en el entorno (pero aún puedes ejecutar DAG de Airflow).

• Las actualizaciones automáticas de infraestructura no interrumpen Airflow. o las tareas de Airflow que ya están en ejecución. Es posible que se genere una actualización en un período corto sin disponibilidad para la infraestructura del entorno de la infraestructura, como la supervisión del entorno.

Limitaciones de las operaciones de actualización

Las operaciones de actualización tienen las siguientes limitaciones:

• No puedes cambiar a una versión inferior o compilación de Airflow anterior.

• No puedes actualizar tu entorno si la base de datos de Airflow contiene más de 16 GB de datos. Durante una actualización, se muestra una advertencia se muestra si el tamaño de la base de datos de Airflow supera los 16 GB. En este caso, realiza el mantenimiento de la base de datos para reducir el tamaño de la base de datos.

Antes de comenzar

Precaución:

• Asegúrate de conocer las diferencias entre la versión actual de Airflow y la versión a la que actualizarás. La nueva versión puede incluir diferentes versiones del software paquetes, parches de Cloud Composer o cambios en Airflow que proporciona el proyecto de código abierto de Airflow. Puedes consulta las versiones de los paquetes del proveedor que se incluyen en una versión específica.

• Asegúrate de que tus DAG sean compatibles con la nueva versión de Airflow y versiones nuevas de todos los paquetes del proveedor (incluido el proveedor de Airflow para los servicios de Google y Google Cloud). Los cambios incompatibles pueden hará que los DAG dejen de funcionar.

• A diferencia de las actualizaciones automáticas de infraestructura, cuando un entorno se actualiza a una nueva versión o compilación de Airflow, se finalizan todas las tareas en ejecución. Cuando se completa una actualización, Airflow programa estas tareas para un reintento, según la forma en que configures reintentos para tus DAG.

• Recomendamos crear una nueva instantánea del para poder recrearlo en caso de que sea necesario.

• Tu cuenta debe tener un rol que pueda activar la actualización del entorno las operaciones. Además, la cuenta de servicio del entorno debe tener una que tenga permisos suficientes para realizar operaciones de actualización. Para ver más consulta Control de acceso.

Comprueba que tu entorno esté actualizado

Cloud Composer muestra advertencias cuando la compilación de Airflow de tu entorno se acerca a la fecha de finalización de la compatibilidad. Puedes usar estas advertencias para mantener siempre tu entorno compatibles.

Figura 1: Se muestra un mensaje de baja en el entorno página de detalles

Cloud Composer realiza un seguimiento del Versión y compilación de Airflow en la que se basa tu entorno. Cuando se acerca al fecha de finalización de la asistencia verás una advertencia en la lista de entornos Detalles del entorno.

Nota: Puedes actualizar tu entorno en cualquier momento, incluso si que la versión y la compilación de Airflow del entorno hayan superado el período de asistencia.

Para comprobar si tu entorno está actualizado, sigue estos pasos:

Console

1. En la consola de Google Cloud, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. En el campo Versión de la imagen, se muestra uno de los siguientes mensajes:

   • Versión disponible más reciente: Tu imagen de entorno es totalmente compatible.

   • Nueva versión disponible: La imagen de tu entorno es completamente compatible y puedes actualizarla a una versión posterior.

   • La compatibilidad con esta versión de imagen finaliza en… La imagen del entorno se acerca al final del período de asistencia completa.

   • Esta versión no es compatible desde… Tu entorno pasó el período de asistencia completa.

gcloud

Esta funcionalidad no está disponible a través de Google Cloud CLI. Puedes Consulta las actualizaciones disponibles, que muestran las versiones nuevas que están disponibles.

API

Esta funcionalidad no está disponible mediante la API. Puedes Consulta las actualizaciones disponibles, que muestran las versiones nuevas que están disponibles.

Ver actualizaciones disponibles

Para ver las versiones de Cloud Composer a las que puedes actualizar, sigue estos pasos:

Console

1. En la consola de Google Cloud, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno y haz clic en Actualiza la versión con imágenes.

4. Para ver la lista de versiones disponibles, haz clic en Cloud Composer Menú desplegable Versión de la imagen.

gcloud

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región en la que se encuentra el entorno

Ejemplo:

gcloud composer environments list-upgrades example-environment \
  --location us-central1

API

Puedes ver las versiones disponibles para una ubicación. Para hacerlo, construye un Solicitud a la API de imageVersions.list.

Por ejemplo:

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Verifica si hay conflictos de paquetes de PyPI antes de la actualización

Vista previa — Upgrade check

Esta función está sujeta a las "Condiciones de las Ofertas de Fase Previa a la DG" de la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de fase previa a la DG están disponibles “tal cual” y podrían tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Puedes verificar si los paquetes de PyPI instalados en tu entorno tienen conflictos con paquetes preinstalados en la nueva Versión o compilación de Airflow.

Una verificación correcta significa que no hay conflictos en el paquete de PyPI. dependencias entre la versión actual y la especificada. Sin embargo, un o la actualización de la versión aún no se realiza correctamente por otros motivos.

Console

Para ejecutar una verificación de actualización en tu entorno, haz lo siguiente:

1. En la consola de Google Cloud, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno, busca la entrada Versión con imágenes y haz clic en Actualizar.

4. En el diálogo Actualización de la versión del entorno, en la lista desplegable Versión nueva, selecciona una versión o compilación de Airflow a la que quieres realizar la actualización.

5. En la sección Compatibilidad de paquetes de PyPI, haz clic en Verificar la presencia de conflictos.

6. Espera hasta que se complete la verificación. Si hay conflictos de dependencia de paquetes de PyPI, los mensajes de error que se muestran contienen detalles sobre los paquetes y las versiones de paquetes en conflicto.

gcloud

Para ejecutar una verificación de actualización de tu entorno, ejecuta el comando environments check-upgrade con el Versión o compilación de Airflow. a la que quieres realizar la actualización.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región en la que se encuentra el entorno
• VERSION con la versión y la compilación nuevas de Airflow que quieres actualizar en el formato airflow-x.y.z-build.t. También puedes usar alias de la versión.

Ejemplo:

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --airflow-version airflow-2.7.3-build.9

Resultado de ejemplo:

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-3-airflow-2.7.3-build.9. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

Como alternativa, puedes ejecutar una verificación de actualización de forma asíncrona. Usa el argumento --async para realizar una llamada asíncrona y, luego, verifica el resultado con el comando gcloud composer operations describe.

API

Realiza una solicitud a la API de environments.checkUpgrade.

Especifica la versión con imágenes en el campo imageVersion:

{
  "imageVersion": "VERSION"
}

Reemplaza VERSION por la nueva versión a la que deseas actualizar. el formato composer-3-airflow-x.y.z-build.t.

Actualiza tu entorno

Precaución: Pausa todos los DAG y espera a que las tareas en curso finalicen antes de la actualización.

Cómo actualizar tu entorno a una versión o compilación nueva de Airflow:

Console

1. En la consola de Google Cloud, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Configuración del entorno.

4. Busca el elemento Versión de la imagen y haz clic en Actualizar.

5. En el menú desplegable Versión de la imagen, selecciona una versión o compilación de Airflow a la que quieres realizar la actualización.

6. Haz clic en Actualizar.

gcloud

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región en la que se encuentra el entorno
• VERSION con la versión y la compilación nuevas de Airflow que quieres actualizar en el formato airflow-x.y.z-build.t. También puedes usar alias de la versión.

Por ejemplo:

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --airflow-version airflow-2.7.3-build.9

API

1. Realiza una solicitud a la API de environments.patch.

2. En esta solicitud, realiza lo siguiente:

   1. En el parámetro updateMask, especifica la Máscara de config.softwareConfig.imageVersion.

   2. En el cuerpo de la solicitud, en el campo imageVersion, especifica un nuevo elemento a la que quieres actualizar.

Por ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-3-airflow-2.7.3-build.9"
      }
    }
  }

Terraform

El campo image_version en el bloque config.software_config controles la versión de Airflow y la compilación de tu entorno. En este especifica una nueva versión de Airflow y compila.

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región en la que se encuentra el entorno la versión y compilación nuevas de Airflow que quieres actualizar en el formato airflow-x.y.z-build.t. También puedes usar alias de la versión.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "airflow-2.7.3-build.9"
    }
  }
}

¿Qué sigue?

• Lista de versiones
• Control de versiones de Cloud Composer
• Actualización de entornos