Control de versiones de Dataproc

Dataproc usa imágenes para unir los conectores útiles de Google Cloud Platform y los componentes de Apache Spark y Apache Hadoop en un paquete que se puede implementar en un clúster de Dataproc. Estas imágenes contienen el sistema operativo base (Debian o Ubuntu) para el clúster, junto con los componentes principales y opcionales necesarios a fin de ejecutar trabajos, como Spark, Hadoop y Hive. Estas imágenes se actualizarán periódicamente para incluir características y mejoras nuevas. El control de versiones de Dataproc te permite seleccionar conjuntos de versiones de software cuando creas clústeres.

Cómo funciona el control de versiones

Cuando se crea una imagen, se asigna un número de Versión de imagen en el siguiente formato:

version_major.version_minor.version_sub_minor-os_distribution

Las siguientes distribuciones de SO actualmente se mantienen:

Código de distribución de SO Distribución de SO
debian12 Debian 12
debian10 Debian 10
debian11 Debian 11
rocky8 Rocky Linux 8
rocky9 Rocky Linux 9
ubuntu18 Ubuntu 18.04 LTS
ubuntu20 LTS de Ubuntu 20.4
ubuntu22 LTS de Ubuntu 22.04

Consulta las versiones anteriores de la imagen para las distribuciones del SO admitidas.

La práctica recomendada es especificar la versión de la imagen major.minor para los entornos de producción o cuando es importante la compatibilidad con versiones de componentes específicos. Las distribuciones del SO y subsecundarias se configurarán automáticamente a la última versión semanal.

Cómo seleccionar versiones

Cuando creas un clúster de Dataproc nuevo, se usa la versión con imágenes de Debian más reciente de forma predeterminada. Puedes seleccionar una versión de imagen de Debian, Rocky Linux o Ubuntu cuando creas un clúster (consulta la Lista de versiones de imágenes de Dataproc). Cuando especificas imágenes basadas en Debian, puedes omitir el sufijo del código de distribución del SO, por ejemplo, si especificas 2.0 para seleccionar la imagen 2.0-debian10. El sufijo del SO se debe usar para seleccionar una imagen de Rocky Linux o Ubuntu, por ejemplo, si se especifica 2.0-ubuntu18.

Comando de gcloud

Cuando usas el comando gcloud dataproc clusters create, puedes usar el argumento --image-version a fin de especificar una versión con imágenes para el clúster nuevo.

Ejemplo de imagen de Debian:

gcloud dataproc clusters create cluster-name \
    --image-version=2.0 \
    --region=region

Ejemplo de imagen de Ubuntu:

gcloud dataproc clusters create cluster-name \
    --image-version=2.0-ubuntu18 \
    --region=region

Se recomienda omitir la versión subsecundaria para que se use la última versión subsecundaria. Sin embargo, si es necesario, se puede especificar la versión subsecundaria, por ejemplo, “2.0.20”.

Puedes verificar tu versión actual con Google Cloud CLI.

gcloud dataproc clusters describe cluster-name \
    --region=region

API de REST

Puedes especificar el campo SoftwareConfig imageVersion como parte de una solicitud a la API cluster.create.

Ejemplo

POST /v1/projects/project-id/regions/us-central1/clusters/
{
  "projectId": "project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-b"
    },
    "masterConfig": {
      ...
      }
    },
    "workerConfig": {
      ...
      }
    },
    "softwareConfig": {
      "imageVersion": "2.0"
    }
  }
}
  

Console

Abre la página Crear un clúster de Dataproc. Se selecciona el panel Configurar clúster. El campo Tipo de imagen y Versión en la sección Control de versiones muestra la imagen que se usará cuando se crea el clúster. También se muestra la fecha de lanzamiento de la imagen. Inicialmente, la imagen predeterminada, la última versión disponible de Debian, se muestra como seleccionada. Haz clic en CHANGE para ver una lista de las imágenes disponibles. Puedes seleccionar una imagen personalizada o estándar para usar en el clúster.

Cuando se crean versiones nuevas

Las versiones principales nuevas se crearán periódicamente para incorporar una o más de las siguientes opciones:

  • Versiones principales de lo siguiente:
    • Spark, Hadoop y otros componentes de macrodatos
    • Conectores de Google Cloud
  • Actualizaciones o cambios importantes en la funcionalidad de Dataproc

Las nuevas versiones de vista previa (con el sufijo -RC) se lanzan antes del lanzamiento de una versión principal nueva:

  • Las imágenes de vista previa no están diseñadas para usarse en cargas de trabajo de producción.
  • Las versiones del componente de imagen de vista previa se pueden actualizar a la última versión disponible del componente en la versión de imagen de DG posterior a la vista previa.

Las versiones secundarias nuevas se crearán periódicamente para incorporar una o más de las siguientes opciones:

  • Lanzamientos y actualizaciones menores para lo siguiente:
    • Spark, Hadoop y otros componentes de macrodatos
    • Conectores de Google Cloud
  • Actualizaciones o cambios menores en la funcionalidad de Dataproc

Cuando se crea un versión secundaria nueva, su imagen de Debian se convierte en el valor predeterminado para la versión principal y representa la última versión de la versión principal.

Las versiones nuevas *subsecundarias se crearán periódicamente para incorporar una o más de las siguientes opciones:

  • Parches o correcciones para un componente en la imagen
  • Actualizaciones de versiones subsecundarias de los componentes

Versiones con imágenes y compatibilidad con Dataproc

Las versiones con imágenes secundarias son compatibles durante 24 meses después del lanzamiento inicial de DG (disponibilidad general). Durante este período, los clústeres que usan estas versiones de imagen son aptos para la asistencia (para recibir correcciones, vuelve a crear el clúster mediante la última versión de imagen subsecundaria compatible). Una vez que se cerró la ventana de asistencia, los clústeres que usan las versiones de imagen no son aptos para asistencia.

Versiones de imagen anteriores

Distribuciones de SO admitidas previamente

Las siguientes distribuciones de SO se admitían previamente:

Código de distribución de SO Distribución de SO Lastltimo parche (fin de asistencia)
debian9 Debian 9 10 de julio de 2020
deb8 Debian 8 26 de octubre de 2018

Versiones de imagen sin distribución explícita de SO

Antes del 16 de agosto de 2018, las versiones de imágenes se compilaban con Debian 8 y omitían el código de distribución del SO. Se especifican en el siguiente formato:

version_major.version_minor.version_sub_minor

0.1 y 0.2

Las versiones con imágenes lanzadas como Alfa o Beta antes de la disponibilidad general 1.0 de Dataproc no están sujetas a la política de asistencia de Dataproc.

Notas importantes sobre el control de versiones