Instala el SDK de Apache Beam

En esta página, se muestra cómo instalar el SDK de Apache Beam para que puedas ejecutar tus canalizaciones en el servicio de Cloud Dataflow.

Aviso de baja del SDK de Cloud Dataflow: La versión 2.5.0 es la última actualización del SDK de Cloud Dataflow independiente de las actualizaciones del SDK de Apache Beam. El servicio de Cloud Dataflow es compatible en su totalidad con las versiones oficiales del SDK de Apache Beam. El servicio de Cloud Dataflow también es compatible con los SDK de Apache Beam de actualizaciones anteriores a partir de la versión 2.0.0. Consulta la página de asistencia de Cloud Dataflow para obtener el estado de asistencia de varios SDK.

Instala versiones del SDK

El SDK de Apache Beam es un modelo de programación de código abierto para canalizaciones de datos. Estas canalizaciones se definen con un programa de Apache Beam y se puede elegir un ejecutor, como Cloud Dataflow, para ejecutar tu canalización.

Java

La versión más reciente del SDK de Apache Beam para Java es la 2.16.0. Consulta el anuncio de lanzamiento para obtener información sobre los cambios incluidos en la actualización.

A fin de obtener el SDK de Apache Beam para Java con Maven, usa uno de los artefactos publicados del Repositorio central de Maven.

Agrega una dependencia en tu archivo pom.xml y especifica un rango de versión para el artefacto del SDK como se indica a continuación:

  <dependency>
  <groupId>org.apache.beam</groupId>
  <artifactId>beam-sdks-java-core</artifactId>
  <version>[2.16.0, 2.99)</version>
  </dependency>
  

Nota: El artefacto beam-sdks-java-core contiene solo el SDK principal. Otras dependencias (como E/S o los ejecutores) deben agregarse de forma explícita a la lista de dependencias.

Python

La versión más reciente del SDK de Apache Beam para Python es la 2.16.0. Consulta el anuncio de lanzamiento para obtener información sobre los cambios incluidos en la actualización.

A fin de obtener el SDK de Apache Beam para Python, usa uno de los paquetes publicados del Índice de paquetes de Python.

Instala la versión más reciente del SDK de Apache Beam para Python. A fin de hacerlo, ejecuta el siguiente comando desde un entorno virtual:

pip install apache-beam[gcp]

Si deseas actualizar una instalación existente de Apache Beam, usa la marca --upgrade:

pip install --upgrade apache-beam[gcp]

Nota: Los números de versiones usan el formato major.minor.incremental (principal, secundaria, incremental) y aumentan de la siguiente manera: versión principal para los cambios incompatibles con la API, versión secundaria cuando se agregan funciones nuevas compatibles con versiones anteriores y versión incremental para la corrección de errores compatible con versiones futuras. Las API marcadas como experimentales pueden cambiar en cualquier momento.

Código fuente y ejemplos

El código fuente de Apache Beam está disponible en el repositorio de Apache Beam en GitHub.

Java

Las muestras de código están disponibles en el repositorio de ejemplos de Apache Beam en GitHub.

Python

Las muestras de código están disponibles en el repositorio de ejemplos de Apache Beam en GitHub.

Herramientas adicionales

Java

Cloud Dataflow se integra en la herramienta de línea de comandos de gcloud del SDK de Cloud. Consulta Usa la interfaz de línea de comandos de Cloud Dataflow a fin de obtener instrucciones para instalar la interfaz de línea de comandos de Cloud Dataflow.

Cloud Tools for Eclipse proporciona un complemento para ayudarte a crear proyectos y canalizaciones de Cloud Dataflow con el IDE de Eclipse. Consulta la guía de inicio rápido con Java y Eclipse a fin de obtener instrucciones para instalar el complemento de Cloud Tools for Eclipse. Nota: Cloud Tools for Eclipse funciona solo con las versiones distribuidas 2.0.0 a 2.5.0 del SDK de Cloud Dataflow. El complemento de Cloud Tools for Eclipse no funciona con la distribución del SDK de Apache Beam.

Python

Cloud Dataflow se integra en la herramienta de línea de comandos de gcloud del SDK de Cloud. Consulta Usa la interfaz de línea de comandos de Cloud Dataflow a fin de obtener instrucciones para instalar la interfaz de línea de comandos de Cloud Dataflow.