Instala el SDK de Apache Beam

En esta página, se muestra cómo instalar el SDK de Apache Beam para que puedas ejecutar tus canalizaciones en el servicio de Cloud Dataflow.

Aviso de baja del SDK de Cloud Dataflow: La versión 2.5.0 es la última actualización del SDK de Cloud Dataflow independiente de las actualizaciones del SDK de Apache Beam. El servicio de Cloud Dataflow es compatible en su totalidad con las versiones oficiales del SDK de Apache Beam. El servicio de Cloud Dataflow también es compatible con los SDK de Apache Beam de actualizaciones anteriores a partir de la versión 2.0.0. Consulta la página de compatibilidad de Cloud Dataflow para obtener el estado de compatibilidad de varios SDK.

Instala versiones del SDK

Java

La versión más reciente del SDK de Apache Beam para Java es la 2.9.0. Consulta las notas de la versión a fin de obtener información detallada de los cambios incluidos en cada versión del SDK de Apache Beam para Java.

A fin de obtener el SDK de Apache Beam para Java con Maven, usa uno de los artefactos publicados del Repositorio central de Maven.

Agrega una dependencia en tu archivo pom.xml y especifica un rango de versión para el artefacto del SDK como se indica a continuación:

  <dependency>
  <groupId>org.apache.beam</groupId>
  <artifactId>beam-sdks-java-core</artifactId>
  <version>[2.9.0, 2.99)</version>
  </dependency>
  

Nota: El artefacto beam-sdks-java-core solo contiene el SDK principal. Otras dependencias (como el IO o los ejecutores) deben ser agregados de forma explícita a la lista de dependencias.

Python

La versión más reciente del SDK de Apache Beam para Python es la 2.9.0. Consulta las notas de la versión a fin de obtener información detallada de los cambios incluidos en cada versión del SDK de Cloud Dataflow para Python.

A fin de obtener el SDK de Apache Beam para Python, usa uno de los paquetes publicados del Índice de paquetes de Python.

Instala la versión más reciente del SDK de Apache Beam para Python. A fin de hacerlo, ejecuta el siguiente comando desde un entorno virtual:

    pip install apache-beam[gcp]
  

Para actualizar una instalación existente de apache-beam, usa la marca --upgrade:

    pip install --upgrade apache-beam[gcp]
  

Nota: Los números de versiones usan el formato major.minor.incremental (principal, secundaria, incremental) y aumentan de la siguiente manera: versión principal para los cambios incompatibles con la API, versión secundaria cuando se agregan funciones nuevas compatibles con versiones anteriores y versión incremental para la corrección de errores compatible con versiones futuras. Las API marcadas como experimentales pueden cambiar en cualquier momento.

Código fuente y ejemplos

El código fuente de Apache Beam está disponible en el repositorio de Apache Beam en GitHub.

Java

Las muestras de código están disponibles en el repositorio de ejemplos de Apache Beam en GitHub.

Python

Las muestras de código están disponibles en el repositorio de ejemplos de Apache Beam en GitHub.

Herramientas adicionales

Java

Cloud Dataflow se integra a la herramienta de línea de comandos de gcloud del SDK de Cloud. Consulta Usa la interfaz de línea de comandos de Cloud Dataflow para obtener instrucciones sobre cómo instalar la interfaz de línea de comandos de Cloud Dataflow.

Cloud Tools for Eclipse proporciona un complemento para ayudarte a crear proyectos y canalizaciones de Cloud Dataflow con el IDE de Eclipse. Consulta la guía de inicio rápido con Java y Eclipse para obtener instrucciones sobre cómo instalar el complemento de Cloud Tools for Eclipse. Nota: Cloud Tools for Eclipse funciona solo con las versiones distribuidas 2.0.0 a 2.5.0 del SDK de Cloud Dataflow. El complemento de Cloud Tools for Eclipse no funciona con la distribución del SDK de Apache Beam.

Python

Cloud Dataflow se integra a la herramienta de línea de comandos de gcloud del SDK de Cloud. Consulta Usa la interfaz de línea de comandos de Cloud Dataflow para obtener instrucciones sobre cómo instalar la interfaz de línea de comandos de Cloud Dataflow.

¿Te ha resultado útil esta página? Enviar comentarios:

Enviar comentarios sobre...

Si necesitas ayuda, visita nuestra página de asistencia.