Installer le SDK Apache Beam

Cette page explique comment installer le SDK Apache Beam afin de pouvoir exécuter vos pipelines sur le service Cloud Dataflow.

Avis d'obsolescence concernant le SDK Cloud Dataflow : La version 2.5.0 du SDK Cloud Dataflow est la dernière version du SDK Cloud Dataflow distincte du SDK Apache Beam. Le service Cloud Dataflow est entièrement compatible avec les versions officielles du SDK Apache Beam. Il est également compatible avec les versions précédentes du SDK Apache Beam depuis la version 2.0.0. Reportez-vous à la page d'aide de Cloud Dataflow pour connaître la compatibilité de divers SDK.

Installer les versions du SDK

Java

La dernière version du SDK Apache Beam pour Java est la version 2.13.0. Consultez l'annonce de la version pour en savoir plus sur les modifications incluses dans la version.

Pour obtenir le SDK Apache Beam pour Java à l'aide de Maven, utilisez l'un des artefacts disponibles dans le dépôt central Maven.

Ajoutez une dépendance dans votre fichier pom.xml et spécifiez une plage de versions pour l'artefact SDK comme suit :

  <dependency>
  <groupId>org.apache.beam</groupId>
  <artifactId>beam-sdks-java-core</artifactId>
  <version>[2.13.0, 2.99)</version>
  </dependency>
  

Remarque : L'artefact beam-sdks-java-core contient uniquement le SDK principal. D'autres dépendances (comme certains modules d'E/S ou d'exécution) doivent aussi être ajoutées explicitement à la liste des dépendances.

Python

La dernière version du SDK Apache Beam pour Python est la version 2.13.0. Consultez l'annonce de la version pour en savoir plus sur les modifications incluses dans la version.

Pour obtenir le SDK Apache Beam pour Python, utilisez l'un des packages disponibles dans l'index de packages Python.

Pour installer la dernière version du SDK Apache Beam pour Python, exécutez la commande suivante depuis un environnement virtuel :

    pip install apache-beam[gcp]
  

Pour mettre à niveau une installation Apache Beam existante, utilisez lindicateur --upgrade :

    pip install --upgrade apache-beam[gcp]
  

Remarque : Les numéros de version utilisent le format majeure.mineure.incrémentielle et sont incrémentés comme suit : version majeure pour les modifications d'API incompatibles, version mineure pour les fonctionnalités rétrocompatibles ajoutées, et version incrémentielle pour les corrections de bugs à compatibilité ascendante. Les API marquées comme expérimentales peuvent être modifiées à tout moment.

Code source et exemples

Le code source Apache Beam est disponible dans le dépôt Apache Beam sur GitHub.

Java

Des exemples de code sont disponibles dans le dépôt d'exemples Apache Beam sur GitHub.

Python

Des exemples de code sont disponibles dans le dépôt d'exemples Apache Beam sur GitHub.

Outils complémentaires

Java

Cloud Dataflow est intégré à l'outil de ligne de commande gcloud du SDK Cloud. Reportez-vous à la section Utiliser l'interface de ligne de commande Cloud Dataflow pour obtenir des instructions sur l'installation de l'interface de ligne de commande du service.

Le plug-in Cloud Tools for Eclipse permet de créer des projets et des pipelines Cloud Dataflow à l'aide de l'IDE (Environnement de développement intégré) Eclipse. Consultez la page Démarrage rapide avec Java et Eclipse pour obtenir des instructions sur l'installation du plug-in Cloud Tools for Eclipse. Remarque : Cloud Tools for Eclipse ne fonctionne qu'avec la distribution des versions 2.0.0 à 2.5.0 du SDK Cloud Dataflow. Il n'est pas compatible avec la distribution du SDK Apache Beam.

Python

Cloud Dataflow est intégré à l'outil de ligne de commande gcloud du SDK Cloud. Reportez-vous à la section Utiliser l'interface de ligne de commande Cloud Dataflow pour obtenir des instructions sur l'installation de l'interface de ligne de commande du service.

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Besoin d'aide ? Consultez notre page d'assistance.