Installez le SDK Apache Beam

Cette page explique comment installer le SDK Apache Beam afin de pouvoir exécuter vos pipelines sur le service Dataflow.

Avis d'abandon concernant le SDK Dataflow : La version 2.5.0 du SDK Dataflow est la dernière version distincte du SDK Apache Beam.  Le service Dataflow est entièrement compatible avec les versions officielles du SDK Apache Beam. Pour connaître l'état de compatibilité des différentes versions du SDK, consultez la page d'assistance de Dataflow.

Installer les versions du SDK

Le SDK Apache Beam est un modèle de programmation Open Source pour les pipelines de données. Vous définissez ces pipelines avec un programme Apache Beam et pouvez choisir un exécuteur, tel que Dataflow, pour les lancer. Pour en savoir plus sur la configuration de votre projet Google Cloud et de votre environnement de développement pour utiliser Dataflow, suivez l'un des guides de démarrage rapide.

Java

La dernière version du SDK Apache Beam pour Java est la version 2.46.0. Pour en savoir plus sur les modifications incluses dans la version, consultez l'annonce la concernant.

Pour obtenir le SDK Apache Beam pour Java à l'aide de Maven, utilisez l'un des artefacts disponibles dans le dépôt central Maven.

Ajoutez une dépendance dans votre fichier pom.xml pour l'artefact SDK comme suit :

<dependency>
  <groupId>org.apache.beam</groupId>
  <artifactId>beam-sdks-java-core</artifactId>
  <version>2.46.0</version>
</dependency>
<dependency>
  <groupId>org.apache.beam</groupId>
  <artifactId>beam-runners-google-cloud-dataflow-java</artifactId>
  <version>2.46.0</version>
</dependency>
<dependency>
  <groupId>org.apache.beam</groupId>
  <artifactId>beam-sdks-java-io-google-cloud-platform</artifactId>
  <version>2.46.0</version>
</dependency>

Remarque : L'artefact beam-sdks-java-core ne contient que le SDK principal. Les autres dépendances (telles que les modules d'E/S ou d'exécution) doivent aussi être ajoutées explicitement à la liste des dépendances. Remarque : Les informations sur les dépendances pour les SDK Apache Beam pour Java sont répertoriées sur la page Apache Beam SDK for Java dependencies (SDK Apache Beam pour les dépendances Java).

Python

La dernière version du SDK Apache Beam pour Python est la version 2.46.0. Pour en savoir plus sur les modifications incluses dans la version, consultez l'annonce la concernant.

Pour obtenir le SDK Apache Beam pour Python, utilisez l'un des packages disponibles dans l'index de packages Python.

Installez la roue Python en exécutant la commande suivante :

pip install wheel

Pour installer la dernière version du SDK Apache Beam pour Python, exécutez la commande suivante depuis un environnement virtuel :

pip install 'apache-beam[gcp]'

En fonction de la connexion, l'installation peut prendre un certain temps.

Pour mettre à niveau une installation Apache Beam existante, utilisez l'indicateur --upgrade :

pip install --upgrade 'apache-beam[gcp]'

Depuis le 7 octobre 2020, Dataflow n'est plus compatible avec les pipelines Python 2. Pour en savoir plus, consultez la page Compatibilité de Python 2 avec Google Cloud.

Go

La dernière version du SDK Apache Beam pour Go est la version 2.46.0. Pour en savoir plus sur les modifications incluses dans la version, consultez l'annonce la concernant.

Pour installer la dernière version du SDK Apache Beam pour Go, exécutez la commande suivante :

go get -u github.com/apache/beam/sdks/v2/go/pkg/beam

Remarque : Les numéros de version respectent le format major.minor.patch et sont incrémentés comme suit : version majeure pour les modifications d'API incompatibles, version mineure pour les fonctionnalités rétrocompatibles ajoutées et version de correctif pour les corrections de bugs à compatibilité ascendante. Les API marquées comme expérimentales peuvent être modifiées à tout moment.

Code source et exemples

Le code source Apache Beam est disponible dans le dépôt Apache Beam sur GitHub.

Java

Des exemples de code sont disponibles dans le dépôt d'exemples Apache Beam sur GitHub.

Python

Des exemples de code sont disponibles dans le dépôt d'exemples Apache Beam sur GitHub.

Accéder

Des exemples de code sont disponibles dans le dépôt d'exemples Apache Beam sur GitHub.

Rechercher la version du SDK Dataflow

Les détails d'installation dépendent de votre environnement de développement. Si vous utilisez Maven, plusieurs versions du SDK Dataflow peuvent être "installées" dans un ou plusieurs dépôts Maven locaux.

Java

Pour connaître la version du SDK Dataflow exécutée par un pipeline spécifique, vous pouvez consulter la sortie de la console lors de l'exécution avec DataflowPipelineRunner ou BlockingDataflowPipelineRunner. La console affiche un message semblable au suivant, qui contient les informations liées à la version du SDK Dataflow :

Python

Pour connaître la version du SDK Dataflow exécutée par un pipeline spécifique, vous pouvez consulter la sortie de la console lors de l'exécution avec DataflowRunner. La console affiche un message semblable au suivant, qui contient les informations liées à la version du SDK Dataflow :

Go

Pour connaître la version du SDK Dataflow exécutée par un pipeline spécifique, vous pouvez consulter la sortie de la console lors de l'exécution avec DataflowRunner. La console affiche un message semblable au suivant, qui contient les informations liées à la version du SDK Dataflow :

  INFO: Executing pipeline on the Dataflow Service, ...
  Dataflow SDK version: <version>

Outils complémentaires

Dataflow s'intègre à Google Cloud CLI, la CLI de Google Cloud. Pour obtenir des instructions sur l'installation de l'interface de ligne de commande Dataflow, consultez la page Utiliser l'interface de ligne de commande Dataflow.