E/S gérées Dataflow

Le connecteur d'E/S géré est une transformation Apache Beam qui fournit une API commune pour créer des sources et des récepteurs. Sur le backend, Dataflow traite le connecteur d'E/S géré comme un service, ce qui lui permet de gérer les opérations d'exécution du connecteur. Vous pouvez ensuite vous concentrer sur la logique métier de votre pipeline plutôt que sur la gestion de ces détails.

Vous créez le connecteur d'E/S géré à l'aide du code Apache Beam, comme n'importe quel autre connecteur d'E/S. Vous spécifiez une source ou un récepteur à instancier et à transmettre dans un ensemble de paramètres de configuration. Vous pouvez également placer les paramètres de configuration dans un fichier YAML et fournir une URL vers ce fichier.

Le connecteur d'E/S géré est compatible avec les sources et les récepteurs suivants :

Pour en savoir plus sur l'API d'E/S gérée, consultez Managed dans la documentation du SDK Apache Beam pour Java.