La tâche Dataflow – Créer une tâche vous permet de créer une tâche dans Cloud Dataflow pour exécuter un pipeline de données créé à l'aide de l'un des SDK Apache Beam.
Cloud Dataflow est un service Google Cloud entièrement géré permettant d'exécuter des pipelines de traitement de données par flux et par lot.
Avant de commencer
Assurez-vous d'effectuer les tâches suivantes dans votre projet Google Cloud avant de configurer la tâche Dataflow – Créer une tâche :
- Activez l'API Dataflow (
dataflow.googleapis.com). - Créer un profil d'authentification. Apigee Integration utilise un profil d'authentification pour se connecter à un point de terminaison d'authentification pour la tâche Dataflow – Créer une tâche.
Pour en savoir plus sur l'attribution de rôles ou d'autorisations supplémentaires à un compte de service, consultez la page Accorder, modifier et révoquer des accès.
Configurer la tâche Dataflow – Créer une tâche
- Dans l'interface utilisateur Apigee, sélectionnez votre organisation Apigee.
- Cliquez sur Développer > Intégrations.
- Sélectionnez une intégration existante ou créez-en une en cliquant sur Créer une intégration.
Si vous créez une intégration :
- Saisissez un nom et une description dans la boîte de dialogue Créer une intégration.
- Dans la liste des régions compatibles, sélectionnez une région pour l'intégration.
- Cliquez sur Créer.
La page de conception d'intégration s'affiche.
- Dans la barre de navigation de la page de conception d'intégration, cliquez sur +Ajouter une tâche ou un déclencheur > Tâches pour afficher la liste des tâches disponibles.
- Cliquez sur l'élément Dataflow - Create Job (Dataflow - Créer une tâche) et placez-le dans le concepteur d'intégration.
- Cliquez sur l'élément Dataflow – Créer une tâche sur le concepteur pour ouvrir le volet de configuration de la tâche Dataflow – Créer une tâche.
- Accédez à Authentification, puis sélectionnez un profil d'authentification existant que vous souhaitez utiliser.
Facultatif. Si vous n'avez pas créé de profil d'authentification avant de configurer la tâche, cliquez sur + Nouveau profil d'authentification et suivez les étapes mentionnées dans la section Créer un profil d'authentification.
- Accédez à l'Entrée de la tâche et configurez les champs d'entrée affichés à l'aide du tableau Paramètres d'entrée de la tâche suivant.
Les modifications apportées aux champs d'entrée sont enregistrées automatiquement.
Paramètres de saisie des tâches
Le tableau suivant décrit les paramètres d'entrée de la tâche Dataflow – Créer une tâche :
| Propriété | Type de données | Description |
|---|---|---|
| Région | String | Emplacement Cloud Dataflow de la tâche. |
| ProjectsId | Chaîne | L'ID de votre projet Google Cloud. |
| Emplacement | String | Le point de terminaison régional qui contient cette tâche. |
| Demande | JSON | Consultez la section Structure JSON de requête. |
Résultat de la tâche
La tâche Dataflow – Créer une tâche renvoie l'instance nouvellement créée de la Tâche.
Stratégie de traitement des erreurs
Une stratégie de traitement des erreurs d'une tâche spécifie l'action à effectuer si celle-ci échoue en raison d'une erreur temporaire. Pour en savoir plus sur l'utilisation et les différents types de stratégies de traitement des erreurs, consultez la page Stratégies de traitement des erreurs.
Étapes suivantes
- Ajoutez des arêtes et conditions d'arêtes.
- Testez et publiez votre intégration.
- Configurez un déclencheur.
- Ajoutez une tâche de mappage de données.
- Consultez toutes les tâches des services Google Cloud.