Consultez les connecteurs compatibles avec Application Integration.
Tâche Dataflow – Créer une tâche
La tâche Dataflow – Créer une tâche vous permet de créer une tâche dans Cloud Dataflow pour exécuter un pipeline de données créé à l'aide de l'un des SDK Apache Beam.
Cloud Dataflow est un service Google Cloud entièrement géré permettant d'exécuter des pipelines de traitement de données par flux et par lot.
Avant de commencer
Assurez-vous d'effectuer les tâches suivantes dans votre projet Google Cloud avant de configurer la tâche Dataflow – Créer une tâche :
- Activez l'API Dataflow (
dataflow.googleapis.com). - Créer un profil d'authentification Application Integration utilise un profil d'authentification afin de se connecter à un point de terminaison d'authentification pour la tâche Dataflow – Créer un job.
Pour en savoir plus sur l'attribution de rôles ou d'autorisations supplémentaires à un compte de service, consultez la page Accorder, modifier et révoquer des accès.
Configurer la tâche Dataflow – Créer une tâche
- Dans la console Google Cloud, accédez à la page Application Integration.
- Dans le menu de navigation, cliquez sur Intégrations.
La page Intégrations s'affiche, listant toutes les intégrations disponibles dans le projet Google Cloud.
- Sélectionnez une intégration existante ou cliquez sur Créer une intégration pour en créer une.
Si vous créez une intégration :
- Saisissez un nom et une description dans le volet Créer une intégration.
- Sélectionnez une région pour l'intégration.
- Sélectionnez un compte de service pour l'intégration. Vous pouvez modifier ou mettre à jour les informations du compte de service d'une intégration à tout moment dans le volet Récapitulatif de l'intégration de la barre d'outils d'intégration.
- Cliquez sur Créer.
Cela entraîne son ouverture dans l'éditeur d'intégrations.
- Dans la barre de navigation de l'éditeur d'intégration, cliquez sur Tasks (Tâches) pour afficher la liste des tâches et des connecteurs disponibles.
- Cliquez sur l'élément Dataflow - Create Job (Dataflow - Créer une tâche) et placez-le dans l'éditeur d'intégrations.
- Cliquez sur l'élément Dataflow – Créer une tâche sur le concepteur pour ouvrir le volet de configuration de la tâche Dataflow – Créer une tâche.
- Accédez à Authentification, puis sélectionnez un profil d'authentification existant que vous souhaitez utiliser.
Facultatif. Si vous n'avez pas créé de profil d'authentification avant de configurer la tâche, cliquez sur + Nouveau profil d'authentification et suivez les étapes mentionnées dans la section Créer un profil d'authentification.
- Accédez à l'Entrée de la tâche et configurez les champs d'entrée affichés à l'aide du tableau Paramètres d'entrée de la tâche suivant.
Les modifications apportées aux champs d'entrée sont enregistrées automatiquement.
Paramètres de saisie des tâches
Le tableau suivant décrit les paramètres d'entrée de la tâche Dataflow – Créer une tâche :
| Propriété | Type de données | Description |
|---|---|---|
| Région | String | Emplacement Cloud Dataflow de la tâche. |
| ProjectsId | Chaîne | L'ID de votre projet Google Cloud. |
| Emplacement | String | Le point de terminaison régional qui contient cette tâche. |
| Demande | JSON | Consultez la section Structure JSON de requête. |
Résultat de la tâche
La tâche Dataflow – Créer une tâche renvoie l'instance nouvellement créée de la Tâche.
Stratégie de traitement des erreurs
Une stratégie de traitement des erreurs d'une tâche spécifie l'action à effectuer si celle-ci échoue en raison d'une erreur temporaire. Pour en savoir plus sur l'utilisation et les différents types de stratégies de traitement des erreurs, consultez la page Stratégies de traitement des erreurs.
Quotas et limites
Pour plus d'informations sur les quotas et les limites, consultez la section Quotas et limites.
Étape suivante
- Ajoutez des arêtes et conditions d'arêtes.
- Testez et publiez votre intégration.
- Configurez un déclencheur.
- Ajoutez une tâche de mappage de données.
- Consultez toutes les tâches des services Google Cloud.