Arrêter un pipeline en cours d'exécution

Si vous devez arrêter une tâche Dataflow en cours d'exécution, vous pouvez le faire en exécutant une commande à l'aide de l'interface de surveillance de Dataflow ou de l'interface de ligne de commande de Dataflow. Vous pouvez exécuter l'une des deux commandes suivantes pour arrêter la tâche : Annuler ou Drainer.

Arrêter une tâche à l'aide de l'interface utilisateur de surveillance de Cloud Dataflow

Pour arrêter une tâche, sélectionnez-la dans la liste des tâches de l'interface de surveillance de Dataflow. Sur la fiche d'informations correspondant à la tâche, cliquez sur Stop job (Arrêter la tâche).

Figure 1 : Fiche d'informations pour une tâche Dataflow avec le bouton "Arrêter la tâche"

La boîte de dialogue Stop Job (Arrêter la tâche) affiche les modalités d'arrêt de la tâche :

Figure 2 : Boîte de dialogue "Arrêter la tâche" contenant les options "Annuler" et "Drainer".

Sélectionnez l'option Annuler ou Drainer suivant vos besoins, puis cliquez sur le bouton Arrêter la tâche.

Annuler

L'option Annuler pour arrêter votre tâche indique au service Dataflow de l'annuler immédiatement. Le service interrompt dès que possible l'ingestion et le traitement des données et commence immédiatement à nettoyer les ressources Google Cloud associées à votre tâche. Cela peut inclure la fermeture des instances de nœuds de calcul Compute Engine et la fermeture des connexions actives aux sources ou récepteurs d'E/S.

Du fait que l'option "Annuler" arrête immédiatement le traitement, vous risquez de perdre toutes les données en cours de transfert, c'est-à-dire les données qui ont été lues mais qui sont toujours en cours de traitement par le pipeline. Les données écrites à partir du pipeline sur un récepteur de sortie avant l'émission de la commande "Annuler" peuvent toujours être accessibles sur le récepteur de sortie.

Si la perte de données n'est pas un problème, utilisez l'option "Annuler" pour arrêter votre tâche et vous assurer que les ressources Google Cloud associées à votre projet sont fermées dès que possible.

Drainer