Tous les exemples de code Dataflow
Cette page contient des exemples de code pour Dataflow. Pour rechercher et filtrer des exemples de code pour d'autres produits Google Cloud , consultez l'explorateur d'exemplesGoogle Cloud .
Répertorier les tâches d'un projet dans toutes les régions (Ruby)
Explique comment répertorier les tâches d'un projet dans toutes les régions.
- Dataflow
- Ruby
Obtenir les détails d'exécution de tâche (Ruby)
Demandez des informations détaillées sur l'état d'exécution de la tâche.
- Dataflow
- Ruby
Créer un job à partir d'un modèle (asynchrone)
Explique comment créer une tâche à partir d'un modèle.
- Dataflow
- C#
- JavaScript
- Node.js
- Python
- Java
Lancer un modèle (asynchrone)
Explique comment lancer un modèle.
- Dataflow
- JavaScript
- Python
- C#
- Java
- Node.js
Obtenir les détails d'exécution de tâche (asynchrone)
Explique comment demander de manière asynchrone des informations détaillées sur l'état d'exécution de la tâche.
- Dataflow
- Java
- C#
- Node.js
- JavaScript
- Python
Obtenir un modèle
Explique comment obtenir des métadonnées et des métadonnées d'exécution sur un modèle.
- Dataflow
- C#
- Go
- Ruby
- Java
- Python
Répertorier les tâches d'un projet dans toutes les régions (asynchrone)
Explique comment répertorier les tâches d'un projet dans toutes les régions de manière asynchrone.
- Dataflow
- C#
- Java
- Python
- JavaScript
- Node.js
Lire à partir d'Apache Iceberg
Utiliser la transformation d'E/S gérée Dataflow pour lire des données depuis Apache Iceberg
- Dataflow
- Java
Répertorier les messages des tâches
Explique comment demander une liste de messages de tâche.
- Dataflow
- Go
- Python
- C#
- Java
Utiliser les clés de chiffrement gérées par le client
Cet exemple montre comment utiliser des clés de chiffrement gérées par le client, avec un pipeline Dataflow.
- Dataflow
- Python
- Java
Mettre à jour l'état d'une tâche existante
Explique comment mettre à jour l'état d'une tâche existante.
- Dataflow
- Python
- Java
- C#
- Go
Lire des données depuis plusieurs sujets Kafka vers Dataflow
Explique comment créer un pipeline Dataflow qui lit les données à partir de plusieurs sujets Kafka et exécute une logique métier différente en fonction du nom du sujet.
- Dataflow
- Java
- Python
Lire des données depuis Apache Kafka vers Dataflow
Explique comment créer un pipeline Dataflow qui lit les données à partir d'Apache Kafka
- Dataflow
- Java
- Python
Obtenir les détails d'exécution d'étape
Explique comment obtenir des informations sur les nœuds de calcul et les éléments de travail d'une étape.
- Dataflow
- Python
- Go
- C#
- Java
Obtenir des métriques de tâche (asynchrone)
Explique comment obtenir un ensemble de métriques décrivant la progression détaillée d'une tâche.
- Dataflow
- Java
- JavaScript
- C#
- Python
- Node.js
Lancer un modèle Flex de manière asynchrone
Explique comment lancer un modèle Flex de manière asynchrone.
- Dataflow
- JavaScript
- Java
- C#
- Python
- Node.js
Lire avec la projection et le filtrage
Utilisez le connecteur BigQueryIO en mode DIRECT_READ avec la projection et le filtrage de colonnes.
- Dataflow
- Java
Lire à partir de Cloud Storage
Créer un pipeline Dataflow pour lire à partir d'un bucket Cloud Storage
- Dataflow
- Java
Supprimer un instantané (asynchrone)
Explique comment supprimer un instantané.
- Dataflow
- Node.js
- JavaScript
- Java
- Python
- C#
Écrire des données dans BigQuery à l'aide d'un schéma de table
Écrire des données à partir de Dataflow dans une table BigQuery nouvelle ou existante en fournissant un schéma de table
- Dataflow
- Java
Obtenir l'état d'une tâche de manière asynchrone
Explique comment obtenir l'état d'une tâche spécifiée de manière asynchrone.
- Dataflow
- C#
- Node.js
- Java
- JavaScript
- Python
Obtenir les détails d'exécution d'étape (Ruby)
Explique comment obtenir des informations sur les nœuds de calcul et les éléments de travail d'une étape.
- Dataflow
- Ruby
Obtenir les détails d'exécution de tâche
Explique comment demander des informations détaillées sur l'état d'exécution de la tâche.
- Dataflow
- Python
- C#
- Go
- Java
Répertorier les tâches d'un projet dans toutes les régions
Explique comment répertorier les tâches d'un projet dans toutes les régions.
- Dataflow
- C#
- Go
- Python
- Java
Écrire des messages avec des attributs personnalisés dans Pub/Sub
Utiliser Dataflow pour écrire des messages avec des attributs personnalisés dans Pub/Sub
- Dataflow
- Python
- Java
Répertorier des tâches (asynchrone)
Explique comment répertorier les tâches de manière asynchrone.
- Dataflow
- Java
- JavaScript
- C#
- Node.js
- Python
Créer un instantané d'une tâche de traitement par flux (Ruby)
Explique comment créer un instantané de l'état d'une tâche de traitement par flux.
- Dataflow
- Ruby
Écrire dans Apache Iceberg
Utiliser la transformation d'E/S gérées Dataflow pour écrire dans Apache Iceberg
- Dataflow
- Java
Obtenir un modèle (asynchrone)
Explique comment obtenir des métadonnées et des métadonnées d'exécution sur un modèle.
- Dataflow
- Java
- Node.js
- C#
- JavaScript
- Python
Écrire dans BigQuery
Écrire des données depuis Dataflow vers une table BigQuery existante
- Dataflow
- Java
Vérifier si des tâches actives existent pour un projet (asynchrone)
Explique comment vérifier de manière asynchrone si des tâches sont actives pour un projet.
- Dataflow
- C#
- Python
- JavaScript
- Node.js
- Java
Créer un instantané de l'état d'une tâche de traitement par flux (asynchrone)
Explique comment prendre un instantané de l'état d'une tâche de traitement par flux de manière asynchrone.
- Dataflow
- JavaScript
- Python
- Java
- Node.js
- C#
Générer du texte dans Cloud Storage
Utilisez le connecteur TextIO pour écrire des fichiers texte dans un bucket Cloud Storage.
- Dataflow
- Python
- Java
Obtenir un instantané (asynchrone)
Explique comment obtenir un instantané.
- Dataflow
- Python
- Node.js
- Java
- C#
- JavaScript
Obtenir les détails d'exécution d'étape (asynchrone)
Explique comment obtenir des informations sur les nœuds de calcul et les éléments de travail d'une étape.
- Dataflow
- Python
- JavaScript
- C#
- Java
- Node.js
Vérifier si des tâches actives existent pour un projet (Ruby)
Explique comment vérifier si des tâches sont actives pour un projet.
- Dataflow
- Ruby
Créer un instantané de l'état d'une tâche de traitement par flux
Explique comment créer un instantané de l'état d'une tâche de traitement par flux.
- Dataflow
- Go
- Java
- Python
- C#
Créer une tâche de manière asynchrone
Explique comment créer une tâche de manière asynchrone.
- Dataflow
- C#
- JavaScript
- Python
- Node.js
- Java
Lire les données d'une requête
Utiliser le connecteur BigQueryIO pour lire un résultat de requête.
- Dataflow
- Java
Répertorier les messages des tâches (asynchrone)
Explique comment demander une liste de messages de tâche de manière asynchrone.
- Dataflow
- JavaScript
- Java
- Node.js
- Python
- C#
Répertorier les instantanés (asynchrone)
Explique comment répertorier les instantanés.
- Dataflow
- Java
- Python
- C#
- Node.js
- JavaScript
Obtenir des métriques de tâche
Explique comment obtenir un ensemble de métriques décrivant la progression d'une tâche.
- Dataflow
- Java
- C#
- Python
- Go
Obtenir des métriques de tâche (Ruby)
Explique comment obtenir un ensemble de métriques décrivant la progression d'une tâche.
- Dataflow
- Ruby
Exécuter un modèle
Cet exemple illustre l'exécution de base d'un modèle Dataflow par nom de tâche et chemin d'accès au modèle.
- Dataflow
- Python
Vérifier si des tâches actives existent pour un projet
Explique comment vérifier si des tâches sont actives pour un projet.
- Dataflow
- Python
- Go
- Java
- C#
Mettre à jour l'état d'une tâche existante (asynchrone)
Explique comment mettre à jour l'état d'une tâche existante de manière asynchrone.
- Dataflow
- Node.js
- Java
- JavaScript
- C#
- Python
Créer une tâche à partir d'un modèle
Explique comment créer une tâche à partir d'un modèle.
- Dataflow
- Python
- C#
- Java
- Go
- Ruby
Répertorier les messages des tâches (Ruby)
Explique comment demander une liste de messages de tâche.
- Dataflow
- Ruby
Traiter des flux vers BigQuery en utilisant le traitement "exactement une fois"
Utiliser l'API Storage Write pour traiter des flux de Dataflow vers BigQuery avec le traitement "exactement une fois"
- Dataflow
- Java
Mettre à jour une tâche (Ruby)
Explique comment mettre à jour l'état d'une tâche existante.
- Dataflow
- Ruby
Lire les objets TableRow
Utilisez le connecteur BigQueryIO pour lire les objets TableRow.
- Dataflow
- Java