Modèles de référence

Cette page contient des liens vers des exemples de code et des guides de référence techniques pour les cas d'utilisation courants Dataflow. Utilisez ces ressources pour apprendre, identifier les bonnes pratiques et exploiter les exemples de code pour créer les fonctionnalités dont vous avez besoin.

Les modèles de référence répertoriés ici sont orientés code et permettent une mise en œuvre rapide. Pour découvrir une gamme plus large de solutions Dataflow, consultez la liste des guides de référence techniques Dataflow.

Détection d'anomalies

Solution Description Liens
Créer une application de détection d'anomalies pour les réseaux de télécommunications à l'aide du clustering k-moyennes

Cette solution vous explique comment créer une application de détection d'anomalies basée sur le ML pour les réseaux de télécommunications afin d'identifier les cybermenaces en utilisant Dataflow, BigQuery ML et Cloud Data Loss Prevention.

Guide de référence technique : Créer une solution sécurisée de détection des anomalies à l'aide de Dataflow, BigQuery ML et Cloud Data Loss Prevention

Exemple de code : Détection d'anomalies dans les journaux Netflow

Article de blog : Détection d'anomalies à l'aide d'analyses de flux et de l'IA

Vidéo de présentation : Créer une solution sécurisée de détection d'anomalies

Identifier les anomalies dans les transactions financières en temps réel à l'aide de BoostedTrees

Utilisez cette mise en œuvre de référence pour apprendre à identifier les transactions frauduleuses en utilisant un modèle d'arbre de décision à boosting TensorFlow avec Dataflow et AI Platform.

Guide de référence technique : Détecter les anomalies dans les transactions financières à l'aide d'AI Platform, Dataflow et BigQuery

Exemple de code : Détection d'anomalies dans les transactions financières

Analyses générales

Solution Description Liens
Créer un tableau de bord d'analyse de site Web en temps réel

Découvrez comment créer un tableau de bord fournissant des métriques en temps réel que vous pouvez utiliser pour comprendre les performances des privilèges ou des expériences de votre site Web.

Exemple de code : Analyse en temps réel à l'aide de Dataflow et de Memorystore

Vidéo de présentation : Level Up - Analyse en temps réel avec Dataflow et Memorystore

Créer un pipeline pour transcrire et analyser des fichiers vocaux

Utilisez Dataflow pour transcrire et analyser les fichiers vocaux importés, puis enregistrez ces données dans BigQuery pour les utiliser dans des visualisations.

Exemple de code : Framework d'analyse vocale

Traiter des extraits audio dans une transcription à l'aide de Dataflow et de l'API Speech-to-Text

Découvrez comment traiter des extraits audio en temps réel pour créer une transcription au format WebVTT.

Guide de référence technique : Sous-titrer des extraits multimédias en temps réel à l'aide de Dataflow, Pub/Sub et l'API Speech-to-Text

Exemple de code : Utiliser Dataflow pour effectuer un sous-titrage WebVTT automatique à l'aide de l'API Streaming STT

Analyses de journaux

Solution Description Liens
Créer un pipeline pour capturer les interactions Dialogflow

Utilisez Dataflow pour créer un pipeline qui capture et stocke les interactions Dialogflow pour effectuer une analyse plus approfondie.

Exemple de code : Analyseur de journaux Dialogflow

Traiter des journaux à grande échelle à l'aide de Dataflow

Découvrez comment créer des pipelines d'analyse qui traitent les entrées de journal provenant de plusieurs sources, puis combiner les données des journaux de manière à extraire des informations significatives.

Guide de référence technique : Traiter des journaux à grande échelle à l'aide de Dataflow

Exemple de code : Traiter des journaux à grande échelle à l'aide de Dataflow

Reconnaissance des formes

Solution Description Liens
Détection d'objets dans des extraits vidéo

Cette solution vous montre comment créer une solution d'analyse des extraits vidéo en temps réel pour le suivi d'objets à l'aide de Dataflow et de l'API Video Intelligence, ce qui vous permet d'analyser d'importants volumes de données non structurées quasiment en temps réel.

Exemple de code : Solution d'analyse vidéo à l'aide de Dataflow et de l'API Video Intelligence

Ptransform Apache Beam pour appeler l'API Video Intelligence : module Apache_beam.ml.gcp.videointelligence.ml

Anonymiser (Supprimer l'identification) et restaurer l'identification des informations personnelles dans votre pipeline d'analyses intelligentes Cette série de solutions vous montre comment utiliser Dataflow, Cloud Data Loss Prevention, BigQuery et Pub/Sub pour supprimer et restaurer l'identification des informations personnelles dans un exemple d'ensemble de données.

Guides de référence techniques :

Exemple de code : Migrer des données sensibles dans BigQuery à l'aide de Dataflow et de Cloud Data Loss Prevention

Prévisions de prédiction

Solution Description Liens
Créer et diffuser des représentations vectorielles continues pour des recommandations en temps réel

Découvrez comment créer et diffuser des représentations vectorielles continues pour formuler des recommandations d'articles semblables en temps réel. Créer un modèle de factorisation matricielle à l'aide de BigQuery ML pour prédire les représentations vectorielles continues, utiliser le framework Open Source ScaNN pour créer un index de voisin le plus proche et déployer le modèle sur AI Platform Prediction pour mettre en correspondance des éléments similaires en temps réel.

Guide de référence technique : Architecture d'un système de machine learning pour la correspondance d'éléments

Exemple de code : Recommandations d'articles similaires en temps réel avec BigQuery ML Factor et ScaNN

Prédire les défaillances mécaniques à l'aide d'un pipeline d'analyse de vision

Cette solution vous aide à créer un pipeline Dataflow afin de dégager des insights à partir de fichiers image à grande échelle stockés dans un bucket Cloud Storage. L'inspection visuelle automatisée peut vous aider à atteindre des objectifs de fabrication, par exemple en améliorant des processus de contrôle qualité ou en surveillant la sécurité des travailleurs, tout en réduisant les coûts.

Exemple de code : Solution d'analyse de vision à l'aide de Dataflow et de l'API Cloud Vision