Cette page contient des liens vers des articles publics, des vidéos et des podcasts au sujet de Dataflow.
Annonces
Pour en savoir plus sur les annonces et les mises à jour, consultez les ressources suivantes:
- Actualités sur Dataflow : blogGoogle Cloud
- Mises à jour de Dataflow : Notes de version Dataflow
- Mises à jour d'Apache Beam : Notes de version du SDK Apache Beam
Écosystème Dataflow
- Dataflow, le pilier de l'analyse de données
- Les rouages de Dataflow : histoire des origines Partie 1 Partie 2 Partie 3
- Consultez la documentation Open Source d'Apache Beam pour en savoir plus sur le développement d'un modèle unifié, la définition de pipelines et l'exécution de pipelines dans Dataflow ou l'un des backends distribués compatibles d'Apache Beam.
Témoignages de clients
- Collection d'articles sur Dataflow – Medium Publication
- Dataflow figure parmi les leaders de l'analyse de flux en 2021 – Forrester Wave
- Création d'un outil permettant de recevoir des retours en temps réel sur les audiences en direct – ITV
- Surveiller vos pipelines Dataflow – Medium Publication
- Modèle d'exécution pour un traitement des données hautement évolutif et à faible latence – Medium Publication
- Accélérer l'inférence des modèles de machine learning sur Dataflow avec des GPU – Nvidia
- Exécuter des calculs sur de grands ensembles de données - Pandora
- Optimiser la plus grande tâche Dataflow jamais réalisée pour Wrapped 2020 – Spotify
- Traiter des milliards d'événements en temps réel à l'aide de Dataflow – Twitter
- Dataflow dans le pipeline de données pour la maison connectée – Nest
- Importer des messages JSON dans une colonne de type JSON pour BigQuery – Medium
- AXA Suisse: Utiliser les solutions d' Google Cloud analyse pour booster les processus internes et développer des services
- Bayer Crop : Améliorer la santé des sols et la gestion des cultures grâce à l'analyse géospatiale sur BigQuery et Dataflow
- Dow Jones : Création d'un Knowledge Graph d'événements clés documentés dans plus de 30 ans de contenus d'actualité
- HSBC : Adopter le cloud pour réduire l'exposition aux risques grâce à des capacités d'insights et d'analyse rapides
- Nintendo: Utiliser Dataflow et Pub/Sub pour collecter et analyser les journaux d'utilisation des jeux dans BigQuery
- Quantiphi : Créer une solution de détection des fraudes aux cartes de crédit en temps réel et sans serveur
- SoFi Stadium : Créer une application de conciergerie personnelle et prête à l'emploi pour personnaliser l'expérience du jour de match de tous les utilisateurs
- Spotify: Tester le traitement par flux sur Dataflow
- Subaru Corporation: Accélérer le développement à l'aide de l'IA et du machine learning Google Cloud
- Telus : Accélérer la modernisation grâce à la data science
- Tokopedia: Création d'une plate-forme de données client sur Google Cloud
- Tyson Foods : Réinventer sa plate-forme de données en développant l'ingestion en tant que service
- Vodafone: Utiliser Google Cloud pour partager les données d'un téléphone mobile en toute sécurité
Brightcove: Traitement des données sans serveur avec Dataflow et Pub/Sub
Sky: Analyse de flux en temps réel avec Dataflow
Spotify: Migrer depuis un pipeline et des microservices d'intelligence musicale vers Dataflow et Pub/Sub
Two Sigma : Améliorer le traitement des données sans serveur dans Dataflow
Tyson Foods : Générer une valeur en temps réel grâce à l'analyse de flux
Veolia : Exploiter Dataflow en production pour transformer, nettoyer et insérer des dizaines de milliers de fichiers dans notre lac de données BigQuery
Verizon: Créer une plate-forme d'analyse à l'échelle d'Internet sur Google Cloud
Conseils et directives techniques
Dataflow en une minute
Qu'est-ce que Dataflow ?
Google Cloud Tech: 1) Qu'est-ce qu'Apache Beam ?
Google Cloud Tech: 2) Utiliser WordCount dans Apache Beam
Google Cloud Tech: 3) Traiter le flux de données sur Apache Beam
Google Cloud Tech: 4) Traiter des données en retard sur Apache Beam
Google Cloud Tech: 5) Fusionner des données dans Apache Beam
Modèle unifié Apache Beam pour le traitement de données par lot et par flux
Présentation rapide des pipelines de données Dataflow
Accès facile à l'analyse de flux avec Google Cloud
- Créer une organisation basée sur l'ingénierie des données
- Créer des modèles à partir de n'importe quel pipeline Dataflow
- Modèles Dataflow pour Elastic Cloud
- Pipelines Dataflow : déploiement et gestion de pipelines de données à grande échelle
- La segmentation automatique de Dataflow pour BigQuery offre des performances trois fois supérieures
- Exporter des données Google Cloud dans Elastic Stack à l'aide de modèles Dataflow
- Étendre votre modèle Dataflow avec UDF
- Traitement de type "exactement une fois" dans Dataflow: Partie 1, Partie 2, Partie 3
- Booster le traitement de vos données avec les GPU Dataflow
- Gérer les données en double dans le pipeline de streaming à l'aide de Dataflow et de Pub/Sub
- Découvrir les modèles Beam avec le traitement Clickstream des données Google Tag Manager
- Modèles de machine learning avec Apache Beam et l'exécuteur Dataflow
- Importer des données dans BigQuery à l'aide de l'API Storage Write de BigQuery
- Simplifier et automatiser le traitement des données avec Dataflow Prime
- Trois manières pour Dataflow d'assurer un ROI aux clients
- Utiliser des modèles de référence en temps réel pour détecter les anomalies afin de lutter contre la fraude
- Utiliser l'inférence TFX avec Dataflow pour les modèles d'inférence ML à grande échelle
- Pourquoi utiliser des modèles Flex pour vos déploiements Dataflow
- Rédiger des pipelines Dataflow en prévoyant leur évolutivité
- Guide sur les modèles courants de cas d'utilisation de Dataflow : Partie 1, Partie 2
Apache Beam Summit : Gérer les données en double dans les pipelines de streaming à l'aide de Dataflow et de Pub/Sub
Cloud OnAir : Traitement en flux continu avec Dataflow : SDK et architectures
Cloud Next: Traitement des données dans Google Cloud: Hadoop, Spark et Dataflow
Cloud Next : IA en temps réel, regroupant Dataflow, TensorFlow Extended et Cloud AI
Cloud Next : Apache Beam – Traitement des données portable et parallèle
Cloud Next : Améliorer le traitement des données sans serveur dans Dataflow
Cloud Next: Modèles d'intégration de données réelles sur Google Cloud
Cloud Next: Analyse de flux sur Google Cloud
Cloud Next : Créer votre propre pipeline d'analyse d'événements à l'aide de BigQuery, Dataflow et Kubernetes
Cloud Next : Pipeline de données moderne en action
Cloud Next: Écosystème Apache Kafka en tant que service sur Google Cloud avec Confluent Cloud
Dépannage et surveillance
Observabilité, surveillance et dépannage de Dataflow
Apache Beam College: surveillance Dataflow
Apache Beam College: journalisation Dataflow
Apache Beam College : Dépannage et débogage Apache Beam et Dataflow
Podcasts
- Google Cloud Épisode 81 du podcast : Dataflow avec Frances Perry
- Podcast quotidien sur l'ingénierie logicielle : Dataflow avec Eric Anderson
- Podcast radio sur l'ingénierie logicielle, épisode 272 : Apache Beam