Dataflow

Analyse de flux pour l'intelligence en temps réel et l'IA générative

Maximisez le potentiel de vos données en temps réel. Dataflow est une plate-forme de streaming entièrement gérée, facile à utiliser et évolutive, qui permet d'accélérer l'IA et le ML en temps réel.

Les nouveaux clients bénéficient de 300 $ de crédits gratuits à dépenser sur Dataflow.

Fonctionnalités

Utilisez l'IA et le ML de flux pour faire fonctionner des modèles d'IA générative en temps réel

Les données en temps réel alimentent les modèles d'IA/de ML avec les informations les plus récentes, ce qui améliore la précision des prédictions. Dataflow ML simplifie le déploiement et la gestion de pipelines de ML complets. Nous proposons des modèles prêts à l'emploi pour des recommandations personnalisées, la détection des fraudes, la prévention des menaces et plus encore. Créez une IA par flux avec Vertex AI, des modèles Gemini et des modèles Gemma, exécutez des inférences à distance et simplifiez le traitement des données avec MLTransform. Améliorez l'efficacité des jobs MLOps et ML grâce aux GPU Dataflow et aux fonctionnalités d'ajustement adapté.

Gérez des cas d'utilisation avancés des flux de données à l'échelle de l'entreprise

Dataflow est un service entièrement géré qui utilise le SDK Apache Beam Open Source pour permettre des cas d'utilisation avancés de flux de données à l'échelle de l'entreprise. Il offre des fonctionnalités avancées pour l'état et l'heure, les transformations et les connecteurs d'E/S. Dataflow peut évoluer jusqu'à 4 000 nœuds de calcul par job et traiter régulièrement des pétaoctets de données. Il intègre l'autoscaling pour une utilisation optimale des ressources dans les pipelines de traitement par lot et par flux.

Déployer le traitement multimodal des données pour l'IA générative

Dataflow permet l'ingestion et la transformation parallèles de données multimodales telles que des images, du texte et de l'audio. Il applique une extraction de caractéristiques spécialisée pour chaque modalité, puis fusionne ces caractéristiques dans une représentation unifiée. Ces données fusionnées alimentent les modèles d'IA générative, ce qui leur permet de créer des contenus à partir de différentes données. Les équipes internes de Google utilisent Dataflow et FlumeJava pour organiser et calculer les prédictions du modèle pour un vaste pool de données d'entrée disponibles sans aucune exigence en termes de latence.

Accélérez le retour sur investissement avec les modèles et les notebooks

Dataflow inclut des outils qui facilitent la prise en main. Les modèles Dataflow sont des plans prédéfinis pour le traitement par flux et par lot. Ils sont optimisés pour l'intégration efficace des données CDC et BigQuery. Créez des pipelines de manière itérative avec les derniers frameworks de data science à partir de zéro dans les notebooks Vertex AI et déployez-les avec l'exécuteur Dataflow.Le générateur de jobs Dataflow est une interface utilisateur visuelle permettant de créer et d'exécuter des pipelines Dataflow dans la console Google Cloud, sans avoir à écrire de code.

Gagnez du temps grâce à des outils intelligents de diagnostic et de surveillance

Dataflow offre des outils complets de diagnostic et de surveillance. La détection des retardataires identifie automatiquement les goulots d'étranglement qui affectent les performances, tandis que l'échantillonnage des données permet d'observer les données à chaque étape du pipeline. Dataflow Insights propose des recommandations pour améliorer les jobs. L'interface utilisateur de Dataflow fournit des outils de surveillance complets, y compris des graphiques des tâches, des détails d'exécution, des métriques, des tableaux de bord d'autoscaling et la journalisation. Dataflow offre également une interface utilisateur de surveillance des coûts des jobs pour estimer facilement les coûts.

Sécurité et gouvernance intégrées

Dataflow vous aide à protéger vos données de plusieurs façons : en chiffrant les données utilisées grâce à la compatibilité avec les Confidential VM ; les clés de chiffrement gérées par le client (CMEK) ; l'intégration de VPC Service Controls, en désactivant les adresses IP publiques. Les journaux d'audit Dataflow offrent à votre organisation une visibilité sur l'utilisation de Dataflow et permettent de savoir qui a fait quoi, où et quand, pour une meilleure gouvernance.

Fonctionnement

Dataflow est une plate-forme entièrement gérée pour le traitement des données par lot et par flux. Il permet d'utiliser des pipelines ETL évolutifs, des analyses de flux en temps réel, du ML en temps réel et des transformations de données complexes à l'aide du modèle unifié Apache Beam, le tout sur une infrastructure Google Cloud sans serveur.

Vignette d'un grand bâtiment avec l'icône Datflow au-dessus et, à droite, un homme jonglant avec des icônes Pub/Sub, Cloud Storage et Cloud AutoML
Découvrez en une minute la solution Dataflow, son fonctionnement et certains cas d'utilisation courants.

Utilisations courantes

ML et IA générative en temps réel

Agissez en temps réel avec des flux de ML/IA

Les décisions de partage de secondes génèrent de la valeur commerciale. Dataflow Streaming AI et ML permettent aux clients d'implémenter des prédictions et des inférences à faible latence, une personnalisation en temps réel, la détection des menaces, la prévention des fraudes et bien d'autres cas d'utilisation où la Threat Intelligence est essentielle. Prétraiter des données avec MLTransform, qui vous permet de vous concentrer sur la transformation de vos données sans avoir à écrire du code complexe ou à gérer les bibliothèques sous-jacentes. Effectuez des prédictions sur votre modèle d'IA générative à l'aide de RunInference.



Voir le résumé de Google Cloud sur le ML en temps réel et l'IA générative avec Dataflow

Agissez en temps réel avec des flux de ML/IA

Les décisions de partage de secondes génèrent de la valeur commerciale. Dataflow Streaming AI et ML permettent aux clients d'implémenter des prédictions et des inférences à faible latence, une personnalisation en temps réel, la détection des menaces, la prévention des fraudes et bien d'autres cas d'utilisation où la Threat Intelligence est essentielle. Prétraiter des données avec MLTransform, qui vous permet de vous concentrer sur la transformation de vos données sans avoir à écrire du code complexe ou à gérer les bibliothèques sous-jacentes. Effectuez des prédictions sur votre modèle d'IA générative à l'aide de RunInference.



Voir le résumé de Google Cloud sur le ML en temps réel et l'IA générative avec Dataflow

Analyse de flux

Intégrez des flux de données pour l'analyse en temps réel et les pipelines opérationnels

Pour commencer votre transition vers le streaming de données, intégrez vos sources de flux de données (PubSub, Kafka, événements CDC, flux de clics utilisateur, journaux et données de capteurs) dans BigQuery, les lacs de données GCS, Spanner, Bigtable, les magasins SQL, Splunk, Datadog, etc. Explorez les modèles Dataflow optimisés pour configurer vos pipelines en quelques clics, sans code. Ajoutez une logique personnalisée à vos modèles de tâches grâce au compilateur UDF intégré ou créez des pipelines ETL personnalisés de A à Z, en profitant de la puissance des transformations Beam et de l'écosystème de connecteurs d'E/S. Dataflow est également couramment utilisé pour inverser les données traitées par ETL de BigQuery vers les magasins OLTP afin d'accélérer les recherches et de servir les utilisateurs finaux. Dataflow est un modèle courant d'écriture de flux de données dans plusieurs emplacements de stockage.


Découvrez les modèles Dataflow qui vous permettent de déployer un pipeline Dataflow pré-empaqueté pour le déploiement
Analyse de flux sur l'architecture Google Cloud

Lancez votre première tâche Dataflow et suivez notre formation autoguidée sur les principes de base de Dataflow.

Intégrez des flux de données pour l'analyse en temps réel et les pipelines opérationnels

Pour commencer votre transition vers le streaming de données, intégrez vos sources de flux de données (PubSub, Kafka, événements CDC, flux de clics utilisateur, journaux et données de capteurs) dans BigQuery, les lacs de données GCS, Spanner, Bigtable, les magasins SQL, Splunk, Datadog, etc. Explorez les modèles Dataflow optimisés pour configurer vos pipelines en quelques clics, sans code. Ajoutez une logique personnalisée à vos modèles de tâches grâce au compilateur UDF intégré ou créez des pipelines ETL personnalisés de A à Z, en profitant de la puissance des transformations Beam et de l'écosystème de connecteurs d'E/S. Dataflow est également couramment utilisé pour inverser les données traitées par ETL de BigQuery vers les magasins OLTP afin d'accélérer les recherches et de servir les utilisateurs finaux. Dataflow est un modèle courant d'écriture de flux de données dans plusieurs emplacements de stockage.


Découvrez les modèles Dataflow qui vous permettent de déployer un pipeline Dataflow pré-empaqueté pour le déploiement
Analyse de flux sur l'architecture Google Cloud

Lancez votre première tâche Dataflow et suivez notre formation autoguidée sur les principes de base de Dataflow.

ETL en temps réel et intégration de données

Modernisez votre plate-forme de données avec des données en temps réel

Processus d'ETL et d'intégration en temps réel et écriture immédiate des données, permettant une analyse et une prise de décision rapides. L'architecture sans serveur et les fonctionnalités de traitement de flux de Dataflow en font un outil idéal pour créer des pipelines ETL en temps réel. La fonctionnalité d'autoscaling de Dataflow garantit l'efficacité et le scaling, tandis que sa compatibilité avec diverses sources et destinations de données simplifie l'intégration.

Consultez le résumé de Google Cloud sur l'ETL en temps réel et l'intégration de données avec Dataflow

Familiarisez-vous avec le traitement par lot sur Dataflow en suivant ce cours Google Cloud Skills Boost.

Modernisez votre plate-forme de données avec des données en temps réel

Processus d'ETL et d'intégration en temps réel et écriture immédiate des données, permettant une analyse et une prise de décision rapides. L'architecture sans serveur et les fonctionnalités de traitement de flux de Dataflow en font un outil idéal pour créer des pipelines ETL en temps réel. La fonctionnalité d'autoscaling de Dataflow garantit l'efficacité et le scaling, tandis que sa compatibilité avec diverses sources et destinations de données simplifie l'intégration.

Consultez le résumé de Google Cloud sur l'ETL en temps réel et l'intégration de données avec Dataflow

Familiarisez-vous avec le traitement par lot sur Dataflow en suivant ce cours Google Cloud Skills Boost.

Marketing Intelligence

Transformez votre stratégie marketing grâce à des insights en temps réel

La Marketing Intelligence en temps réel analyse les données actuelles du marché, des clients et des concurrents afin de prendre des décisions rapides et éclairées. Elle permet de répondre avec agilité aux tendances, aux comportements et aux actions concurrentielles, transformant le marketing. Voici quelques-uns de ses avantages :

  • Marketing omnicanal en temps réel avec des offres personnalisées
  • Amélioration de la gestion de la relation client grâce à des interactions personnalisées
  • Optimisation du mix marketing agile
  • Segmentation dynamique des utilisateurs
  • Intelligence concurrentielle pour garder une longueur d'avance
  • Gestion de crise proactive sur les réseaux sociaux
Consultez le croquis de Google Cloud sur la Marketing Intelligence avec Dataflow

    Transformez votre stratégie marketing grâce à des insights en temps réel

    La Marketing Intelligence en temps réel analyse les données actuelles du marché, des clients et des concurrents afin de prendre des décisions rapides et éclairées. Elle permet de répondre avec agilité aux tendances, aux comportements et aux actions concurrentielles, transformant le marketing. Voici quelques-uns de ses avantages :

    • Marketing omnicanal en temps réel avec des offres personnalisées
    • Amélioration de la gestion de la relation client grâce à des interactions personnalisées
    • Optimisation du mix marketing agile
    • Segmentation dynamique des utilisateurs
    • Intelligence concurrentielle pour garder une longueur d'avance
    • Gestion de crise proactive sur les réseaux sociaux
    Consultez le croquis de Google Cloud sur la Marketing Intelligence avec Dataflow

      Analyse de flux de clics

      Optimiser et personnaliser les expériences sur le Web et dans les applications

      Grâce à l'analyse des flux de clics en temps réel, les entreprises peuvent analyser instantanément les interactions des utilisateurs sur les sites Web et les applications. Vous bénéficiez ainsi de la personnalisation en temps réel, des tests A/B et de l'optimisation de l'entonnoir, ce qui permet d'accroître l'engagement, d'accélérer le développement de produits, de réduire la perte d'utilisateurs et d'améliorer l'assistance produit. En fin de compte, elle offre une expérience utilisateur de qualité supérieure et stimule la croissance de l'activité grâce à une tarification dynamique et à des recommandations personnalisées.

      Voir le résumé de Google Cloud pour l'analyse de flux de clics en temps réel avec Dataflow

        Optimiser et personnaliser les expériences sur le Web et dans les applications

        Grâce à l'analyse des flux de clics en temps réel, les entreprises peuvent analyser instantanément les interactions des utilisateurs sur les sites Web et les applications. Vous bénéficiez ainsi de la personnalisation en temps réel, des tests A/B et de l'optimisation de l'entonnoir, ce qui permet d'accroître l'engagement, d'accélérer le développement de produits, de réduire la perte d'utilisateurs et d'améliorer l'assistance produit. En fin de compte, elle offre une expérience utilisateur de qualité supérieure et stimule la croissance de l'activité grâce à une tarification dynamique et à des recommandations personnalisées.

        Voir le résumé de Google Cloud pour l'analyse de flux de clics en temps réel avec Dataflow

          Tarification

          Fonctionnement des tarifs de DataflowExplorer le modèle de facturation et de ressources de Dataflow
          Services et utilisationDescription Tarifs

          Ressources de calcul Dataflow

          Pour en savoir plus, consultez la page des tarifs détaillée.

          Autres ressources Dataflow

          Les autres ressources Dataflow facturées pour l'ensemble des jobs incluent les disques persistants, les GPU et les instantanés.



          Pour en savoir plus, consultez la page des tarifs détaillée.

          Remises sur engagement d'utilisation Dataflow

          Les remises sur engagement d'utilisation Dataflow offrent deux niveaux de remises, en fonction de la période d'engagement :

          • Une remise sur engagement d'utilisation d'un an vous permet de bénéficier d'une remise de 20 % par rapport au tarif à la demande
          • Une remise sur engagement d'utilisation de trois ans vous permet de bénéficier d'une remise de 40 % par rapport au tarif à la demande

          En savoir plus sur les tarifs de Dataflow. Afficher le détail des tarifs

          Fonctionnement des tarifs de Dataflow

          Explorer le modèle de facturation et de ressources de Dataflow

          Ressources de calcul Dataflow

          Description
          Tarifs

          Pour en savoir plus, consultez la page des tarifs détaillée.

          Autres ressources Dataflow

          Description

          Les autres ressources Dataflow facturées pour l'ensemble des jobs incluent les disques persistants, les GPU et les instantanés.



          Tarifs

          Pour en savoir plus, consultez la page des tarifs détaillée.

          Remises sur engagement d'utilisation Dataflow

          Description

          Les remises sur engagement d'utilisation Dataflow offrent deux niveaux de remises, en fonction de la période d'engagement :

          • Une remise sur engagement d'utilisation d'un an vous permet de bénéficier d'une remise de 20 % par rapport au tarif à la demande
          • Une remise sur engagement d'utilisation de trois ans vous permet de bénéficier d'une remise de 40 % par rapport au tarif à la demande
          Tarifs

          En savoir plus sur les tarifs de Dataflow. Afficher le détail des tarifs

          Simulateur de coût

          Estimez vos coûts Dataflow mensuels (l'estimation inclut les tarifs et les frais spécifiques à une région).

          Devis personnalisé

          Contactez notre équipe commerciale pour obtenir un devis personnalisé pour votre entreprise.

          Commencer votre démonstration de faisabilité

          Les nouveaux clients bénéficient de 300 $ de crédits gratuits sur Dataflow

          Vous avez un projet volumineux ?

          Utiliser Dataflow

          Modèles Dataflow prédéfinis

          Parcourir des exemples de code Dataflow

          Cas d'utilisation métier

          Découvrez pourquoi les principaux clients choisissent Dataflow


          Namitha Vijaya Kumar, Product Owner, ingénierie SRE GCP chez ANZ Bank

          "Dataflow facilite le traitement par lot et le traitement des données en temps réel, garantissant ainsi la disponibilité en temps opportun des données dans le lac de données d'entreprise. Cela facilite l'utilisation des données en aval pour l'analyse/la prise de décision et l'envoi de notifications en temps réel à nos clients retail."

          Lire le témoignage

          Avantages de Dataflow

          Le streaming de ML en toute simplicité

          Les fonctionnalités clé en main qui permettent d'intégrer les flux de données à l'IA et au ML : RunInference pour l'inférence, MLTransform pour le prétraitement de l'entraînement de modèle, l'enrichissement pour la recherche dans les magasins de caractéristiques et la compatibilité dynamique avec les GPU, autant d'éléments qui réduisent les tâches répétitives et évitent les dépenses inutiles pour des ressources GPU limitées.

          Rapport prix/performances optimal et outils robustes

          Dataflow offre des flux économiques avec optimisation automatisée pour maximiser les performances et l'utilisation des ressources. Il évolue facilement pour gérer n'importe quelle charge de travail et dispose d'une autoréparation basée sur l'IA. Des outils robustes facilitent les opérations et facilitent la compréhension.

          Ouvert, portable et extensible

          Conçu pour la solution Open Source Apache Beam, Dataflow offre une compatibilité unifiée avec les traitements par lot et par flux, ce qui permet de transférer vos charges de travail entre des clouds, des environnements sur site ou des appareils de périphérie.

          Partenaires et intégration

          • Logo Confluent
          • Logo Snowplow
          • Logo Talend
          • Logo Trifacta
          • Logo Confluent
          • Logo Snowplow
          • Logo Talend
          • Logo Trifacta

          Les partenaires Google Cloud ont mis au point des intégrations à Dataflow pour vous permettre d'exécuter rapidement et facilement de puissantes tâches de traitement de données complexes de n'importe quelle taille. Découvrez tous les partenaires pour commencer à diffuser des contenus en streaming dès aujourd'hui.

          Google Cloud
          • ‪English‬
          • ‪Deutsch‬
          • ‪Español‬
          • ‪Español (Latinoamérica)‬
          • ‪Français‬
          • ‪Indonesia‬
          • ‪Italiano‬
          • ‪Português (Brasil)‬
          • ‪简体中文‬
          • ‪繁體中文‬
          • ‪日本語‬
          • ‪한국어‬
          Console
          • Faites des économies grâce à notre approche transparente concernant la tarification
          • Le paiement à l'usage de Google Cloud permet de réaliser des économies automatiques basées sur votre utilisation mensuelle et des tarifs réduits pour les ressources prépayées. Contactez-nous dès aujourd'hui afin d'obtenir un devis.
          Google Cloud