Modèles de conception d'analyse de données

Last reviewed 2023-02-06 UTC

Cette page contient des liens vers des cas d'utilisation commerciale, des exemples de code et des guides de référence techniques pour les cas d'utilisation de l'analyse de données du secteur. Utilisez ces ressources pour apprendre et identifier les bonnes pratiques qui vous permettront d'accélérer la mise en œuvre de vos charges de travail.

Les modèles de conception répertoriés ici sont orientés code et permettent une mise en œuvre rapide. Pour découvrir une gamme plus large de solutions d'analyse, consultez la liste des guides de référence techniques pour l'analyse de données.

Détection d'anomalies

Solution Description Produits Links

Rechercher des anomalies dans les données de séries temporelles à l'aide d'un auto-encodeur LSTM

Utilisez cette mise en œuvre de référence pour apprendre à prétraiter les données de séries temporelles afin de remplir les données sources manquantes, puis à les exécuter via un auto-encodeur LSTM pour identifier les anomalies. L'auto-encodeur est conçu comme un modèle Keras qui met en œuvre un réseau de neurones LSTM.

Exemple de code : Traiter des données de séries temporelles

Détection en temps réel des utilisations frauduleuses de cartes de crédit

Découvrez comment utiliser des transactions et des données client pour entraîner des modèles de machine learning dans BigQuery ML pouvant être utilisés dans un pipeline de données en temps réel pour identifier, analyser et déclencher des alertes en cas d'une potentielle utilisation frauduleuse de carte de crédit.

Exemple de code : Détection des utilisations frauduleuses de cartes de crédit en temps réel

Vidéo de présentation: Fraudfinder: une solution complète pour les problèmes réels de science des données

Modèles de force relative sur les séries temporelles pour les marchés financiers

Ce modèle est particulièrement pertinent pour les clients de marchés financiers et leurs services d'analyse quantitative (Quants), qui leur permettent de suivre leurs indicateurs techniques en temps réel pour prendre des décisions d'investissement ou suivre des index. Cette solution est basée sur la détection d'anomalies des séries temporelles, et peut facilement être appliquée à d'autres secteurs, tels que la fabrication, pour détecter les anomalies dans les métriques de séries temporelles pertinentes.

Exemple de code : Exemple de série temporelle des services financiers Dataflow

Article de blog Business et technique: Détecter les anomalies du machine learning dans les données de taux de change en temps réel

Objectifs environnementaux, sociaux et de gouvernance

Solution Description Produits Links

Calculer le risque physique lié au climat pour une finance durable

Présentation d'un modèle de conception d'analyses des risques climatiques pour les portefeuilles de prêts et d'investissement à l'aide d'outils cloud natifs et d'ensembles de données géospatiaux précis.

Présentation technique : Dépôt Bitbucket d'analyse des risques climatiques pour les portefeuilles

Vidéo de présentation : Exploiter des insights de données ESG indépendantes

Article de blog : Quantifier les risques climatiques pour les portefeuilles pour un investissement durable avec des analyses géospatiales

Analyses générales

Solution Description Produits Liens

Créer un tableau de bord d'analyse de site Web en temps réel

Découvrez comment créer un tableau de bord fournissant des métriques en temps réel que vous pouvez utiliser pour comprendre les performances des privilèges ou des expériences de votre site Web.

Exemple de code : Analyse en temps réel à l'aide de Dataflow et de Memorystore

Vidéo de présentation : Level Up - Analyse en temps réel avec Dataflow et Memorystore

Créer un pipeline pour transcrire et analyser des fichiers vocaux

Découvrez comment transcrire et analyser des fichiers vocaux importés, puis enregistrer ces données dans BigQuery pour les utiliser dans des visualisations.

Exemple de code : Framework d'analyse vocale

Analyser des données non structurées dans des magasins d'objets

Apprenez à analyser des données non structurées dans Cloud Storage en activant l'analyse avec des fonctions distantes telles que Vertex AI Vision sur des images. Découvrez comment effectuer une inférence sur des données non structurées à l'aide de BigQuery ML.

Guide de référence technique: Présentation des tables d'objets

Tutoriel: Analyser une table d'objet à l'aide d'une fonction distante et de l'API Cloud Vision

Tutoriel: Exécuter une inférence sur des tables d'objets d'images à l'aide de TensorFlow et BigQuery ML

Analyser des fichiers de documents non structurés dans un entrepôt de données

Découvrez comment utiliser des tables d'objets BigLake et des fonctions distantes pour analyser des documents non structurés avec Document AI et enregistrer les résultats en tant que données structurées dans BigQuery.

Exemple de code: Analyse de documents non structuré en SQL

Créer un entrepôt de données de gestion de l'expérience

Découvrez comment transformer les données d'enquête dans des formats exploitables dans un entrepôt de données, et permettant d'effectuer des analyses plus approfondies. Ce modèle s'applique à l'expérience client, à l'expérience des employés et à d'autres cas d'utilisation axés sur l'expérience.

Guide de référence technique : Générer des insights à partir de Google Forms avec un entrepôt de données d'enquête

Exemple de code : Transformer et charger des données d'enquête dans BigQuery à l'aide de Dataprep by Trifacta

Article de blog : Créer un entrepôt de données de gestion des expériences à partir de réponses à des enquêtes

Vidéo de présentation : Créer un entrepôt de données de gestion des expériences à partir de réponses à des enquêtes

Tutoriel : Transformer et charger des réponses à une enquête Google Forms dans BigQuery

Découvrez comment utiliser l'ensemble de données public Google Trends depuis nos ensembles de données Google Cloud pour résoudre les problèmes courants, rencontrés par les entreprise, tels que l'identification des tendances dans les points de vente, l'anticipation de la demande de produits et le développement de nouvelles campagnes marketing.

Article de blog : Prendre des décisions éclairées avec les données Google Trends

Vidéo de présentation : L'ensemble de données Google Trends est désormais dans BigQuery

Exemple de code (notebook) : Exemple de notebook de tendances

Exemple de code (SQL) : Exemples de requêtes Google Trends

Exemple de tableau de bord : 25 des termes les plus recherchés dans la Recherche Google

Comprendre et optimiser vos dépenses Google Cloud

Découvrez comment importer vos données Google Cloud Billing dans BigQuery pour comprendre et optimiser vos dépenses, et visualiser les résultats exploitables dans Looker ou Looker Studio.

Article de blog : Optimiser vos dépenses Google Cloud avec BigQuery et Looker

Exemple de code : Bloc Looker Google Cloud Billing

Optimisation des tarifs axée sur les données

Découvrez comment réagir rapidement aux changements du marché pour rester compétitif. Grâce à l'optimisation rapide des prix, les clients peuvent proposer des prix compétitifs à leurs utilisateurs finaux à l'aide des services Google Cloud, augmentant ainsi leurs volumes de vente et leurs bénéfices. Cette solution utilise Dataprep by Trifacta pour intégrer et standardiser les sources de données, et BigQuery pour gérer et stocker vos modèles de tarification, et visualiser les résultats exploitables dans Looker.

Article de blog : Optimisation des tarifs axée sur les données

Tutoriel : Optimiser le prix des produits de détail

Exemple de code : Bloc Looker Google Cloud Billing

Santé et sciences de la vie

Solution Description Produits Liens

Effectuer une analyse génomique à une seule cellule

Découvrez comment configurer Dataproc avec Dask, RAPIDS, des GPU et JupyterLab, puis exécuter une analyse génomique à une seule cellule.

Présentation technique : Exécuter une analyse génomique avec Dask, RAPIDS et les GPU sur Dataproc

Exemple de code : Notebook

Article de blog : Analyse génomique à une seule cellule accélérée par NVIDIA sur Google Cloud

Analyses de journaux

Solution Description Produits Liens

Créer un pipeline pour capturer les interactions Dialogflow

Apprenez à créer un pipeline pour capturer et stocker les interactions Dialogflow pour une analyse plus approfondie.

Exemple de code : Analyseur de journaux Dialogflow

Reconnaissance des formes

Solution Description Produits Liens

Détecter des objets dans des extraits vidéo

Cette solution vous montre comment créer une solution d'analyse des extraits vidéo en temps réel pour le suivi d'objets à l'aide de Dataflow et de l'API Video Intelligence, ce qui vous permet d'analyser d'importants volumes de données non structurées quasiment en temps réel.

Exemple de code : Solution d'analyse vidéo à l'aide de Dataflow et de l'API Video Intelligence

Ptransform Apache Beam pour appeler l'API Video Intelligence : module Apache_beam.ml.gcp.videointelligence.ml

Anonymiser et restaurer l'identification des informations personnelles dans votre pipeline d'analyses intelligentes

Cette série de solutions vous montre comment utiliser Dataflow, la protection des données sensibles, BigQuery et Pub/Sub pour supprimer et restaurer l'identification des informations personnelles dans un exemple d'ensemble de données.

Guides de référence techniques :

Exemple de code : Migrer des données sensibles dans BigQuery à l'aide de Dataflow et de Cloud Data Loss Prevention

Prévisions de prédiction

Solution Description Produits Links

Créer et visualiser des prédictions de prévision de la demande en utilisant Datastream, Dataflow, BigQuery ML et Looker

Découvrez comment répliquer et traiter des données opérationnelles d'une base de données Oracle dans Google Cloud en temps réel. Vous apprendrez également à prévoir la demande future et à visualiser ces données au fur et à mesure qu'elles arrivent. Ce type de prédiction peut par exemple être utilisé pour réduire le gaspillage alimentaire dans le commerce.

Article de blog : Résoudre le problème du gaspillage alimentaire grâce à l'analyse de données dans Google Cloud

Guide de référence technique : Créer et visualiser des prédictions de demande en utilisant Datastream, Dataflow, BigQuery et Looker

Créer un modèle de prévision de la demande

Découvrez comment créer un modèle de série temporelle que vous pouvez utiliser afin de prévoir la demande commerciale de plusieurs produits.

Article de blog : Créer des modèles de prévision de la demande à l'aide de BigQuery ML

Notebook : bqml_retail_demand_forecasting.ipynb

Créer une application Web de prévision

Découvrez comment créer une application Web qui exploite plusieurs modèles de prévision, y compris les prévisions BigQuery et Vertex AI, pour prédire les ventes de produits. Les utilisateurs non spécialistes peuvent utiliser cette application Web pour produire des prévisions et explorer les effets de différents paramètres.

Exemple de code: Prévision de séries temporelles

Exemple d'application Web: Démonstration en direct des prévisions de séries temporelles

Créer de nouvelles audiences en fonction de la valeur vie client actuelle

Découvrez comment identifier vos clients actuels les plus intéressants, puis les utiliser pour développer des audiences similaires dans Google Ads.

Guide de référence technique : Créer de nouvelles audiences en se basant sur la valeur client existante

Exemple de code : Activer les prédictions de valeur vie client (LTV)

Effectuer des prévisions à partir de Google Sheets à l'aide de BigQuery ML

Découvrez comment opérationnaliser le machine learning avec vos processus métier en combinant les feuilles connectées de Sheets avec un modèle de prévision dans BigQuery ML. Dans cet exemple spécifique, nous allons vous expliquer le processus de création d'un modèle de prévision de trafic de site Web utilisant des données Google Analytics. Ce modèle peut être étendu à d'autres types de données ainsi qu'à d'autres modèles de machine learning.

Article de blog : Utiliser un modèle de machine learning à partir de Google Sheets avec BigQuery ML

Exemple de code : Prévisions BigQuery ML avec Sheets

Modèle : Prévisions BigQuery ML avec Sheets

Modèles des tendances pour les applications de jeux

Apprenez à utiliser BigQuery ML pour entraîner, évaluer et obtenir des prédictions à partir de différents types de modèles de tendances. Les modèles de tendances peuvent vous aider à déterminer la probabilité que des utilisateurs spécifiques retournent sur votre application. Vous pouvez ainsi utiliser ces informations pour prendre des décisions marketing.

Article de blog : Prédiction du taux de perte d'utilisateurs pour les développeurs de jeux vidéo à l'aide de Google Analytics 4 et de BigQuery ML

Notebook : Prédiction du taux de perte d'utilisateurs pour les développeurs de jeux vidéo à l'aide de Google Analytics 4 et de BigQuery ML

Présentation technique : Modélisation des tendances pour les applications de jeu vidéo

Recommander des produits d'investissement personnalisés

Découvrez comment proposer des recommandations d'investissement personnalisées en ingérant, traitant et améliorant les données du marché à partir d'API publiques avec Cloud Functions, en chargeant des données dans BigQuery avec Dataflow, en entraînant et en déployant plusieurs modèles AutoML Tables avec Vertex AI, en orchestrant ces pipelines avec Cloud Composer, puis en déployant une interface Web de base qui recommande des investissements aux utilisateurs.

Article de blog: Fournir des recommandations d'investissement très personnalisées pour les applications de finance grand public à l'aide de Vertex AI

Guide de référence technique : Solution technique générant des recommandations d'investissement très personnalisées à l'aide du ML

Exemple de code : Modèle de conception FSI du moteur de recommandations de produits d'investissement (IPRE)

Utiliser des lacs de données

Solution Description Produits Liens

Créer des pipelines CI/CD pour les services de traitement de données sans serveur d'un lac de données

Découvrez comment configurer l'intégration et la livraison continues (CI/CD) pour les pipelines de traitement de données d'un lac de données. Mettez en œuvre des méthodes CI/CD avec Terraform, GitHub et Cloud Build à l'aide de la méthodologie GitOps.

Présentation technique : Créer des pipelines CI/CD pour les services de traitement de données sans serveur d'un lac de données

Contrôle précis des accès aux données stockées dans un magasin d'objets

Découvrez comment utiliser BigLake pour appliquer des autorisations précises (sécurité au niveau des lignes et des colonnes) sur les fichiers stockés dans un magasin d'objets. Démontre que la sécurité s'étend à d'autres services, tels que Spark sur Dataproc.

Exemple de code: Contrôle précis des accès sur BigLake avec Spark