Pattern di progettazione dell'analisi dei dati

Last reviewed 2023-02-06 UTC

Questa pagina fornisce link a casi d'uso aziendali, codice campione e guide di riferimento tecnico per i casi d'uso dell'analisi dei dati di settore. Utilizza queste risorse per apprendere e identificare best practice per accelerare l'implementazione dei carichi di lavoro.

I pattern di progettazione elencati qui sono casi d'uso orientati al codice e pensati per aiutarti a implementare rapidamente. Per una gamma più ampia di soluzioni di analisi, consulta l'elenco delle guide di riferimento tecniche per l'analisi dei dati.

Rilevamento delle anomalie

Soluzione Descrizione Prodotti Link

Individuazione di anomalie nei dati delle serie temporali utilizzando un encoder automatico LSTM

Utilizza questa implementazione di riferimento per scoprire come pre-elaborare i dati delle serie temporali per colmare le lacune nei dati di origine, quindi eseguire i dati tramite un encoder automatico LSTM per identificare le anomalie. L'autoencoder è creato come modello Keras che implementa una rete neurale LSTM.

Codice di esempio: Elaborazione dei dati delle serie temporali

Rilevamento in tempo reale di attività fraudolente con carta di credito

Scopri come utilizzare le transazioni e i dati dei clienti per addestrare modelli di machine learning in BigQuery ML che possono essere utilizzati in una pipeline di dati in tempo reale per identificare, analizzare e attivare avvisi per potenziali attività fraudolente con carta di credito.

Codice campione: Rilevamento in tempo reale di attività fraudolente con carta di credito

Video introduttivo: Fraudfinder: una soluzione completa per problemi di data science reali

Modellazione della forza relativa in base alle serie temporali per i mercati di capitali

Questo modello è particolarmente importante per i clienti dei mercati dei capitali e i loro reparti di analisi quantitativa (Quants), per monitorare i loro indicatori tecnici in tempo reale e prendere decisioni di investimento o monitorare gli indici. Si basa sul rilevamento di anomalie nelle serie temporali e può essere facilmente applicato ad altri settori, come quello manifatturiero, per rilevare anomalie nelle metriche pertinenti delle serie temporali.

Codice di esempio: Esempio di serie temporale di Financial Services Dataflow

Post del blog tecnico e di business: Come rilevare anomalie analizzate automaticamente nei dati del cambio estero in tempo reale

Ambiente, sociale e governance

Soluzione Descrizione Prodotti Link

Calcolo del rischio climatico fisico per la finanza sostenibile

Introduzione di un modello di progettazione dell'analisi del rischio climatico per portafogli di prestiti e investimenti utilizzando strumenti cloud-native e set di dati geospaziali granulari.

Panoramica tecnica: repository Bitbucket di analisi del rischio climatico del portafoglio

Video introduttivo: Sfruttare gli insight sui dati ESG indipendenti

Post del blog: Quantificare il rischio climatico del portafoglio per gli investimenti sostenibili con l'analisi geospaziale

Dati e analisi generali

Soluzione Descrizione Prodotti Link

Creazione di una dashboard di analisi del sito web in tempo reale

Scopri come creare una dashboard che fornisca metriche in tempo reale che puoi utilizzare per comprendere il rendimento degli incentivi o degli esperimenti sul tuo sito web.

Codice di esempio: Analisi in tempo reale con Dataflow e Memorystore

Video introduttivo: Livello successivo - Analisi in tempo reale con Dataflow e Memorystore

Creazione di una pipeline per trascrivere e analizzare i file di contenuti vocali

Scopri come trascrivere e analizzare i file di contenuti vocali caricati, quindi salva i dati in BigQuery per utilizzarli nelle visualizzazioni.

Codice di esempio: Framework di analisi vocale

Analizza i dati non strutturati negli archivi di oggetti

Scopri come analizzare i dati non strutturati in Cloud Storage, abilitando l'analisi con funzioni remote come Vertex AI Vision sulle immagini. Scopri come eseguire l'inferenza su dati non strutturati utilizzando BigQuery ML.

Guida di riferimento tecnico: introduzione alle tabelle degli oggetti

Tutorial: Analizza una tabella di oggetti utilizzando una funzione remota e l'API Cloud Vision

Tutorial: Esegui l'inferenza sulle tabelle di oggetti immagine utilizzando TensorFlow e BigQuery ML

Analizza i file di documenti non strutturati in un data warehouse

Scopri come utilizzare le tabelle di oggetti BigLake e le funzioni remote per analizzare documenti non strutturati con Document AI e salvare l'output come dati strutturati in BigQuery.

Codice di esempio: Analisi di documenti non strutturati in SQL

Creazione di un data warehouse di gestione dell'esperienza

Scopri come trasformare i dati dei sondaggi in formati utilizzabili in un data warehouse e per analisi più approfondite. Questo modello si applica all'esperienza del cliente, all'esperienza dei dipendenti e ad altri casi d'uso incentrati sull'esperienza.

Guida di riferimento tecnico: Ottenere informazioni da Moduli Google con un data warehouse di sondaggio

Codice di esempio: Trasformazione e caricamento dei dati dei sondaggi in BigQuery utilizzando Dataprep di Trifacta

Post del blog: Creating a Experience Management (XM) Data Warehouse with Survey Response

Video introduttivo: Creazione di un data warehouse per la gestione dell'esperienza con le risposte al sondaggio

Tutorial: Trasformare e caricare le risposte dei sondaggi di Moduli Google in BigQuery

Scopri come utilizzare il set di dati pubblico di Google Trends disponibile nei nostri set di dati Google Cloud per affrontare sfide aziendali comuni come identificare le tendenze nei punti vendita, anticipare la domanda dei prodotti e sviluppare nuove campagne di marketing.

Post del blog: Prendere decisioni informate con i dati di Google Trends

Video introduttivo: il set di dati di Google Trends ora è in BigQuery

Codice campione (blocco note): Blocco note di esempio Trends

Codice campione (SQL): query di esempio di Google Trends

Dashboard di esempio: I 25 termini di ricerca di Google più di tendenza

Comprensione e ottimizzazione della spesa per Google Cloud

Scopri come importare i dati di fatturazione Google Cloud in BigQuery per comprendere e ottimizzare la spesa, nonché visualizzare risultati strategici in Looker o Looker Studio.

Post del blog: Ottimizzare la tua spesa Google Cloud con BigQuery e Looker

Codice di esempio: Blocco Looker di fatturazione di Google Cloud

Ottimizzazione dei prezzi basata sui dati

Scopri come reagire rapidamente ai cambiamenti del mercato per rimanere competitivi. I clienti con un'ottimizzazione dei prezzi più rapida possono offrire prezzi competitivi ai propri utenti finali utilizzando i servizi Google Cloud, aumentando così le vendite e i profitti. Questa soluzione utilizza Dataprep di Trifacta per integrare e standardizzare le origini dati e BigQuery per gestire e archiviare i modelli di prezzo e visualizzare risultati strategici in Looker.

Post del blog: Dati sull'ottimizzazione dei prezzi basata sui dati

Tutorial: Ottimizzare il prezzo dei prodotti al dettaglio

Codice di esempio: Blocco Looker di fatturazione di Google Cloud

Assistenza sanitaria e scienze biologiche

Soluzione Descrizione Prodotti Link

Esecuzione di un'analisi genomica a cella singola

Scopri come configurare Dataproc con Dask, RAPIDS, GPU e JupyterLab, quindi esegui un'analisi genomica a cella singola.

Panoramica tecnica: Esecuzione di un'analisi genomica con Dask, RAPIDS e GPU su Dataproc

Codice di esempio: Blocco note

Post del blog: Analisi genomica a cella singola accelerata da NVIDIA su Google Cloud

Analisi dei log

Soluzione Descrizione Prodotti Link

Creazione di una pipeline per acquisire le interazioni con Dialogflow

Scopri come creare una pipeline per acquisire e archiviare le interazioni Dialogflow per ulteriori analisi.

Codice di esempio: analizzatore sintattico dei log di Dialogflow

Riconoscimento di pattern

Soluzione Descrizione Prodotti Link

Rilevamento di oggetti nei video clip

Questa soluzione mostra come creare una soluzione di analisi di video clip in tempo reale per il monitoraggio degli oggetti utilizzando Dataflow e l'API Video Intelligence, che consente di analizzare grandi volumi di dati non strutturati quasi in tempo reale.

Codice di esempio: Soluzione di analisi video con Dataflow e l'API Video Intelligence

Apache Beam Ptransform per chiamare l'API Video Intelligence: apache_beam.ml.gcp.videointelligenceml modulo

Anonimizza (anonimizza) e reidentifica i dati PII nella tua pipeline di analisi intelligente

Questa serie di soluzioni mostra come utilizzare Dataflow, Sensitive Data Protection, BigQuery e Pub/Sub per anonimizzare e reidentificare informazioni che consentono l'identificazione personale (PII) in un set di dati di esempio.

Guide di riferimento tecniche:

Codice campione: Esegui la migrazione dei dati sensibili in BigQuery utilizzando Dataflow e Cloud Data Loss Prevention

Previsione predittiva

Soluzione Descrizione Prodotti Link

Creazione di un modello di previsione della domanda

Scopri come creare un modello di serie temporali da utilizzare per prevedere la domanda retail per più prodotti.

Post del blog: Come creare modelli di previsione della domanda con BigQuery ML

Blocco note: bqml_retail_demand_forecasting.ipynb

Creazione di un'app web di previsione

Scopri come creare un'app web che sfrutta più modelli di previsione, tra cui le previsioni di BigQuery e Vertex AI, per prevedere le vendite dei prodotti. Gli utenti non tecnici possono utilizzare questa app web per generare previsioni ed esplorare gli effetti di diversi parametri.

Codice di esempio: Previsione delle serie temporali

App web di esempio: demo dal vivo della previsione delle serie temporali

Creazione di nuovi segmenti di pubblico in base al lifetime value cliente attuale

Scopri come identificare i clienti attuali più importanti e come utilizzarli per sviluppare segmenti di pubblico simili in Google Ads.

Guida di riferimento tecnico: Creazione di nuovi segmenti di pubblico in base al lifetime value cliente esistente

Codice di esempio: Attivare in base alle previsioni LTV

Previsione da Fogli Google con BigQuery ML

Scopri come operativizzare il machine learning con i tuoi processi aziendali combinando Fogli connessi con un modello di previsione in BigQuery ML. In questo esempio specifico, esamineremo la procedura per creare un modello di previsione per il traffico sul sito web utilizzando i dati di Google Analytics. Questo pattern può essere esteso per funzionare con altri tipi di dati e altri modelli di machine learning.

Post del blog: How to use a machine learning model from Google Fogli with BigQuery ML

Codice di esempio: Previsione di BigQuery ML con Fogli

Modello: Previsione BigQuery ML con Fogli

Modellazione di propensione per applicazioni di videogiochi

Scopri come utilizzare BigQuery ML per addestrare, valutare e ottenere previsioni da diversi tipi di modelli di propensione. I modelli di propensione possono aiutarti a determinare la probabilità che utenti specifici tornino alla tua app, in modo da poter utilizzare queste informazioni nelle decisioni di marketing.

Post del blog: Previsione del tasso di abbandono per gli sviluppatori di giochi che utilizzano Google Analytics 4 e BigQuery ML

Blocco note: previsione del tasso di abbandono per gli sviluppatori di giochi che utilizzano Google Analytics 4 e BigQuery ML

Panoramica tecnica: modellazione di propensione per le applicazioni di gioco

Consigliare prodotti di investimento personalizzati

Scopri come fornire suggerimenti personalizzati sugli investimenti importando, elaborando e migliorando i dati di mercato dalle API pubbliche utilizzando Cloud Functions, caricando i dati in BigQuery con Dataflow, quindi addestrando ed eseguendo il deployment di più modelli AutoML Tables con Vertex AI, orchestrando queste pipeline con Cloud Composer e infine eseguendo il deployment di un frontend web di base per consigliare investimenti agli utenti.

Post del blog: Supportare le app di finanza al consumo con consigli sugli investimenti altamente personalizzati utilizzando Vertex AI

Guida di riferimento tecnico: una soluzione tecnica che produce consigli sugli investimenti altamente personalizzati utilizzando il machine learning

Codice di esempio: FSI design pattern Investment Products Recommendation Engine (IPRE)

Utilizzo dei data lake

Soluzione Descrizione Prodotti Link

Creazione di pipeline CI/CD per i servizi di trattamento dati serverless di un data lake

Scopri come configurare l'integrazione continua e la distribuzione continua (CI/CD) per le pipeline di elaborazione dati di un data lake. Implementa metodi CI/CD con Terraform, GitHub e Cloud Build, utilizzando la popolare metodologia GitOps.

Panoramica tecnica: Creazione di pipeline CI/CD per i servizi di trattamento dati serverless di un data lake

Controllo dell'accesso granulare ai dati archiviati in un archivio di oggetti

Scopri come utilizzare BigLake per applicare autorizzazioni granulari (sicurezza a livello di riga e colonna) ai file archiviati in un archivio di oggetti. Dimostra che questa sicurezza si estende ad altri servizi, ad esempio Spark Run su Dataproc.

Codice di esempio: Controllo dell'controllo dell'accesso granulare su BigLake con Spark