Pattern di progettazione dell'analisi dei dati

Last reviewed 2023-02-06 UTC

Questa pagina fornisce link a casi d'uso aziendali, codice campione e dati tecnici guide di riferimento per i casi d'uso dell'analisi dei dati di settore. Utilizza queste risorse per scoprire, identificare le best practice per accelerare l'implementazione dei carichi di lavoro.

I pattern di progettazione elencati qui sono casi d'uso orientati al codice e pensati per farti rapidamente all'implementazione. Per avere a disposizione una gamma più ampia di soluzioni di analisi, rivedi l'elenco Guide tecniche di riferimento per l'analisi di dati.

Rilevamento di anomalie

Soluzione Descrizione Prodotti Link

Individuazione di anomalie nei dati delle serie temporali mediante un autoencoder LSTM

Utilizza questa implementazione di riferimento per scoprire come pre-elaborare il tempo dei dati della serie per colmare le lacune nei dati di origine, quindi analizzarli Autoencoder LSTM per identificare le anomalie. L'Autoencoder è costruito come un Modello Keras che implementa una rete neurale LSTM.

Codice campione: Elaborazione dei dati delle serie temporali

Rilevamento in tempo reale di attività fraudolente con carta di credito

Scopri come utilizzare le transazioni e i dati dei clienti per addestrare le macchine di machine learning in BigQuery ML che possono essere utilizzati una pipeline di dati in tempo reale per identificare, analizzare e attivare avvisi per potenziale frode sulla carta di credito.

Codice campione: Rilevamento in tempo reale di attività fraudolente con carta di credito

Panoramica video: Fraudfinder: Una soluzione completa per problemi reali di data science

Creazione di modelli di forza relativa in serie temporali per i mercati di capitali

Questo pattern è particolarmente rilevante per i clienti di Capital Markets e i loro reparti di analisi quantitativa (Quants), per monitorare i loro indicatori tecnici in tempo reale per prendere decisioni di investimento o monitorare gli indici. Si basa su fondamenta del rilevamento di anomalie in serie temporali e può essere facilmente applicata ad altri settori come l'industria manifatturiera, per rilevare anomalie nelle metriche pertinenti delle serie temporali.

Codice campione: Esempio di serie temporale di Dataflow per i servizi finanziari

Economia e Post del blog tecnico: Come rilevare anomalie apprese dalle macchine nei dati dei cambi in tempo reale

Ambientale, sociale e governance

Soluzione Descrizione Prodotti Link

Calcolo del rischio climatico fisico per la finanza sostenibile

Introduzione di un modello di progettazione per l'analisi del rischio climatico per portafogli di prestiti e investimenti utilizzando strumenti cloud-native e set di dati geospaziali granulari.

Panoramica tecnica: repository Bitbucket per l'analisi dei rischi climatici del portafoglio

Panoramica video: Sfruttare gli insight sui dati ESG indipendenti

Post del blog: Quantificare il rischio climatico del portafoglio per gli investimenti sostenibili con l'analisi geospaziale

Analisi generali

Soluzione Descrizione Prodotti Link

Creazione di una dashboard di analisi del sito web in tempo reale

Scopri come creare una dashboard che fornisca metriche in tempo reale che puoi utilizzare per comprendere il rendimento di incentivi o esperimenti su del tuo sito web.

Codice di esempio: Realtime Analytics using Dataflow e Memorystore

Panoramica video: Level Up - Real-Time Analytics using Dataflow e Memorystore

Creazione di una pipeline per trascrivere e analizzare i file di contenuti vocali

Scopri come trascrivere e analizzare i file vocali caricati, quindi salva a BigQuery per utilizzarli nelle visualizzazioni.

Codice di esempio: Framework di analisi vocale

Analizza i dati non strutturati negli archivi di oggetti

Scopri come analizzare i dati non strutturati in Cloud Storage, consentendo con funzioni remote come Vertex AI Vision sulle immagini. Scopri come eseguire l'inferenza sui dati non strutturati utilizzando in BigQuery ML.

Guida di riferimento tecnica: introduzione alle tabelle degli oggetti

Tutorial: analizza una tabella di oggetti utilizzando una funzione remota e l'API Cloud Vision

Tutorial: Esegui l'inferenza sulle tabelle di oggetti immagine utilizzando TensorFlow e BigQuery ML

Analizza i file di documenti non strutturati in un data warehouse

Scopri come utilizzare le tabelle di oggetti BigLake e le funzioni remote per analizzare documenti non strutturati con Document AI e salvare come dati strutturati in BigQuery.

Codice di esempio: Analisi di documenti non strutturati in SQL

Creazione di un data warehouse di gestione dell'esperienza

Scopri come trasformare i dati dei sondaggi in formati utilizzabili in un data warehouse e per analisi più approfondite. Questo pattern si applica customer experience, dei dipendenti e altre esperienze incentrate sull'esperienza e casi d'uso specifici.

Guida di riferimento tecnica: Ottenere informazioni da Moduli Google con un data warehouse di sondaggi

Codice di esempio: Trasformare e caricare i dati dei sondaggi in BigQuery utilizzando Dataprep di Trifacta

Post del blog: Creazione di un data warehouse di gestione dell'esperienza (XM) con risposte al sondaggio

Panoramica video: Creazione di un data warehouse di gestione dell'esperienza con le risposte al sondaggio

Tutorial: Trasformare e caricare le risposte del sondaggio di Moduli Google in BigQuery

Scopri come utilizzare Set di dati pubblico di Google Trends dal nostro Set di dati di Google Cloud per affrontare le sfide aziendali più comuni, come l'identificazione delle tendenze nelle sedi dei tuoi punti vendita, anticipando la domanda dei prodotti e sviluppando nuove campagne di marketing.

Post del blog: Prendi decisioni informate con i dati di Google Trends

Panoramica video: Ora il set di dati di Google Trends si trova in BigQuery

Esempio di codice (blocco note): Blocco note di esempio di Trends

Codice di esempio (SQL): query di esempio di Google Trends

Dashboard di esempio: I 25 termini di ricerca più di tendenza su Google

Comprendere e ottimizzare la spesa di Google Cloud

Scopri come importare i dati di fatturazione Google Cloud in BigQuery per comprendere e ottimizzare la spesa e visualizzare risultati strategici in Looker o Looker Studio.

Post del blog: Ottimizzare la spesa di Google Cloud con BigQuery e Looker

Codice campione: Looker Block per la fatturazione Google Cloud

Ottimizzazione dei prezzi basata sui dati

Scopri come reagire rapidamente ai cambiamenti del mercato per rimanere competitivo. I clienti con un'ottimizzazione dei prezzi più rapida possono offrire prezzi competitivi ai propri utenti finali utilizzando i servizi Google Cloud, aumentando così le vendite e i profitti. Questa soluzione utilizza Dataprep di Trifacta per integrare e standardizzare le origini dati, BigQuery per gestire e archiviare i tuoi modelli di prezzo e visualizzare risultati strategici in Looker.

Post del blog: Ottimizzazione dei prezzi basata sui dati

Tutorial: Ottimizzare il prezzo dei prodotti retail

Codice campione: Looker Block per la fatturazione Google Cloud

Sanità e scienze biologiche

Soluzione Descrizione Prodotti Link

Esecuzione di un'analisi genomica a cella singola

Scopri come configurare Dataproc con Dask, RAPIDS, GPU e JupyterLab, quindi eseguire un'analisi genomica a cella singola.

Panoramica tecnica: Esecuzione di un'analisi genomica con Dask, RAPIDS e GPU su Dataproc

Codice campione: Blocco note

Post del blog: Analisi genomica a cella singola accelerata da NVIDIA su Google Cloud

Analisi dei log

Soluzione Descrizione Prodotti Link

Creazione di una pipeline per acquisire le interazioni di Dialogflow

Scopri come creare una pipeline per acquisire e archiviare Interazioni Dialogflow per ulteriori analisi.

Codice di esempio: analizzatore sintattico dei log di Dialogflow

Riconoscimento di pattern

Soluzione Descrizione Prodotti Link

Rilevamento di oggetti nei video clip

Questa soluzione ti mostra come creare una soluzione di analisi dei video clip in tempo reale per il monitoraggio di oggetti utilizzando Dataflow e l'API Video Intelligence, consentendoti per analizzare grandi volumi di dati non strutturati quasi in tempo reale.

Codice di esempio: Video Analytics Solution Using Dataflow and the Video Intelligence API

Apache Beam Ptransform per chiamare l'API Video Intelligence: modulo apache_beam.ml.gcp.videointelligenceml

Anonimizza (anonimizza) e reidentifica i dati PII nel tuo smart pipeline di analisi

Questa serie di soluzioni mostra come utilizzare Dataflow, Sensitive Data Protection, con BigQuery e Pub/Sub per anonimizzare e reidentificare informazioni che consentono l'identificazione personale (PII) in un set di dati di esempio.

Guide tecniche di riferimento:

Codice campione: Migrazione dei dati sensibili in BigQuery con Dataflow e Cloud Data Loss Prevention

Previsione predittiva

Soluzione Descrizione Prodotti Link

Creazione di un modello di previsione della domanda

Scopri come creare un modello di serie temporali da utilizzare per fare previsioni la domanda nel settore retail di più prodotti.

Post del blog: Come creare modelli di previsione della domanda con BigQuery ML

Blocco note: bqml_retail_demand_forecasting.ipynb

Creazione di un'app web di previsione

Scopri come creare un'app web che utilizza più previsioni modelli di previsione, tra cui BigQuery e Vertex AI, prevedere le vendite dei prodotti. Gli utenti non tecnici possono utilizzare questa app web per generare ed esplorare gli effetti di diversi parametri.

Codice di esempio: Previsione delle serie temporali

App web di esempio: demo dal vivo sulle previsioni delle serie temporali

Creazione di nuovi segmenti di pubblico in base al lifetime value cliente attuale

Scopri come identificare gli attuali più preziosi e utilizzarli per sviluppare segmenti di pubblico simili in Google Ads.

Guida di riferimento tecnica: Creazione di nuovi segmenti di pubblico in base al lifetime value cliente esistente

Codice di esempio: Attiva per le previsioni LTV

Previsioni da Fogli Google con BigQuery ML

Scopri come rendere operativo il machine learning con la tua azienda dei processi combinando Fogli connessi con un modello di previsione in BigQuery ML. In questo esempio specifico, ti guideremo attraverso il processo per creare un modello di previsione per il traffico del sito web utilizzando Dati di Google Analytics. Questo pattern può essere esteso al lavoro con altri tipi di dati e altri modelli di machine learning.

Post del blog: Come utilizzare un modello di machine learning da Fogli Google con BigQuery ML

Codice di esempio: Previsioni su BigQuery ML con Fogli

Modello: Previsioni di BigQuery ML con Fogli

Modellazione di propensione per applicazioni di videogiochi

Scopri come usare BigQuery ML per addestrare, valutare, previsioni da diversi tipi di modelli di propensione. I modelli di propensione possono aiutarti a determinare la probabilità di gli utenti che ritornano alla tua app. Puoi quindi utilizzare queste informazioni decisioni di marketing.

Post del blog: Previsione del tasso di abbandono per gli sviluppatori di giochi che utilizzano Google Analytics 4 e BigQuery ML

Blocco note: Previsione del tasso di abbandono per gli sviluppatori di giochi che utilizzano Google Analytics 4 e BigQuery ML

Consigliare prodotti di investimento personalizzati

Scopri come fornire suggerimenti personalizzati sugli investimenti importando, elaborando e Migliorare i dati di mercato delle API pubbliche utilizzando Cloud Functions, caricando i dati in BigQuery con Dataflow e quindi con l'addestramento e il deployment più modelli AutoML Tables con Vertex AI, orchestrando queste pipeline con Cloud Composer e infine l'implementazione di un frontend web di base per consigliare investimenti agli utenti.

Post del blog: Fornire alle app di finanza per privati suggerimenti di investimenti altamente personalizzati utilizzando Vertex AI

Guida di riferimento tecnica: una soluzione tecnica che produce suggerimenti sugli investimenti altamente personalizzati utilizzando il machine learning

Codice di esempio: FSI design pattern Investment Products Recommendation Engine (IPRE)

Utilizzo dei data lake

Soluzione Descrizione Prodotti Link

Creazione di pipeline CI/CD per i dati serverless di un data lake servizi di elaborazione

Scopri come configurare l'integrazione e la distribuzione continue (CI/CD) per le pipeline di elaborazione dati di un data lake. Implementa CI/CD con Terraform, GitHub e Cloud Build, utilizzando popolare metodologia GitOps.

Panoramica tecnica: Creazione di pipeline CI/CD per i servizi di trattamento dati serverless di un data lake

Controllo granulare dell'accesso ai dati archiviati in un archivio di oggetti

Scopri come utilizzare BigLake per applicare autorizzazioni granulari (sicurezza a livello di riga e colonna) sui file archiviati in un archivio di oggetti. Dimostrare che tale sicurezza si estende ad altri servizi, ad esempio l'esecuzione di Spark su Dataproc.

Codice di esempio: Controllo dell'accesso granulare su BigLake con Spark