Soluzione di analisi dei flussi

Importa, elabora e analizza flussi di eventi in tempo reale su un'infrastruttura completamente gestita

Fai una prova gratuita Contatta il team di vendita

Soluzione aperta e integrata di analisi dei flussi

L'analisi dei flussi si è rivelata un'alternativa più efficace ai processi ETL in modalità batch in quanto consente di ottenere il massimo valore dai log di macchine, applicazioni ed eventi di interazione utente in modo più rapido e semplice. L'importazione, l'elaborazione e l'analisi rapide ed efficienti di questi flussi di dati risultano determinanti in molti ambiti, come nel rilevamento di frodi, nell'analisi clickstream e nei suggerimenti online, per citare qualche esempio. Per questi casi d'uso, Google Cloud offre una soluzione di analisi dei flussi aperta, integrata e semplice da implementare, scalare e gestire.

Rispondi agli eventi non appena si verificano

Grazie al servizio Cloud Pub/Sub, basato sulla tecnologia dell'esclusiva rete privata ad alta velocità di Google, potrai importare milioni di eventi di flusso al secondo, ovunque ti trovi. Elabora i flussi con Cloud Dataflow per garantire una trasformazione dei dati affidabile, "exactly-once" e a bassa latenza. Puoi trasmettere il flusso dei dati trasformati a BigQuery, il servizio di warehousing dei dati cloud-native, per l'analisi immediata tramite SQL o gli strumenti di visualizzazione più utilizzati. Applica l'analisi predittiva al rilevamento di frodi, alla personalizzazione in tempo reale e a casi d'uso simili integrando API e modelli di Cloud Machine Learning basati su TensorFlow nelle pipeline dei flussi di dati.

Accelera lo sviluppo senza compromessi

L'analisi dei flussi su GCP semplifica le pipeline ETL senza compromettere resistenza, accuratezza o funzionalità. Cloud Dataflow supporta uno sviluppo rapido delle pipeline mediante API Java e Python espressive nell'Apache Beam SDK, che offre un set all'avanguardia di primitive per windowing e analisi delle sessioni, nonché un ecosistema di connettori di origine e sink. Inoltre, l'esclusivo modello di sviluppo unificato di Beam consente di riutilizzare una maggiore quantità di codice nelle pipeline in modalità flusso e batch.

Semplifica operazioni e gestione

Una volta eseguito il deployment delle pipeline di elaborazione dei flussi di dati, l'approccio serverless di GCP elimina l'overhead operativo in quanto la gestione di prestazioni, scalabilità, disponibilità, sicurezza e conformità viene eseguita automaticamente. Grazie all'integrazione con Stackdriver, la soluzione di logging e monitoraggio unificata di GCP, puoi tenere sotto controllo le pipeline in esecuzione e risolvere eventuali problemi. La visualizzazione completa, il logging e le funzioni di avviso avanzate ti permettono di individuare e rispondere rapidamente a potenziali problemi.

Continua a usare i sistemi e gli strumenti preferiti

La soluzione di analisi dei flussi su GCP ha un design aperto e interoperabile. I numerosi client e l'API aperta di Cloud Pub/Sub consentono deployment ibridi e multi-cloud. Per gli utenti di Apache Kafka, Confluent è il metodo consigliato da Google per eseguire Kafka gestito, mentre un connettore Cloud Dataflow facilita l'integrazione autonoma con GCP. BigQuery si integra perfettamente con gli strumenti di Business Intelligence (BI) ed ETL già noti e apprezzati tramite l'SQL standard. Le pipeline di elaborazione dei dati, realizzate con Cloud Dataflow 2.x SDK basato su Beam, possono essere eseguite su Cloud Dataflow, Apache Spark e Apache Flink. Il supporto di Spark è disponibile tramite Cloud Dataproc per i carichi di lavoro in modalità flusso e batch.

COMPONENTI DELLA SOLUZIONE

Servizio Caso d'uso per l'analisi dei flussi
Cloud Pub/Sub Per l'importazione su larga scala di flussi di dati provenienti da tutto il mondo (alternativa open source a questa soluzione: Apache Kafka).
Cloud Dataflow Per la trasformazione e l'arricchimento dei dati importati in modalità flusso e batch con affidabilità ed espressività garantite (alternativa open source a questa soluzione: Spark su Cloud Dataproc).
BigQuery Servizio di data warehouse completamente gestito che supporta 100.000 inserimenti di righe di flussi di dati al secondo e consente l'analisi ad hoc di dati in tempo reale con l'SQL standard.
Apache Beam Framework di sviluppo unificato per la programmazione delle pipeline in modalità flusso e batch. Distribuito da Google come Cloud Dataflow SDK 2.x.
Cloud Machine Learning Aggiungi un ulteriore livello di intelligenza alla tua pipeline eseguendo i flussi di eventi attraverso modelli di machine learning basati su TensorFlow personalizzati (Cloud Machine Learning Engine) o pre-configurati (API Cloud).
Cloud Bigtable Archivio dati chiave-valore a colonne a bassa latenza, ideale per serie temporali a elevato volume e applicazioni sensibili alla latenza in lettura.

Risorse aggiuntive

Elaborazione "exactly-once"

Scopri il significato dell'elaborazione "exactly-once" in Cloud Dataflow.

Visualizza il post del blog

Cloud Dataflow: pipeline di esempio

Scopri il funzionamento delle pipeline tramite esempi di gioco per dispositivi mobili.

Visualizza la documentazione

Codelab: NYC Taxi Tycoon

Partecipa a un laboratorio di codifica guidato su come elaborare i flussi di dati con Dataflow e Pub/Sub.

Scopri l'app di esempio

Soluzione di servizi finanziari

Crea un sistema di analisi quasi in tempo reale capace di scalare fino a migliaia di flussi di dati simultanei.

Leggi l'articolo sulla soluzione

Diagramma dell'architettura

Esamina l'architettura per ottimizzare l'importazione dell'analisi su larga scala in Google Cloud Platform.

Leggi l'articolo

Streaming 101

Leggi l'importante articolo di Tyler Akidau sul mondo dell'elaborazione dati oltre il batch.

Leggi l'articolo