Analisi dei flussi e informazioni strategiche in tempo reale

Importa, elabora e analizza flussi di eventi in tempo reale

Fai una prova gratuita Contatta il team di vendita

Analisi in tempo reale semplificata

L'analisi dei flussi di Google Cloud può rendere i dati organizzati, utili e accessibili dal momento in cui vengono generati. Basata sull'infrastruttura a scalabilità automatica dei suoi componenti principali (Cloud Pub/Sub, Cloud Dataflow e BigQuery), la soluzione per i flussi di dati di Google riduce la complessità fornendo le risorse esatte necessarie per importare, elaborare e analizzare volumi variabili di dati in tempo reale. Con l'astrazione del provisioning, Google Cloud rende l'analisi dei flussi accessibile sia ai data analyst che ai data engineer attraverso strumenti semplici e familiari.

analisi dei flussi di Google Cloud

Scala verticalmente l'infrastruttura e riduci i problemi

L'infrastruttura di inserimento di flussi di Google Cloud è in grado di scalare automaticamente per soddisfare le esigenze esatte del tuo job, anche se non sai precisamente quali siano. Ciò significa che puoi affidarti a Google per quanto riguarda le sfide derivanti da volumi di dati variabili, ottimizzazione delle prestazioni, provisioning delle risorse e altro ancora, mentre ti concentri sulle analisi e sugli approfondimenti in tempo reale. Non è necessario pianificare o eseguire l'overprovisioning e nemmeno pagare in eccesso per risorse non utilizzate.

scalabilità dell'infrastruttura

Adotta una soluzione di importazione semplice per eventi complessi

Cloud Pub/Sub, il servizio di importazione dei flussi di Google Cloud, può importare e distribuire centinaia di milioni di eventi al secondo. Con Cloud Pub/Sub, una volta che un evento è pubblicato in un argomento, può essere ricevuto da un numero qualsiasi di pipeline di dati. Gli argomenti globali semplificano l'importazione nelle aree geografiche da te scelte, direttamente dai server o dai dispositivi connessi tramite IoT Core. L'API di inserimento di flussi di dati di BigQuery consente l'importazione diretta dei flussi nel data warehouse per casi d'uso ELT basati su SQL. Per gli utenti di Apache Kafka, Confluent e Google Cloud collaborano per offrire Kafka come servizio nativo.

servizio di importazione dei flussi

Unifica l'elaborazione dei dati in modalità flusso e batch senza vincoli

Cloud Dataflow è progettato per gestire in tempo reale i flussi, in cui i dati necessari da arricchire e trasformare per l'analisi sono disponibili in modalità batch, flusso e stream-of-file. I data engineer possono riutilizzare il codice in queste modalità tramite Apache Beam, l'SDK open source di Cloud Dataflow. Beam offre la portabilità della pipeline (ad Apache Flink, Samza e altri framework) per ambienti ibridi o multi-cloud e una flessibilità di linguaggio che include Python, SQL e Java. Dataflow controlla automaticamente la gestione delle risorse e garantisce l'elaborazione "exactly-once", rendendo le tue pipeline di flusso più affidabili e coerenti.

elaborazione reale in modalità flusso e batch

Mantieni i tuoi strumenti attuali mentre esplori l'IA di nuova generazione

Le architetture di flusso dei dati esistenti, a livello cloud e on-premise, spesso eseguono il deployment di Apache Kafka e Apache Spark. Google Cloud può collegare, migrare o estendere tali soluzioni tramite Confluent Cloud e Cloud Dataproc. Quando questi servizi si combinano con la GUI di Cloud Data Fusion, i data analyst e i data engineer possono creare pipeline di flusso. Indipendentemente dal modo in cui scegli di implementare l'analisi in tempo reale, l'ampio portafoglio di prodotti IA accessibili di Google Cloud è in grado di approfondire l'analisi dei flussi e accelerare l'azione, con o senza esperienza di machine learning.

esplorare l'intelligenza artificiale di prossima generazione

COMPONENTI DELLA SOLUZIONE

Servizio Caso d'uso per l'analisi dei flussi
Cloud Pub/Sub Per l'importazione su larga scala di flussi di dati provenienti da tutto il mondo (alternativa open source a questa soluzione: Apache Kafka).
Cloud Dataflow Per la trasformazione e l'arricchimento dei dati importati in modalità flusso e batch con affidabilità ed espressività garantite (alternativa open source a questa soluzione: Spark su Cloud Dataproc).
BigQuery Servizio di data warehouse completamente gestito che supporta 100.000 inserimenti di righe di flussi di dati al secondo e consente l'analisi ad hoc di dati in tempo reale con l'SQL standard.
Apache Beam Framework di sviluppo unificato per la programmazione delle pipeline in modalità flusso e batch. Distribuito da Google come Cloud Dataflow SDK 2.x.
Cloud Machine Learning Aggiungi un ulteriore livello di intelligenza alla tua pipeline eseguendo i flussi di eventi attraverso modelli di machine learning basati su TensorFlow personalizzati (Cloud Machine Learning Engine) o pre-configurati (API Cloud).
Cloud Bigtable Archivio dati chiave-valore a colonne a bassa latenza, ideale per serie temporali a elevato volume e applicazioni sensibili alla latenza in lettura.

Risorse aggiuntive

Elaborazione "exactly-once"

Scopri il significato dell'elaborazione "exactly-once" in Cloud Dataflow.

Visualizza il post del blog

Cloud Dataflow: pipeline di esempio

Scopri il funzionamento delle pipeline tramite esempi di gioco per dispositivi mobili.

Visualizza la documentazione

Codelab: NYC Taxi Tycoon

Partecipa a un laboratorio di codifica guidato su come elaborare i flussi di dati con Dataflow e Pub/Sub.

Scopri l'app di esempio

Soluzione di servizi finanziari

Crea un sistema di analisi quasi in tempo reale capace di scalare fino a migliaia di flussi di dati simultanei.

Leggi l'articolo sulla soluzione

Diagramma dell'architettura

Esamina l'architettura per ottimizzare l'importazione dell'analisi su larga scala in Google Cloud Platform.

Leggi l'articolo

Streaming 101

Leggi l'importante articolo di Tyler Akidau sul mondo dell'elaborazione dati oltre il batch.

Leggi l'articolo