Creare un database di analisi in tempo reale con Bigtable e BigQuery

Bigtable e BigQuery uniscono le forze per fornirti un database di analisi in tempo reale scalabile e ad alte prestazioni. Soddisfa i clienti con dati e insight basati sull'AI più rapidi, creando una piattaforma integrata che semplifichi il processo di sviluppo, aprendo un'ampia gamma di possibilità alle analisi in tempo reale, e che ti aiuti a introdurre l'AI nei tuoi flussi di lavoro operativi.

hero bigtable in tempo reale 2

Che cos'è un database di analisi in tempo reale?

Un database di analisi in tempo reale fornisce insight e azioni immediati elaborando i dati nel momento stesso in cui vengono creati. Questo tipo di database può combinare le conoscenze aziendali con i flussi di lavoro operativi e sbloccare funzionalità che sono soggette a vincoli di tempo o che devono introdurre l'AI nelle operazioni aziendali quotidiane.

L'analisi in tempo reale viene utilizzata in applicazioni come consigli personalizzati, reazioni da smart device, manutenzione predittiva, mesh di dati, automazione dei processi, cybersicurezza e prevenzione delle frodi. Un database di analisi in tempo reale è spesso essenziale per i flussi di lavoro di AI generativa che si basano sull'accesso alle informazioni recenti. 

Mentre in passato la creazione di questi tipi di applicazioni era complessa e richiedeva molte risorse, i nuovi progressi in Bigtable e BigQuery semplificano questo processo.

Vantaggi

Integrazione perfetta

Bigtable e BigQuery combinano insight in tempo reale con dati storici senza la necessità di job ETL autogestiti. Un dialetto SQL unificato tra i due strumenti fornisce, inoltre, un'unica esperienza di sviluppo.

Funzionalità integrate in tempo reale

Funzionalità dedicate in tempo reale progettate per integrarsi tra loro, fornendo congiuntamente un database di analisi in tempo reale completo anche di terabyte o petabyte di dati e di un numero molto elevato di query al secondo (QPS).

Riduci le operazioni, ottieni di più

Soluzione di analisi in tempo reale completamente gestita e di livello enterprise che riduce al minimo l'overhead operativo con SLA leader del settore per garantire attendibilità e prestazioni affidabili.

Funzionalità principali

Rispondere ai dati in streaming

Google Cloud offre un solido ecosistema di analisi di flussi di dati per elaborare stream di dati continui provenienti da diverse origini. BigQuery è un'origine di importazione ideale per schemi noti, con l'API Storage Write di BigQuery e le query continue che consentono l'importazione diretta dei dati, massimizzando l'aggiornamento dei dati all'interno del warehouse e consentendo la connessione ad altre origini. Bigtable, invece, offre scalabilità lineare globale e sincronizzazione dei dati integrata, eccellendo in schemi flessibili e dinamici che richiedono coerenza di lettura dopo scrittura immediata. Bigtable offre anche il versioning basato su timestamp e i criteri di conservazione automatica del tempo di esistenza (TTL) predefiniti, che lo rendono la scelta ideale per l'archiviazione e l'analisi di eventi in streaming. Anche la quantità di dati che devi trasmettere in streaming è un aspetto da considerare. BigQuery può trasmettere flussi di dati a una velocità di singoli GBps al secondo nelle aree multi-regione degli Stati Uniti e dell'UE con centinaia di MBps al secondo in altre regioni. Bigtable offre una maggiore flessibilità nell'acquisizione di dati in streaming, con una scalabilità lineare di 14.000 scritture al secondo per nodo in qualsiasi regione supportata da Bigtable. 

Con la combinazione di BigQuery e Bigtable, non è necessario scendere a compromessi, ma è possibile scegliere la tecnica di importazione giusta per il caso d'uso.

Pipeline di streaming

Spazio di archiviazione scalabile e flessibile con dati e analisi e recupero rapido

Con la maggior parte dei database, devi scegliere tra il recupero rapido delle righe o l'elaborazione di analisi su larga scala. Bigtable e BigQuery, invece, combinano i loro scopi distinti per fornire un database di analisi completo in tempo reale, indipendentemente dal tipo di query. 

Bigtable è un motore di archiviazione ottimizzato per il recupero rapidissimo di singole righe o intervalli di dati, il che lo rende ideale per le applicazioni rivolte agli utenti che richiedono una reattività in tempo reale, ad esempio grafici all'interno di un'applicazione, ricerche di profili, analisi delle serie temporali, metriche su dati in streaming come i clic o qualsiasi altra query prevedibile che deve essere eseguita su volumi elevati e con bassa latenza. Bigtable si basa su un motore strutturato per log (LSM tree) che ottimizza le prestazioni utilizzando una combinazione di archiviazione in memoria e su disco disaggregato, oltre a librerie client specializzate che offrono accesso sia sincrono che asincrono. Lo schema flessibile e le capacità di gestione automatica di Bigtable ne migliorano ulteriormente l'idoneità per le applicazioni impegnative. Al contrario, BigQuery eccelle nei carichi di lavoro di analisi, fornendo strumenti efficaci per eseguire query e analizzare set di dati di grandi dimensioni con aggregazioni complesse, integrazioni con Vertex AI e trasformazioni.

Scegliendo la combinazione di Bigtable e BigQuery, non devi scegliere tra la ricerca di singole righe e l'elaborazione analitica completa su enormi set di dati. Questa integrazione perfetta consente di utilizzare facilmente entrambi i modelli di archiviazione per potenziare la tua applicazione in tempo reale. Bigtable viene spesso utilizzato come soluzione di memorizzazione nella cache conveniente per set di dati di dimensioni pari a BigQuery. Ad esempio, BigQuery può essere utilizzato per generare incorporamenti in batch e poi per pubblicarli in Bigtable per supportare le applicazioni RAG (Retrieval-Augmented Generation).

Architettura di BigQuery

Metriche disponibili all'istante

Bigtable offre tipi di dati specializzati che pre-elaborano i dati man mano che vengono scritti, fornendo risultati e approfondimenti immediati. Puoi calcolare somme, valori minimi, valori massimi e conteggi approssimativi distinti man mano che i dati vengono scritti, con replica globale integrata per ottenere risultati coerenti in tutta l'applicazione. Questi tipi di dati sono inoltre completamente interoperabili con i dati del warehouse che possono essere caricati da BigQuery.

L'aggregazione dei dati in tempo reale può supportare la creazione di funzionalità di machine learning complete, con previsioni accurate che possono suscitare l'interesse degli utenti in quel momento.

Dashboard Google Automotive

Dati e analisi sui dati continui

Bigtable è integrato nell'ecosistema di analisi di BigQuery, rendendo i tuoi dati in tempo reale facilmente accessibili per ulteriori analisi dei flussi. Puoi eseguire query e unire i dati di Bigtable con altri set di dati in BigQuery con tabelle esterne o utilizzare dati e analisi Spark open source o pipeline Apache Beam direttamente sui dati di Bigtable e scrivere i risultati. Questo accesso a dati e analisi può anche utilizzare Data Boost di Bigtable per ottenere analisi ad alte prestazioni senza influire sulle prestazioni dell'applicazione in tempo reale. Inoltre, con Change Data Capture (CDC) e Dataplex, esportare ed esplorare i dati di Bigtable è semplice e non richiede attività di sincronizzazione dei dati complesse o personalizzate.


Dati e analisi di Bigtable

Portafoglio di analisi in tempo reale di Google Cloud

Scopri di più sulle soluzioni di analisi in tempo reale su Google Cloud.

Google Cloud