Google Cloud offre un solido ecosistema di analisi di flussi di dati per elaborare stream di dati continui provenienti da diverse origini. BigQuery è un'origine di importazione ideale per schemi noti, con l'API BigQuery Storage Write e le query continue che consentono l'importazione diretta dei dati, massimizzando l'aggiornamento dei dati all'interno del data warehouse e consentendoti di connetterti ad altre origini. Bigtable, invece, offre scalabilità lineare globale e sincronizzazione dei dati integrata, eccellendo in schemi flessibili e dinamici che richiedono coerenza di lettura dopo scrittura immediata. Bigtable offre anche il versioning basato su timestamp e i criteri di conservazione automatica del tempo di esistenza (TTL) predefiniti, che lo rendono la scelta ideale per l'archiviazione e l'analisi di eventi in streaming. Anche la quantità di dati che devi trasmettere in flussi è un aspetto da considerare. BigQuery può trasmettere flussi di dati a una velocità di singoli GBps al secondo nelle aree multi-regione degli Stati Uniti e dell'UE con centinaia di MBps al secondo in altre regioni. Bigtable offre una maggiore flessibilità nell'acquisizione di dati in streaming, con una scalabilità lineare di 14.000 scritture al secondo per nodo in qualsiasi regione supportata da Bigtable. 

Grazie alla combinazione di BigQuery e Bigtable, non devi scendere a compromessi, ma puoi scegliere la tecnica di importazione giusta per il caso d'uso.

Con la maggior parte dei database, devi scegliere tra il recupero rapido delle righe o l'elaborazione di analisi su larga scala. Bigtable e BigQuery, invece, combinano i loro scopi distinti per fornire un database di analisi completo in tempo reale, indipendentemente dal tipo di query. 

Bigtable è un motore di archiviazione ottimizzato per il recupero rapidissimo di singole righe o intervalli di dati, il che lo rende ideale per le applicazioni rivolte agli utenti che richiedono una reattività in tempo reale, ad esempio grafici all'interno di un'applicazione, ricerche di profili, analisi delle serie temporali, metriche su dati in streaming come i clic o qualsiasi altra query prevedibile che deve essere eseguita su volumi elevati e con bassa latenza. Bigtable si basa su un motore strutturato per log (LSM tree) che ottimizza le prestazioni utilizzando una combinazione di archiviazione in memoria e su disco disaggregato, oltre a librerie client specializzate che offrono accesso sia sincrono che asincrono. Lo schema flessibile e le funzionalità di autogestione di Bigtable ne aumentano ulteriormente l'idoneità per le applicazioni più impegnative. Al contrario, BigQuery eccelle nei carichi di lavoro di analisi, fornendo strumenti efficaci per eseguire query e analizzare set di dati di grandi dimensioni con aggregazioni complesse, integrazioni con Vertex AI e trasformazioni.

Scegliendo la combinazione di Bigtable e BigQuery non devi scegliere tra ricerche di singole righe ed elaborazione analitica completa su set di dati di grandi dimensioni. Questa integrazione perfetta consente di utilizzare facilmente entrambi i modelli di archiviazione per potenziare la tua applicazione in tempo reale. Bigtable viene spesso utilizzato come soluzione di memorizzazione nella cache conveniente per set di dati di dimensioni pari a BigQuery. Ad esempio, BigQuery può essere utilizzato per generare incorporamenti in batch e poi per pubblicarli in Bigtable per supportare le applicazioni RAG (Retrieval-Augmented Generation).

Bigtable offre tipi di dati specializzati che pre-elaborano i dati durante la scrittura, fornendo risultati e approfondimenti immediati. Puoi calcolare somme, minimi, massimi e conteggi distinti approssimativi durante la scrittura dei dati, con replica globale integrata per ottenere risultati coerenti in tutta l'applicazione. Questi tipi di dati sono anche completamente interoperabili con i dati del warehouse che possono essere caricati da BigQuery.

L'aggregazione dei dati in tempo reale può supportare la creazione di funzionalità di machine learning complete, con previsioni accurate che possono suscitare l'interesse degli utenti in quel momento.

Bigtable è integrato nell'ecosistema di analisi di BigQuery, rendendo i tuoi dati in tempo reale facilmente accessibili per ulteriori analisi dei flussi. Puoi eseguire query e unire i dati di Bigtable con altri set di dati in BigQuery con tabelle esterne o utilizzare dati e analisi Spark open source o pipeline Apache Beam direttamente sui dati di Bigtable e scrivere i risultati. Questo accesso a dati e analisi può anche utilizzare Data Boost di Bigtable per ottenere analisi ad alte prestazioni senza influire sulle prestazioni dell'applicazione in tempo reale. Inoltre, con Change Data Capture (CDC) e Knowledge Catalog (in precedenza Dataplex), esportare e scoprire i dati di Bigtable è semplice e non richiede attività di sincronizzazione dei dati complesse o personalizzate.