Google Cloud offre un solido ecosistema di analisi di flussi di dati per elaborare stream di dati continui provenienti da diverse origini. BigQuery è un'origine di importazione ideale per schemi noti, con l'API Storage Write di BigQuery e le query continue che consentono l'importazione diretta dei dati, massimizzando l'aggiornamento dei dati all'interno del warehouse e consentendo la connessione ad altre origini. Bigtable, invece, offre scalabilità lineare globale e sincronizzazione dei dati integrata, eccellendo in schemi flessibili e dinamici che richiedono coerenza di lettura dopo scrittura immediata. Bigtable offre anche il versioning basato su timestamp e i criteri di conservazione automatica del tempo di esistenza (TTL) predefiniti, che lo rendono la scelta ideale per l'archiviazione e l'analisi di eventi in streaming. Anche la quantità di dati che devi trasmettere in streaming è un aspetto da considerare. BigQuery può trasmettere flussi di dati a una velocità di singoli GBps al secondo nelle aree multi-regione degli Stati Uniti e dell'UE con centinaia di MBps al secondo in altre regioni. Bigtable offre una maggiore flessibilità nell'acquisizione di dati in streaming, con una scalabilità lineare di 14.000 scritture al secondo per nodo in qualsiasi regione supportata da Bigtable. 

Con la combinazione di BigQuery e Bigtable, non è necessario scendere a compromessi, ma è possibile scegliere la tecnica di importazione giusta per il caso d'uso.

Con la maggior parte dei database, devi scegliere tra il recupero rapido delle righe o l'elaborazione di analisi su larga scala. Bigtable e BigQuery, invece, combinano i loro scopi distinti per fornire un database di analisi completo in tempo reale, indipendentemente dal tipo di query. 

Bigtable è un motore di archiviazione ottimizzato per il recupero rapidissimo di singole righe o intervalli di dati, il che lo rende ideale per le applicazioni rivolte agli utenti che richiedono una reattività in tempo reale, ad esempio grafici all'interno di un'applicazione, ricerche di profili, analisi delle serie temporali, metriche su dati in streaming come i clic o qualsiasi altra query prevedibile che deve essere eseguita su volumi elevati e con bassa latenza. Bigtable si basa su un motore strutturato per log (LSM tree) che ottimizza le prestazioni utilizzando una combinazione di archiviazione in memoria e su disco disaggregato, oltre a librerie client specializzate che offrono accesso sia sincrono che asincrono. Lo schema flessibile e le capacità di gestione automatica di Bigtable ne migliorano ulteriormente l'idoneità per le applicazioni impegnative. Al contrario, BigQuery eccelle nei carichi di lavoro di analisi, fornendo strumenti efficaci per eseguire query e analizzare set di dati di grandi dimensioni con aggregazioni complesse, integrazioni con Vertex AI e trasformazioni.

Scegliendo la combinazione di Bigtable e BigQuery, non devi scegliere tra la ricerca di singole righe e l'elaborazione analitica completa su enormi set di dati. Questa integrazione perfetta consente di utilizzare facilmente entrambi i modelli di archiviazione per potenziare la tua applicazione in tempo reale. Bigtable viene spesso utilizzato come soluzione di memorizzazione nella cache conveniente per set di dati di dimensioni pari a BigQuery. Ad esempio, BigQuery può essere utilizzato per generare incorporamenti in batch e poi per pubblicarli in Bigtable per supportare le applicazioni RAG (Retrieval-Augmented Generation).

Bigtable offre tipi di dati specializzati che pre-elaborano i dati man mano che vengono scritti, fornendo risultati e approfondimenti immediati. Puoi calcolare somme, valori minimi, valori massimi e conteggi approssimativi distinti man mano che i dati vengono scritti, con replica globale integrata per ottenere risultati coerenti in tutta l'applicazione. Questi tipi di dati sono inoltre completamente interoperabili con i dati del warehouse che possono essere caricati da BigQuery.

L'aggregazione dei dati in tempo reale può supportare la creazione di funzionalità di machine learning complete, con previsioni accurate che possono suscitare l'interesse degli utenti in quel momento.

Bigtable è integrato nell'ecosistema di analisi di BigQuery, rendendo i tuoi dati in tempo reale facilmente accessibili per ulteriori analisi dei flussi. Puoi eseguire query e unire i dati di Bigtable con altri set di dati in BigQuery con tabelle esterne o utilizzare dati e analisi Spark open source o pipeline Apache Beam direttamente sui dati di Bigtable e scrivere i risultati. Questo accesso a dati e analisi può anche utilizzare Data Boost di Bigtable per ottenere analisi ad alte prestazioni senza influire sulle prestazioni dell'applicazione in tempo reale. Inoltre, con Change Data Capture (CDC) e Dataplex, esportare ed esplorare i dati di Bigtable è semplice e non richiede attività di sincronizzazione dei dati complesse o personalizzate.