O Google Cloud oferece um ecossistema robusto de análise de streaming para tratar fluxos de dados contínuos de diversas fontes. O BigQuery é uma fonte de ingestão ideal para esquemas conhecidos. Com a API Storage Write e as consultas contínuas, é possível fazer a ingestão direta de dados, maximizar a atualidade dos dados no data warehouse e se conectar a outras fontes. O Bigtable, por outro lado, oferece escalonabilidade linear global e sincronização de dados integrada, sendo excelente para esquemas flexíveis e dinâmicos que precisam de consistência imediata de leitura após gravação. O Bigtable também oferece recursos prontos para uso, como controle de versões baseado em carimbo de data/hora e políticas de retenção automáticas de tempo de vida (TTL), tornando-o a escolha ideal de armazenamento e análise para eventos de streaming. A quantidade de dados que você precisa transmitir também é um fator a ser considerado. O BigQuery pode transmitir dados em GBps por segundo nas multirregiões dos EUA e da UE e em centenas de MBps por segundo em outras regiões. O Bigtable oferece mais flexibilidade na captura de dados de streaming, com escalonabilidade linear de 14.000 gravações por segundo por nó em qualquer região com suporte do Bigtable. 

Com a combinação do BigQuery e do Bigtable, você não precisa fazer concessões, mas pode escolher a técnica de ingestão certa para o caso de uso.

Com a maioria dos bancos de dados, é preciso escolher entre recuperação rápida de linhas ou processamento de análise em grande escala. O Bigtable e o BigQuery combinam finalidades distintas para fornecer um banco de dados de análise em tempo real completo, independentemente do tipo de consulta. 

O Bigtable se destaca como um mecanismo de armazenamento otimizado para a recuperação rápida de linhas únicas ou intervalos de dados, tornando-o ideal para aplicativos voltados ao usuário que precisam de capacidade de resposta em tempo real, como gráficos em um aplicativo, pesquisas de perfil, análise de séries temporais, métricas em dados de streaming, como cliques, ou qualquer outra consulta previsível que precise ser veiculada em alto volume e com baixa latência. O Bigtable é baseado em um mecanismo estruturado de registro (árvore LSM) que otimiza o alto desempenho usando uma combinação de armazenamento em memória e em disco desagregado, além de bibliotecas de cliente especializadas que oferecem acesso síncrono e assíncrono. O esquema flexível e os recursos de autogerenciamento do Bigtable aumentam ainda mais a adequação dele para aplicativos exigentes. Em contraste, o BigQuery se destaca em cargas de trabalho de análise, oferecendo ferramentas eficientes para consultar e analisar grandes conjuntos de dados com agregações complexas, integrações com a Vertex AI e transformações.

Ao escolher a combinação do Bigtable e do BigQuery, você não precisa escolher entre pesquisas de linhas individuais e tratamento analítico abrangente em conjuntos de dados massivos. A integração perfeita facilita o uso de qualquer modelo de armazenamento para aprimorar seu aplicativo em tempo real. O Bigtable é usado com frequência como uma solução de cache econômica para conjuntos de dados do tamanho do BigQuery. Por exemplo, o BigQuery pode ser usado para gerar embeddings em lote e, em seguida, disponibilizar esses embeddings no Bigtable para dar suporte a aplicativos de geração aumentada de recuperação (RAG).

O Bigtable oferece tipos de dados especializados que tratam previamente seus dados à medida que são escritos, fornecendo resultados e insights instantâneos. É possível calcular somas, mínimos, máximos e contar aproximadamente os valores distintos à medida que os dados são gravados, com a replicação global integrada para resultados consistentes em todo o aplicativo. Esses tipos de dados também são totalmente interoperáveis com os dados do warehouse que podem ser carregados do BigQuery.

A agregação de dados em tempo real pode impulsionar a criação de atributos abrangentes de machine learning, gerando previsões precisas que podem engajar os usuários no momento.

O Bigtable está integrado ao ecossistema de análise do BigQuery, facilitando o acesso aos seus dados em tempo real para análises de fluxo adicionais. É possível consultar e mesclar dados do Bigtable com outros conjuntos de dados no BigQuery usando tabelas externas, usar o Spark Analytics de código aberto ou pipelines do Apache Beam diretamente nos dados do Bigtable e gravar os resultados. Esse acesso a análises também pode usar o Data Boost do Bigtable para gerar análises de alto desempenho sem afetar o desempenho do seu aplicativo em tempo real. Além disso, com o Change Data Capture (CDC) e o Dataplex, exportar e descobrir seus dados do Bigtable é simples e não exige tarefas complexas ou personalizadas de sincronização de dados.