O Bigtable e o BigQuery se combinam para criar um banco de dados de análise em tempo real escalonável e de alto desempenho. Encante os clientes com dados mais rápidos e insights de IA criando em uma plataforma integrada que simplifica o processo de desenvolvimento, tornando a análise em tempo real acessível a uma ampla gama de possibilidades e ajudando a trazer a IA para seus fluxos de trabalho operacionais.
Um banco de dados de análise em tempo real fornece insights e ações imediatos ao tratar os dados no momento em que são criados. Esse tipo de banco de dados pode combinar o conhecimento da empresa com fluxos de trabalho operacionais e desbloquear recursos que são sensíveis ao tempo ou precisam injetar IA nas operações comerciais diárias.
As análises em tempo real são usadas em aplicativos como recomendações personalizadas, reações de dispositivos inteligentes, manutenção preditiva, malha de dados, automação de processos, segurança cibernética e prevenção de fraudes. Um banco de dados de análise em tempo real é essencial para fluxos de trabalho de IA generativa que dependem do acesso a informações recentes.
Embora a criação desses tipos de aplicativos no passado fosse complexa e exigisse muitos recursos, os novos avanços no Bigtable e no BigQuery simplificam o processo.
Integração total
O Bigtable e o BigQuery combinam insights em tempo real com dados históricos sem a necessidade de jobs de ETL autogerenciados. Um dialeto SQL unificado entre os dois também permite uma única experiência de desenvolvimento.
Recursos integrados em tempo real
Recursos dedicados em tempo real desenvolvidos para trabalhar juntos, fornecendo um banco de dados abrangente de análise em tempo real, mesmo com terabytes ou petabytes de dados e consultas por segundo (QPS) muito altas.
Reduza as operações, alcance mais
Solução de análise em tempo real totalmente gerenciada e de nível empresarial que minimiza a sobrecarga operacional com SLAs líderes do setor para garantir confiabilidade e desempenho confiáveis.
O Google Cloud oferece um ecossistema robusto de análise de streaming para tratar fluxos de dados contínuos de diversas fontes. O BigQuery é uma fonte de ingestão ideal para esquemas conhecidos. Com a API Storage Write e as consultas contínuas, é possível fazer a ingestão direta de dados, maximizar a atualidade dos dados no data warehouse e se conectar a outras fontes. O Bigtable, por outro lado, oferece escalonabilidade linear global e sincronização de dados integrada, sendo excelente para esquemas flexíveis e dinâmicos que precisam de consistência imediata de leitura após gravação. O Bigtable também oferece recursos prontos para uso, como controle de versões baseado em carimbo de data/hora e políticas de retenção automáticas de tempo de vida (TTL), tornando-o a escolha ideal de armazenamento e análise para eventos de streaming. A quantidade de dados que você precisa transmitir também é um fator a ser considerado. O BigQuery pode transmitir dados em GBps por segundo nas multirregiões dos EUA e da UE e em centenas de MBps por segundo em outras regiões. O Bigtable oferece mais flexibilidade na captura de dados de streaming, com escalonabilidade linear de 14.000 gravações por segundo por nó em qualquer região com suporte do Bigtable.
Com a combinação do BigQuery e do Bigtable, você não precisa fazer concessões, mas pode escolher a técnica de ingestão certa para o caso de uso.
Com a maioria dos bancos de dados, é preciso escolher entre recuperação rápida de linhas ou processamento de análise em grande escala. O Bigtable e o BigQuery combinam finalidades distintas para fornecer um banco de dados de análise em tempo real completo, independentemente do tipo de consulta.
O Bigtable se destaca como um mecanismo de armazenamento otimizado para a recuperação rápida de linhas únicas ou intervalos de dados, tornando-o ideal para aplicativos voltados ao usuário que precisam de capacidade de resposta em tempo real, como gráficos em um aplicativo, pesquisas de perfil, análise de séries temporais, métricas em dados de streaming, como cliques, ou qualquer outra consulta previsível que precise ser veiculada em alto volume e com baixa latência. O Bigtable é baseado em um mecanismo estruturado de registro (árvore LSM) que otimiza o alto desempenho usando uma combinação de armazenamento em memória e em disco desagregado, além de bibliotecas de cliente especializadas que oferecem acesso síncrono e assíncrono. O esquema flexível e os recursos de autogerenciamento do Bigtable aumentam ainda mais a adequação dele para aplicativos exigentes. Em contraste, o BigQuery se destaca em cargas de trabalho de análise, oferecendo ferramentas eficientes para consultar e analisar grandes conjuntos de dados com agregações complexas, integrações com a Vertex AI e transformações.
Ao escolher a combinação do Bigtable e do BigQuery, você não precisa escolher entre pesquisas de linhas individuais e tratamento analítico abrangente em conjuntos de dados massivos. A integração perfeita facilita o uso de qualquer modelo de armazenamento para aprimorar seu aplicativo em tempo real. O Bigtable é usado com frequência como uma solução de cache econômica para conjuntos de dados do tamanho do BigQuery. Por exemplo, o BigQuery pode ser usado para gerar embeddings em lote e, em seguida, disponibilizar esses embeddings no Bigtable para dar suporte a aplicativos de geração aumentada de recuperação (RAG).
O Bigtable oferece tipos de dados especializados que tratam previamente seus dados à medida que são escritos, fornecendo resultados e insights instantâneos. É possível calcular somas, mínimos, máximos e contar aproximadamente os valores distintos à medida que os dados são gravados, com a replicação global integrada para resultados consistentes em todo o aplicativo. Esses tipos de dados também são totalmente interoperáveis com os dados do warehouse que podem ser carregados do BigQuery.
A agregação de dados em tempo real pode impulsionar a criação de atributos abrangentes de machine learning, gerando previsões precisas que podem engajar os usuários no momento.
O Bigtable está integrado ao ecossistema de análise do BigQuery, facilitando o acesso aos seus dados em tempo real para análises de fluxo adicionais. É possível consultar e mesclar dados do Bigtable com outros conjuntos de dados no BigQuery usando tabelas externas, usar o Spark Analytics de código aberto ou pipelines do Apache Beam diretamente nos dados do Bigtable e gravar os resultados. Esse acesso a análises também pode usar o Data Boost do Bigtable para gerar análises de alto desempenho sem afetar o desempenho do seu aplicativo em tempo real. Além disso, com o Change Data Capture (CDC) e o Dataplex, exportar e descobrir seus dados do Bigtable é simples e não exige tarefas complexas ou personalizadas de sincronização de dados.
Como os clientes estão tendo sucesso com análises em tempo real usando o Bigtable e o BigQuery.
Leia mais sobre as soluções de análise em tempo real no Google Cloud.