Integrações com o Bigtable
Esta página descreve as integrações entre o Bigtable e outros produtos e serviços.
Google Cloud serviços
Esta secção descreve os serviços do Google Cloud com os quais o Bigtable se integra.
BigQuery
O BigQuery é o armazém de dados de estatísticas de baixo custo, com capacidade para petabytes de dados e totalmente gerido da Google. Pode usar o BigQuery com o Bigtable para os seguintes fins:
Pode criar uma tabela externa do BigQuery e, em seguida, usá-la para consultar a sua tabela do Bigtable e juntar os dados a outras tabelas do BigQuery. Para mais informações, consulte o artigo Consultar dados do Bigtable.
Pode exportar os seus dados do BigQuery para uma tabela do Bigtable usando o ETL inverso (RETL) do BigQuery para o Bigtable. Para mais informações, consulte o artigo Exporte dados para o Bigtable.
Cloud Asset Inventory
O Cloud Asset Inventory, que fornece serviços de inventário com base numa base de dados de séries cronológicas, suporta e devolve tipos de recursos do Bigtable. Para ver uma lista completa, consulte o artigo Tipos de recursos suportados.
Dataplex Universal Catalog
O catálogo universal do Dataplex e o catálogo de dados (descontinuado) catalogam automaticamente os metadados sobre os recursos do Bigtable. As informações catalogadas sobre os seus dados podem ajudar a facilitar a análise, a reutilização de dados, o desenvolvimento de aplicações e a gestão de dados. Para mais informações, consulte o artigo Faça a gestão de recursos de dados através do catálogo de dados.
Dataflow
O Dataflow é um serviço na nuvem e um modelo de programação para o processamento de big data. O Dataflow suporta o processamento em lote e por streaming. Pode usar o Dataflow para processar dados armazenados no Bigtable ou para armazenar o resultado do pipeline do Dataflow. Também pode usar modelos do Dataflow para exportar e importar os seus dados como ficheiros Avro, Parquet ou SequenceFiles.
Para começar, consulte o conetor Bigtable Beam.
Também pode usar o Bigtable como uma pesquisa de chave-valor para enriquecer os dados num pipeline. Para uma vista geral, consulte o artigo Enriqueça os dados de streaming. Para ver um tutorial, consulte Use o Apache Beam e o Bigtable para enriquecer os dados.
Dataproc
O Dataproc fornece o Apache Hadoop e produtos relacionados como um serviço gerido na nuvem. Com o Dataproc, pode executar tarefas do Hadoop que leiam e escrevam no Bigtable.
Para ver um exemplo de uma tarefa Hadoop MapReduce que usa o Bigtable, consulte o diretório /java/dataproc-wordcount no repositório do GitHub GoogleCloudPlatform/cloud-bigtable-examples.
Vertex AI Vector Search
A Vertex AI Vector Search é uma tecnologia que pode pesquisar entre milhares de milhões de itens semanticamente semelhantes ou semanticamente relacionados. É útil para implementar motores de recomendações, chatbots e classificação de texto.
Pode usar o Bigtable para armazenar incorporações de vetores, exportá-las para um índice de pesquisa vetorial e, em seguida, consultar o índice para encontrar itens semelhantes. Para ver um tutorial que demonstra um fluxo de trabalho de exemplo, consulte o artigo Bigtable para
exportação do Vertex AI Vector Search no repositório do
workflows-demos GitHub.
Também pode enviar atualizações de streaming para manter o índice de pesquisa vetorial sincronizado com o Bigtable em tempo real. Para mais informações, consulte o modelo de streams de alterações do Bigtable para a pesquisa vetorial.
Grande volume de dados
Esta secção descreve os produtos de Big Data com os quais o Bigtable se integra.
Apache Beam
O Apache Beam é um modelo unificado para definir pipelines de processamento em paralelo de dados em lote e por streaming. O
conetor do Bigtable Beam (BigtableIO)
ajuda a executar operações em lote e por streaming em dados do Bigtable
num pipeline.
Para ver um tutorial que mostra como usar o conetor Bigtable Beam para implementar um pipeline de dados no Dataflow, consulte o artigo Processe um fluxo de alterações do Bigtable.
Apache Hadoop
O Apache Hadoop é uma estrutura que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores. Pode usar o Dataproc para criar um cluster Hadoop e, em seguida, executar tarefas MapReduce que leiam e escrevam no Bigtable.
Para ver um exemplo de uma tarefa Hadoop MapReduce que usa o Bigtable, consulte o diretório /java/dataproc-wordcount no repositório do GitHub GoogleCloudPlatform/cloud-bigtable-examples.
StreamSets Data Collector
O StreamSets Data Collector é uma aplicação de streaming de dados que pode configurar para escrever dados no Bigtable. A StreamSets fornece uma biblioteca do Bigtable no respetivo repositório do GitHub em streamsets/datacollector.
Bases de dados de grafos
Esta secção descreve as bases de dados de grafos com as quais o Bigtable se integra.
HGraphDB
O HGraphDB é uma camada de cliente para usar o Apache HBase ou o Bigtable como uma base de dados de grafos. Implementa as interfaces Apache TinkerPop 3.
Para mais informações sobre a execução do HGraphDB com apoio técnico do Bigtable, consulte a documentação do HGraphDB.
JanusGraph
O JanusGraph é uma base de dados de grafos escalável. Está otimizado para armazenar e consultar gráficos que contêm centenas de milhares de milhões de vértices e arestas.
Para mais informações sobre a execução do JanusGraph com suporte do Bigtable, consulte o artigo Executar o JanusGraph com o Bigtable ou a documentação do JanusGraph.
Gestão de infraestruturas
Esta secção descreve as ferramentas de gestão de infraestrutura com as quais o Bigtable se integra.
Pivotal Cloud Foundry
O Pivotal Cloud Foundry é uma plataforma de programação e implementação de aplicações que oferece a capacidade de associar uma aplicação ao Bigtable.
Terraform
O Terraform é uma ferramenta de código aberto que codifica APIs em ficheiros de configuração declarativos. Estes ficheiros podem ser partilhados entre os membros da equipa, tratados como código, editados, revistos e controlados por versões.
Para mais informações sobre a utilização do Bigtable com o Terraform, consulte os artigos Instância do Bigtable e Tabela do Bigtable na documentação do Terraform.
Bases de dados de intervalos temporais e monitorização
Esta secção descreve as bases de dados de séries cronológicas e as ferramentas de monitorização com as quais o Bigtable se integra.
OpenTSDB
O OpenTSDB é uma base de dados de séries cronológicas que pode usar o Bigtable para armazenamento. A documentação do OpenTSDB fornece informações para ajudar a começar.