Integrações com o Bigtable
Nesta página, descrevemos as integrações entre o Bigtable e outros produtos e serviços.
Serviços do Google Cloud
Nesta seção, descrevemos os serviços do Google Cloud com os quais o Bigtable se integra.
BigQuery
BigQuery é o serviço de armazenamento de dados para análise de baixo custo, totalmente gerenciado e com escala em petabyte, desenvolvido pelo Google. Você pode usar o BigQuery com o Bigtable para as seguintes finalidades:
É possível criar uma tabela externa do BigQuery e usá-la para consultar a tabela do Bigtable e unir os dados a outras tabelas do BigQuery. Para mais informações, consulte Consultar dados do Bigtable.
É possível exportar dados do BigQuery para uma tabela do Bigtable usando ETL reverso (RETL, na sigla em inglês) do BigQuery para o Bigtable. Para mais informações, consulte Exportar dados para o Bigtable (Visualização).
Inventário de recursos do Cloud
O Cloud Asset Inventory, que fornece serviços de inventário com base em um banco de dados de séries temporais, é compatível e retorna tipos de recursos do Bigtable. Para ver uma lista completa, consulte Tipos de recursos compatíveis.
Data Catalog
O Data Catalog é um recurso do Dataplex que cataloga automaticamente metadados sobre recursos do Bigtable. As informações do Data Catalog sobre os dados facilitam a análise, a reutilização dos dados, o desenvolvimento de aplicativos e o gerenciamento de dados. Para mais informações, consulte Gerenciar recursos de dados usando o Data Catalog.
Dataflow
O Dataflow é um serviço em nuvem e um modelo de programação para processamento de Big Data. O Dataflow é compatível com processamento em lote e de stream. Use o Dataflow para processar dados armazenados no Bigtable ou armazenar a saída do pipeline do Dataflow. Também é possível usar modelos do Dataflow para exportar e import seus dados como Avro, Parquet ou SequenceFiles.
Para começar, consulte Conector do Bigtable Beam.
Também é possível usar o Bigtable como uma pesquisa de chave-valor para enriquecer os dados em um pipeline. Para uma visão geral, consulte Aprimorar dados de streaming. Para um tutorial, consulte Usar o Apache Beam e o Bigtable para enriquecer dados.
Dataproc
O Dataproc fornece o Apache Hadoop e produtos relacionados como um serviço gerenciado na nuvem. Com o Dataproc, é possível executar jobs do Hadoop que leem e gravam no Bigtable.
Veja um exemplo de job de MapReduce do Hadoop que usa o Bigtable no
/java/dataproc-wordcountrepositório do GitHub
GoogleCloudPlatform/cloud-bigtable-examples.
Vertex AI Vector Search
A Pesquisa de vetores da Vertex AI é uma tecnologia que pode pesquisar em bilhões de itens semanticamente semelhantes ou semanticamente relacionados. É útil para implementar mecanismos de recomendação, chatbots e classificação de texto.
É possível usar o Bigtable para armazenar embeddings de vetores, exportá-los para
um índice de Pesquisa Vetorial e, em seguida, consultar o índice para itens semelhantes. Para
conferir um tutorial que demonstra um fluxo de trabalho de amostra, consulte Exportação do Bigtable para
exportação de pesquisa vetorial da Vertex AI no
repositório workflows-demos do GitHub.
Big Data
Nesta seção, descrevemos os produtos do Big Data que estão integrados ao Bigtable.
Apache Beam
O Apache Beam é um modelo unificado para definir pipelines de processamento paralelo de dados em lote e streaming. O conector do Bigtable Beam (BigtableIO) ajuda a executar operações em lote e de streaming nos dados do Bigtable em um pipeline.
Para um tutorial mostrando como usar o conector do Bigtable Beam para implantar um pipeline de dados no Dataflow, consulte Processar um fluxo de alterações do Bigtable.
Apache Hadoop
O Apache Hadoop é uma biblioteca que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores. É possível usar o Dataproc para criar um cluster do Hadoop e executar jobs MapReduce que leem e gravam no Bigtable.
Veja um exemplo de job de MapReduce do Hadoop que usa o Bigtable no
/java/dataproc-wordcountrepositório do GitHub
GoogleCloudPlatform/cloud-bigtable-examples.
StreamSets Data Collector
O StreamSets Data Collector é um aplicativo de streaming de dados que pode ser configurado para gravar dados no Bigtable. O StreamSets disponibiliza uma biblioteca do Bigtable no próprio repositório do GitHub em streamsets/datacollector.
Bancos de dados de gráficos
Nesta seção, descrevemos os bancos de dados de gráficos que se integram ao Bigtable.
HGraphDB
HGraphDB é uma camada do cliente para usar o Apache HBase ou o Bigtable como banco de dados de gráficos. Ele implementa as interfaces do Apache TinkerPop 3 (em inglês).
Para mais informações sobre como executar o HGraphDB de maneira compatível com o Bigtable, consulte a documentação do HGraphDB.
JanusGraph
JanusGraph é um banco de dados de gráficos escalonável. Ele é otimizado para armazenar e consultar gráficos que contêm centenas de bilhões de vértices e bordas.
Para mais informações sobre como executar o JanusGraph de maneira compatível com o Bigtable, consulte Como executar o JanusGraph com o Bigtable ou a documentação do JanusGraph.
Gerenciamento de infraestrutura
Nesta seção, descrevemos as ferramentas de gerenciamento de infraestrutura que se integram ao Bigtable.
Pivotal Cloud Foundry
O Pivotal Cloud Foundry é uma plataforma de desenvolvimento e implantação de aplicativos que oferece a capacidade de vincular um aplicativo ao Bigtable.
Terraform
O Terraform é uma ferramenta de código aberto que codifica as APIs em arquivos de configuração declarativos. Esses arquivos podem ser compartilhados entre os membros da equipe, tratados como código, revisados e ter a versão controlada.
Para mais informações sobre como usar o Bigtable com o Terraform, consulte Instância do Bigtable e Tabela do Bigtable na documentação do Terraform.
Monitoramento e bancos de dados de séries temporais
Esta seção descreve ferramentas de monitoramento e bancos de dados de séries temporais com as quais o Bigtable se integra.
Heroic
Heroic é um sistema de monitoramento e banco de dados de série temporal. O Heroic pode usar o Bigtable para armazenar os próprios dados.
Para mais informações sobre o Heroic, consulte o repositório do GitHub spotify/heroic, assim como a documentação de como configurar o Bigtable e como configurar métricas.
OpenTSDB
O OpenTSDB é um banco de dados de série temporal que pode usar o Bigtable para armazenamento. A documentação do OpenTSDB (em inglês) contém informações para ajudar você a começar.