Integrações com o Bigtable
Nesta página, descrevemos as integrações entre o Bigtable e outros produtos e serviços.
Serviços do Google Cloud
Nesta seção, descrevemos os serviços do Google Cloud com os quais o Bigtable se integra.
BigQuery
BigQuery é o serviço de armazenamento de dados para análise de baixo custo, totalmente gerenciado e com escala em petabyte, desenvolvido pelo Google. É possível usar o BigQuery com o Bigtable para os seguintes fins:
Você pode criar uma tabela externa do BigQuery e usá-la para consultar a tabela do Bigtable e mesclar os dados a outras tabelas do BigQuery. Para mais informações, consulte Consultar dados do Bigtable.
É possível exportar seus dados do BigQuery para uma tabela do Bigtable usando ETL reverso (RETL, na sigla em inglês) do BigQuery para o Bigtable. Para mais informações, consulte Exportar dados para o Bigtable.
Inventário de recursos do Cloud
O Cloud Asset Inventory, que fornece serviços de inventário com base em um banco de dados de séries temporais, é compatível e retorna tipos de recursos do Bigtable. Para ver uma lista completa, consulte Tipos de recursos compatíveis.
Data Catalog
O Data Catalog é um recurso do Dataplex que cataloga automaticamente os metadados sobre recursos do Bigtable. As informações do Data Catalog sobre os dados facilitam a análise, a reutilização dos dados, o desenvolvimento de aplicativos e o gerenciamento de dados. Para mais informações, consulte Gerenciar recursos de dados usando o Data Catalog.
Dataflow
O Dataflow é um serviço em nuvem e um modelo de programação para processamento de Big Data. O Dataflow é compatível com processamento em lote e de stream. Use o Dataflow para processar dados armazenados no Bigtable ou armazenar a saída do pipeline do Dataflow. Também é possível usar modelos do Dataflow para exportar e import seus dados como Avro, Parquet ou SequenceFiles.
Para começar, consulte o Conector Beam do Bigtable.
Também é possível usar o Bigtable como uma pesquisa de chave-valor para enriquecer os dados em um pipeline. Para uma visão geral, consulte Aprimorar dados de streaming. Para conferir um tutorial, consulte Usar o Apache Beam e o Bigtable para enriquecer dados.
Dataproc
O Dataproc fornece o Apache Hadoop e produtos relacionados como um serviço gerenciado na nuvem. Com o Dataproc, é possível executar jobs do Hadoop que leem e gravam no Bigtable.
Veja um exemplo de job de MapReduce do Hadoop que usa o Bigtable no
/java/dataproc-wordcountrepositório do GitHub
GoogleCloudPlatform/cloud-bigtable-examples.
Vertex AI Vector Search
O Vertex AI Vector Search é uma tecnologia que pode pesquisar em bilhões de itens semanticamente parecidos ou relacionados. Ele é útil para implementar mecanismos de recomendação, chatbots e classificação de texto.
Use o Bigtable para armazenar embeddings de vetor, exportá-los para um índice de pesquisa de vetor e consultar o índice em busca de itens semelhantes. Para
um tutorial que demonstra um fluxo de trabalho de exemplo, consulte Bigtable to
Vertex AI Vector Search Export no repositório
workflows-demos do GitHub.
Big Data
Nesta seção, descrevemos os produtos do Big Data que estão integrados ao Bigtable.
Apache Beam
O Apache Beam é um modelo unificado para definir pipelines de processamento paralelo de dados em lote e streaming. O conector do Bigtable Beam (BigtableIO) ajuda a realizar operações em lote e de streaming nos dados do Bigtable em um pipeline.
Para conferir um tutorial que mostra como usar o conector do Bigtable Beam para implantar um pipeline de dados no Dataflow, consulte Processar um fluxo de alterações do Bigtable.
Apache Hadoop
O Apache Hadoop é uma biblioteca que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores. É possível usar o Dataproc para criar um cluster do Hadoop e executar jobs MapReduce que leem e gravam no Bigtable.
Veja um exemplo de job de MapReduce do Hadoop que usa o Bigtable no
/java/dataproc-wordcountrepositório do GitHub
GoogleCloudPlatform/cloud-bigtable-examples.
StreamSets Data Collector
O StreamSets Data Collector é um aplicativo de streaming de dados que pode ser configurado para gravar dados no Bigtable. O StreamSets disponibiliza uma biblioteca do Bigtable no próprio repositório do GitHub em streamsets/datacollector.
Bancos de dados de gráficos
Nesta seção, descrevemos os bancos de dados de gráficos que se integram ao Bigtable.
HGraphDB
HGraphDB é uma camada do cliente para usar o Apache HBase ou o Bigtable como banco de dados de gráficos. Ele implementa as interfaces do Apache TinkerPop 3 (em inglês).
Para mais informações sobre como executar o HGraphDB de maneira compatível com o Bigtable, consulte a documentação do HGraphDB.
JanusGraph
JanusGraph é um banco de dados de gráficos escalonável. Ele é otimizado para armazenar e consultar gráficos que contêm centenas de bilhões de vértices e bordas.
Para mais informações sobre como executar o JanusGraph de maneira compatível com o Bigtable, consulte Como executar o JanusGraph com o Bigtable ou a documentação do JanusGraph.
Gerenciamento de infraestrutura
Nesta seção, descrevemos as ferramentas de gerenciamento de infraestrutura que se integram ao Bigtable.
Pivotal Cloud Foundry
O Pivotal Cloud Foundry é uma plataforma de desenvolvimento e implantação de aplicativos que oferece a capacidade de vincular um aplicativo ao Bigtable.
Terraform
O Terraform é uma ferramenta de código aberto que codifica as APIs em arquivos de configuração declarativos. Esses arquivos podem ser compartilhados entre os membros da equipe, tratados como código, revisados e ter a versão controlada.
Para mais informações sobre como usar o Bigtable com o Terraform, consulte Instância do Bigtable e Tabela do Bigtable na documentação do Terraform.
Monitoramento e bancos de dados de séries temporais
Esta seção descreve ferramentas de monitoramento e bancos de dados de séries temporais com as quais o Bigtable se integra.
Heroic
Heroic é um sistema de monitoramento e banco de dados de série temporal. O Heroic pode usar o Bigtable para armazenar os próprios dados.
Para mais informações sobre o Heroic, consulte o repositório do GitHub spotify/heroic, assim como a documentação de como configurar o Bigtable e como configurar métricas.
OpenTSDB
O OpenTSDB é um banco de dados de série temporal que pode usar o Bigtable para armazenamento. A documentação do OpenTSDB oferece informações para ajudar você a começar.