Integrações com o Bigtable

Nesta página, descrevemos as integrações entre o Bigtable e outros produtos e serviços.

Serviços do Google Cloud

Nesta seção, descrevemos os serviços do Google Cloud com os quais o Bigtable se integra.

BigQuery

BigQuery é o serviço de armazenamento de dados para análise de baixo custo, totalmente gerenciado e com escala em petabyte, desenvolvido pelo Google. É possível usar o BigQuery com o Bigtable para os seguintes fins:

  • Você pode criar uma tabela externa do BigQuery e usá-la para consultar a tabela do Bigtable e juntar os dados a outros tabelas do BigQuery. Para mais informações, consulte Consulta dados do Bigtable.

  • É possível exportar seus dados do BigQuery para um Bigtable usando ETL reverso (RETL) do BigQuery Bigtable. Para mais informações, consulte Exportar dados para Bigtable

Inventário de recursos do Cloud

O Cloud Asset Inventory, que fornece serviços de inventário com base em um banco de dados de séries temporais, é compatível e retorna tipos de recursos do Bigtable. Para ver uma lista completa, consulte Tipos de recursos compatíveis.

Data Catalog

O Data Catalog é um recurso do Dataplex que automaticamente cataloga metadados sobre os recursos do Bigtable. As informações do Data Catalog sobre os dados facilitam a análise, a reutilização dos dados, o desenvolvimento de aplicativos e o gerenciamento de dados. Para mais mais informações, consulte Gerenciar recursos de dados usando Data Catalog.

Dataflow

O Dataflow é um serviço em nuvem e um modelo de programação para processamento de Big Data. O Dataflow é compatível com processamento em lote e de stream. Use o Dataflow para processar dados armazenados no Bigtable ou armazenar a saída do pipeline do Dataflow. Também é possível usar modelos do Dataflow para exportar e importar seus dados como Avro, Parquet ou SequenceFiles.

Para começar, consulte Conector do Bigtable Beam.

Também é possível usar o Bigtable como uma pesquisa de chave-valor para enriquecer os dados em um pipeline. Para ter uma visão geral, consulte Aprimorar streaming dados. Para conferir um tutorial, consulte Usar o Apache Beam e o Bigtable para enriquecer dados.

Dataproc

O Dataproc fornece o Apache Hadoop e produtos relacionados como um serviço gerenciado na nuvem. Com o Dataproc, é possível executar jobs do Hadoop que leem e gravam no Bigtable.

Veja um exemplo de job de MapReduce do Hadoop que usa o Bigtable no /java/dataproc-wordcountrepositório do GitHub GoogleCloudPlatform/cloud-bigtable-examples.

O Vertex AI Vector Search é uma tecnologia que pode pesquisar bilhões de itens semanticamente parecidos ou relacionados. É útil para implementar mecanismos de recomendação, chatbots e recursos de texto. classificação.

Use o Bigtable para armazenar embeddings de vetor, exportá-los para um índice de pesquisa vetorial e consultar o índice em busca de itens semelhantes. Para um tutorial que demonstra um fluxo de trabalho de amostra, consulte O Bigtable para Exportação de pesquisa de vetor da Vertex AI na workflows-demos repositório do GitHub.

Big Data

Nesta seção, descrevemos os produtos do Big Data que estão integrados ao Bigtable.

Apache Beam

O Apache Beam é um modelo unificado para definir o paralelismo de dados em lote e streaming pipelines de processamento de dados. O conector do Bigtable Beam (BigtableIO) ajuda a realizar operações em lote e de streaming nos dados do Bigtable em um pipeline.

Para conferir um tutorial que mostra como usar o conector do Bigtable Beam para implantar um pipeline de dados no Dataflow, consulte Processar um fluxo de alterações do Bigtable.

Apache Hadoop

O Apache Hadoop é uma biblioteca que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores. É possível usar o Dataproc para criar um cluster do Hadoop e executar jobs MapReduce que leem e gravam no Bigtable.

Veja um exemplo de job de MapReduce do Hadoop que usa o Bigtable no /java/dataproc-wordcountrepositório do GitHub GoogleCloudPlatform/cloud-bigtable-examples.

StreamSets Data Collector

O StreamSets Data Collector é um aplicativo de streaming de dados que pode ser configurado para gravar dados no Bigtable. O StreamSets disponibiliza uma biblioteca do Bigtable no próprio repositório do GitHub em streamsets/datacollector.

Bancos de dados de gráficos

Nesta seção, descrevemos os bancos de dados de gráficos que se integram ao Bigtable.

HGraphDB

HGraphDB é uma camada do cliente para usar o Apache HBase ou o Bigtable como banco de dados de gráficos. Ele implementa as interfaces do Apache TinkerPop 3 (em inglês).

Para mais informações sobre como executar o HGraphDB de maneira compatível com o Bigtable, consulte a documentação do HGraphDB.

JanusGraph

JanusGraph é um banco de dados de gráficos escalonável. Ele é otimizado para armazenar e consultar gráficos que contêm centenas de bilhões de vértices e bordas.

Para mais informações sobre como executar o JanusGraph de maneira compatível com o Bigtable, consulte Como executar o JanusGraph com o Bigtable ou a documentação do JanusGraph.

Gerenciamento de infraestrutura

Nesta seção, descrevemos as ferramentas de gerenciamento de infraestrutura que se integram ao Bigtable.

Pivotal Cloud Foundry

O Pivotal Cloud Foundry é uma plataforma de desenvolvimento e implantação de aplicativos que oferece a capacidade de vincular um aplicativo ao Bigtable.

Terraform

O Terraform é uma ferramenta de código aberto que codifica as APIs em arquivos de configuração declarativos. Esses arquivos podem ser compartilhados entre os membros da equipe, tratados como código, revisados e ter a versão controlada.

Para mais informações sobre como usar o Bigtable com o Terraform, consulte Instância do Bigtable e Tabela do Bigtable na documentação do Terraform.

Monitoramento e bancos de dados de séries temporais

Esta seção descreve ferramentas de monitoramento e bancos de dados de séries temporais com as quais o Bigtable se integra.

Heroic

Heroic é um sistema de monitoramento e banco de dados de série temporal. O Heroic pode usar o Bigtable para armazenar os próprios dados.

Para mais informações sobre o Heroic, consulte o repositório do GitHub spotify/heroic, assim como a documentação de como configurar o Bigtable e como configurar métricas.

OpenTSDB

O OpenTSDB é um banco de dados de série temporal que pode usar o Bigtable para armazenamento. A documentação do OpenTSDB oferece informações para ajudar você a começar.