Integrações com o Bigtable
Nesta página, descrevemos as integrações entre o Bigtable e outros produtos e serviços.
Serviços do Google Cloud
Nesta seção, descrevemos os serviços do Google Cloud com os quais o Bigtable se integra.
BigQuery
BigQuery é o serviço de armazenamento de dados para análise de baixo custo, totalmente gerenciado e com escala em petabyte, desenvolvido pelo Google. Use o BigQuery com o Bigtable para as seguintes finalidades:
É possível criar uma tabela externa do BigQuery e usá-la para consultar a tabela do Bigtable e mesclar os dados a outras tabelas do BigQuery. Para mais informações, consulte Consultar dados do Bigtable.
É possível exportar os dados do BigQuery para uma tabela do Bigtable usando ETL reverso (RETL, na sigla em inglês) do BigQuery para o Bigtable. Para mais informações, consulte Exportar dados para o Bigtable (Visualização).
Inventário de recursos do Cloud
O Cloud Asset Inventory, que fornece serviços de inventário com base em um banco de dados de séries temporais, é compatível e retorna tipos de recursos do Bigtable. Para ver uma lista completa, consulte Tipos de recursos compatíveis.
Cloud Functions
O Cloud Functions é uma plataforma de computação sem servidor com base em eventos que se integra ao Bigtable.
No tutorial Como usar o Bigtable com o Cloud Functions, você verá como gravar, implantar e acionar um Bigtable HTTP em Node.js, Python e Go.
Data Catalog
O Data Catalog é um recurso do Dataplex que cataloga automaticamente os metadados sobre os recursos do Bigtable. As informações do Data Catalog sobre os dados facilitam a análise, a reutilização dos dados, o desenvolvimento de aplicativos e o gerenciamento de dados. Para mais informações, consulte Gerenciar recursos de dados usando o Data Catalog.
O Dataflow
O Dataflow é um serviço em nuvem e um modelo de programação para processamento de Big Data. O Dataflow é compatível com processamento em lote e de stream. Use o Dataflow para processar dados armazenados no Bigtable ou armazenar a saída do pipeline do Dataflow. Também é possível usar modelos do Dataflow para exportar e import os dados como Avro, Parquet ou SequenceFiles.
Para começar, consulte Conector Beam do Bigtable .
Também é possível usar o Bigtable como pesquisa de chave-valor para enriquecer os dados em um pipeline. Para uma visão geral, consulte Enriquecer dados de streaming. Veja um tutorial em Usar o Apache Beam e o Bigtable para enriquecer dados (em inglês).
Dataproc
O Dataproc fornece o Apache Hadoop e produtos relacionados como um serviço gerenciado na nuvem. Com o Dataproc, é possível executar jobs do Hadoop que leem e gravam no Bigtable.
Veja um exemplo de job de MapReduce do Hadoop que usa o Bigtable no
/java/dataproc-wordcountrepositório do GitHub
GoogleCloudPlatform/cloud-bigtable-examples.
Vector Search da Vertex AI
A pesquisa de vetores da Vertex AI é uma tecnologia que pode pesquisar entre bilhões de itens semanticamente semelhantes ou semanticamente relacionados. Ele é útil para implementar mecanismos de recomendação, bots de chat e classificação de texto.
É possível usar o Bigtable para armazenar embeddings vetoriais, exportá-los para
um índice de pesquisa de vetor e, em seguida, consultar o índice de itens semelhantes. Para
um tutorial que demonstre um fluxo de trabalho de amostra, consulte Exportação de pesquisa de vetores da Vertex AI do Bigtable no
repositório workflows-demos do GitHub.
Big Data
Nesta seção, descrevemos os produtos do Big Data que estão integrados ao Bigtable.
Apache Beam
O Apache Beam é um modelo unificado para definir pipelines de processamento paralelo de dados em lote e streaming. O
conector do Bigtable Beam
(BigtableIO) ajuda a executar operações em lote e de streaming nos dados do Bigtable em um pipeline.
Para ver um tutorial sobre como usar o conector do Bigtable Beam para implantar um pipeline de dados no Dataflow, consulte Processar um fluxo de alterações do Bigtable.
Apache Hadoop
O Apache Hadoop é uma biblioteca que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores. É possível usar o Dataproc para criar um cluster do Hadoop e executar jobs MapReduce que leem e gravam no Bigtable.
Veja um exemplo de job de MapReduce do Hadoop que usa o Bigtable no
/java/dataproc-wordcountrepositório do GitHub
GoogleCloudPlatform/cloud-bigtable-examples.
StreamSets Data Collector
O StreamSets Data Collector é um aplicativo de streaming de dados que pode ser configurado para gravar dados no Bigtable. O StreamSets disponibiliza uma biblioteca do Bigtable no próprio repositório do GitHub em streamsets/datacollector.
Bancos de dados de gráficos
Nesta seção, descrevemos os bancos de dados de gráficos que se integram ao Bigtable.
HGraphDB
HGraphDB é uma camada do cliente para usar o Apache HBase ou o Bigtable como banco de dados de gráficos. Ele implementa as interfaces do Apache TinkerPop 3 (em inglês).
Para mais informações sobre como executar o HGraphDB de maneira compatível com o Bigtable, consulte a documentação do HGraphDB.
JanusGraph
JanusGraph é um banco de dados de gráficos escalonável. Ele é otimizado para armazenar e consultar gráficos que contêm centenas de bilhões de vértices e bordas.
Para mais informações sobre como executar o JanusGraph de maneira compatível com o Bigtable, consulte Como executar o JanusGraph com o Bigtable ou a documentação do JanusGraph.
Gerenciamento de infraestrutura
Nesta seção, descrevemos as ferramentas de gerenciamento de infraestrutura que se integram ao Bigtable.
Pivotal Cloud Foundry
O Pivotal Cloud Foundry é uma plataforma de desenvolvimento e implantação de aplicativos que oferece a capacidade de vincular um aplicativo ao Bigtable.
Terraform
O Terraform é uma ferramenta de código aberto que codifica as APIs em arquivos de configuração declarativos. Esses arquivos podem ser compartilhados entre os membros da equipe, tratados como código, revisados e ter a versão controlada.
Para mais informações sobre como usar o Bigtable com o Terraform, consulte Instância do Bigtable e Tabela do Bigtable na documentação do Terraform.
Monitoramento e bancos de dados de séries temporais
Esta seção descreve ferramentas de monitoramento e bancos de dados de séries temporais com as quais o Bigtable se integra.
Heroic
Heroic é um sistema de monitoramento e banco de dados de série temporal. O Heroic pode usar o Bigtable para armazenar os próprios dados.
Para mais informações sobre o Heroic, consulte o repositório do GitHub spotify/heroic, assim como a documentação de como configurar o Bigtable e como configurar métricas.
OpenTSDB
O OpenTSDB é um banco de dados de série temporal que pode usar o Bigtable para armazenamento. Em Como monitorar dados de série temporal com o OpenTSDB no Bigtable e no GKE, você descobre como usar o OpenTSDB para coletar, gravar e monitorar dados de série temporal no Google Cloud. Veja outras informações na documentação do OpenTSDB para começar.