Integrações com o Bigtable
Nesta página, descrevemos as integrações entre o Bigtable e outros produtos e serviços.
Serviços do Google Cloud
Nesta seção, descrevemos os serviços do Google Cloud com os quais o Bigtable se integra.
BigQuery
BigQuery é o serviço de armazenamento de dados para análise de baixo custo, totalmente gerenciado e com escala em petabyte, desenvolvido pelo Google. É possível usar o BigQuery Bigtable para as seguintes finalidades:
É possível criar uma tabela externa do BigQuery e usá-la para consultar a tabela do Bigtable e juntar os dados a outros tabelas do BigQuery. Para mais informações, consulte Consulta dados do Bigtable.
É possível exportar seus dados do BigQuery para um Bigtable usando ETL reverso (RETL) do BigQuery Bigtable. Para mais informações, consulte Exportar dados para Bigtable (pré-lançamento).
Inventário de recursos do Cloud
O Cloud Asset Inventory, que fornece serviços de inventário com base em um banco de dados de séries temporais, é compatível e retorna tipos de recursos do Bigtable. Para ver uma lista completa, consulte Tipos de recursos compatíveis.
Data Catalog
O Data Catalog é um recurso do Dataplex que automaticamente cataloga metadados sobre os recursos do Bigtable. As informações do Data Catalog sobre os dados facilitam a análise, a reutilização dos dados, o desenvolvimento de aplicativos e o gerenciamento de dados. Para mais mais informações, consulte Gerenciar recursos de dados usando Data Catalog.
Dataflow
O Dataflow é um serviço em nuvem e um modelo de programação para processamento de Big Data. O Dataflow é compatível com processamento em lote e de stream. Use o Dataflow para processar dados armazenados no Bigtable ou armazenar a saída do pipeline do Dataflow. Também é possível usar modelos do Dataflow para exportar e importar seus como Avro, Parquet ou SequenceFiles.
Para começar, consulte Conector do Bigtable Beam.
Também é possível usar o Bigtable como pesquisa de chave-valor para enriquecer os dados em um pipeline. Para ter uma visão geral, consulte Aprimorar streaming dados. Para um tutorial, consulte Usar o Apache Beam e Bigtable para enriquecer dados.
Dataproc
O Dataproc fornece o Apache Hadoop e produtos relacionados como um serviço gerenciado na nuvem. Com o Dataproc, é possível executar jobs do Hadoop que leem e gravam no Bigtable.
Veja um exemplo de job de MapReduce do Hadoop que usa o Bigtable no
/java/dataproc-wordcountrepositório do GitHub
GoogleCloudPlatform/cloud-bigtable-examples.
Vertex AI Vector Search
A Vertex AI Vector Search é uma tecnologia que pode pesquisar em bilhões de itens semanticamente parecidos ou semanticamente relacionados. É útil para implementar mecanismos de recomendação, chatbots e recursos de texto. classificação.
Use o Bigtable para armazenar embeddings de vetores, exportá-los para
um índice de Pesquisa Vetorial e, em seguida, consultar o índice para itens semelhantes. Para
um tutorial que demonstra um fluxo de trabalho de amostra, consulte O Bigtable para
Exportação de pesquisa de vetores da Vertex AI no
workflows-demos repositório do GitHub.
Big Data
Nesta seção, descrevemos os produtos do Big Data que estão integrados ao Bigtable.
Apache Beam
O Apache Beam é um modelo unificado para definir o paralelismo de dados em lote e streaming
pipelines de processamento de dados. O
Conector do Bigtable Beam (BigtableIO)
ajuda a executar operações em lote e de streaming no Bigtable
dados em um pipeline.
Para acessar um tutorial que mostra como usar o conector do Bigtable Beam para implantar um pipeline de dados para o Dataflow, consulte Processar um fluxo de alterações.
Apache Hadoop
O Apache Hadoop é uma biblioteca que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores. É possível usar o Dataproc para criar um cluster do Hadoop e executar jobs MapReduce que leem e gravam no Bigtable.
Veja um exemplo de job de MapReduce do Hadoop que usa o Bigtable no
/java/dataproc-wordcountrepositório do GitHub
GoogleCloudPlatform/cloud-bigtable-examples.
StreamSets Data Collector
O StreamSets Data Collector é um aplicativo de streaming de dados que pode ser configurado para gravar dados no Bigtable. O StreamSets disponibiliza uma biblioteca do Bigtable no próprio repositório do GitHub em streamsets/datacollector.
Bancos de dados de gráficos
Nesta seção, descrevemos os bancos de dados de gráficos que se integram ao Bigtable.
HGraphDB
HGraphDB é uma camada do cliente para usar o Apache HBase ou o Bigtable como banco de dados de gráficos. Ele implementa as interfaces do Apache TinkerPop 3 (em inglês).
Para mais informações sobre como executar o HGraphDB de maneira compatível com o Bigtable, consulte a documentação do HGraphDB.
JanusGraph
JanusGraph é um banco de dados de gráficos escalonável. Ele é otimizado para armazenar e consultar gráficos que contêm centenas de bilhões de vértices e bordas.
Para mais informações sobre como executar o JanusGraph de maneira compatível com o Bigtable, consulte Como executar o JanusGraph com o Bigtable ou a documentação do JanusGraph.
Gerenciamento de infraestrutura
Nesta seção, descrevemos as ferramentas de gerenciamento de infraestrutura que se integram ao Bigtable.
Pivotal Cloud Foundry
O Pivotal Cloud Foundry é uma plataforma de desenvolvimento e implantação de aplicativos que oferece a capacidade de vincular um aplicativo ao Bigtable.
Terraform
O Terraform é uma ferramenta de código aberto que codifica as APIs em arquivos de configuração declarativos. Esses arquivos podem ser compartilhados entre os membros da equipe, tratados como código, revisados e ter a versão controlada.
Para mais informações sobre como usar o Bigtable com o Terraform, consulte Instância do Bigtable e Tabela do Bigtable na documentação do Terraform.
Monitoramento e bancos de dados de séries temporais
Esta seção descreve ferramentas de monitoramento e bancos de dados de séries temporais com as quais o Bigtable se integra.
Heroic
Heroic é um sistema de monitoramento e banco de dados de série temporal. O Heroic pode usar o Bigtable para armazenar os próprios dados.
Para mais informações sobre o Heroic, consulte o repositório do GitHub spotify/heroic, assim como a documentação de como configurar o Bigtable e como configurar métricas.
OpenTSDB
O OpenTSDB é um banco de dados de série temporal que pode usar o Bigtable para armazenamento. A documentação do OpenTSDB fornece informações para ajudar você a começar.