Visão geral do Datastream

Visão geral

O Datastream é um serviço de replicação de dados e captura de dados alterados (CDC, na sigla em inglês) sem servidor e fácil de usar, que permite sincronizar dados de maneira confiável e com latência mínima.

O Datastream oferece replicação contínua de dados de bancos de dados operacionais para o BigQuery. Além disso, o Datastream suporta a gravação do fluxo de eventos de alteração no Cloud Storage e oferece integração simplificada com modelos do Dataflow para criar fluxos de trabalho personalizados e carregar dados em uma ampla variedade de destinos, como Cloud SQL e Spanner. Você também pode usar o Datastream para aproveitar o fluxo de eventos diretamente do Cloud Storage e implementar arquiteturas orientadas a eventos. O Datastream oferece suporte a fontes Oracle, MySQL, SQL Server e PostgreSQL (incluindo AlloyDB para PostgreSQL).

Veja os benefícios do Datastream:

  • Configuração simples de pipelines ELT (extrair, carregar, transformar) para replicação de dados de baixa latência, permitindo insights quase em tempo real no BigQuery.
  • Ser sem servidor, para que não haja recursos para provisionar ou gerenciar, e o serviço seja escalonado verticalmente e reduzido automaticamente, conforme necessário, com tempo de inatividade mínimo.
  • Configuração fácil de usar e experiências de monitoramento que aceleram o retorno do investimento.
  • Integração com o melhor do portfólio de serviços de dados do Google Cloud para integração de dados no Datastream, Dataflow, Pub/Sub, BigQuery e muito mais.
  • Sincronização e unificação de fluxos de dados em bancos de dados e aplicativos heterogêneos.
  • Segurança, com opções de conectividade privada e a segurança que você espera do Google Cloud.
  • É preciso e confiável, com relatórios de status transparentes e flexibilidade de processamento robusta diante de mudanças de dados e esquemas.
  • Compatibilidade com vários casos de uso, incluindo análise, replicação de banco de dados e sincronização para migrações e configurações de nuvem híbrida, e para a criação de arquiteturas orientadas a eventos.

Casos de uso

Os recursos de streaming do Datastream permitem vários casos de uso:

  • Replicação e sincronização de dados em toda a organização com latência mínima

    É possível sincronizar dados em bancos de dados e aplicativos heterogêneos de maneira confiável, com baixa latência e um impacto mínimo no desempenho da sua origem. Aproveite o poder dos fluxos de dados para análises, replicação de bancos de dados, migração para a nuvem e arquiteturas orientadas a eventos em ambientes híbridos.

  • Aumente ou reduza a escala com uma arquitetura sem servidor

    Comece a trabalhar rapidamente com um serviço sem servidor e fácil de usar que faz o escalonamento sem interrupções conforme os volumes de dados mudam. Concentre-se em gerar insights atualizados com base nos seus dados e responder a problemas de alta prioridade, em vez de gerenciar a infraestrutura, o ajuste de desempenho ou o provisionamento de recursos.

  • Integração com o pacote de integração de dados do Google Cloud

    Conecte dados em toda a organização com o pacote de produtos de integração de dados do Google Cloud. O Datastream usa os modelos do Dataflow para carregar dados no BigQuery, no Spanner e no Cloud SQL.

Elementos de experiência

Há três elementos principais que compõem o Datastream:

  • As configurações de conectividade privada permitem que o Datastream se comunique com uma fonte de dados em uma rede privada (internamente no Google Cloud ou com fontes externas conectadas por VPN ou Interconnect). Essa comunicação acontece por meio de uma conexão de peering de nuvem privada virtual (VPC).
  • Perfis de conexão representam as informações de conectividade para uma origem e para o destino. Essas informações serão usadas por um stream.
  • Streams usam as informações nos perfis de conexão para transferir os dados do CDC e de preenchimento da origem para o destino.

A seguir