Com a replicação do Cloud Data Fusion, é possível replicar os dados de maneira contínua e em tempo real a partir de repositórios de dados operacionais, como SQL Server e MySQL, no BigQuery.
Para usar a replicação, escolha uma das seguintes maneiras:
- Crie uma nova instância do Cloud Data Fusion e adicione o app de replicação.
- Adicione o aplicativo de replicação a uma instância atual.
Consulte os tutoriais do MySQL, do SQL Server e do Oracle.
Alguns dos benefícios são:
Uma interface simples para desenvolvedores de ETL e analistas de dados configurarem jobs de replicação.
Ajuda a identificar incompatibilidades de esquema, problemas de conectividade e recursos ausentes antes de iniciar a replicação e, em seguida, fornece ações corretivas.
Você pode usar os dados operacionais mais recentes em tempo real para análise no BigQuery. Use a replicação baseada em registro diretamente no BigQuery no Microsoft SQL Server (usando o SQL Server CDC) e no MySQL (usando o registro binário do MySQL) de dados.
A captura de dados alterados (CDC) oferece uma representação dos dados que foram alterados em um fluxo, permitindo que os cálculos e o processamento se concentrem especificamente nos registros alterados mais recentemente. Isso minimiza as cobranças de dados de saída em sistemas de produção confidenciais.
Escalonabilidade empresarial para suporte a bancos de dados transacionais de alto volume. Os carregamentos iniciais de dados no BigQuery são compatíveis com replicação de snapshot sem inatividade. Dessa forma, o armazenamento de dados estará pronto para consumir alterações continuamente. Depois que o snapshot inicial é concluído, a replicação contínua e de alta capacidade das alterações começa em tempo real.
Os painéis ajudam você a conseguir insights em tempo real sobre o desempenho da replicação. Ele é útil para identificar gargalos e monitorar SLAs de entrega de dados.
Inclui suporte para residência de dados, chaves de criptografia gerenciadas pelo cliente (CMEK, na sigla em inglês) e VPC Service Controls. A integração do Cloud Data Fusion no Google Cloud garante que os mais altos níveis de segurança e privacidade corporativa sejam observados, disponibilizando os dados mais recentes no seu data warehouse para análise.
Preços recomendados
Quando a replicação é executada, você é cobrado pelo cluster do Dataproc e os custos de processamento do BigQuery são gerados. Para otimizar esses custos, recomendamos que você use os preços fixos do BigQuery.
Para mais informações, consulte a página Preços do Cloud Data Fusion.
Entidades de replicação
| Entity | Descrição |
|---|---|
| Replicação | A replicação é um recurso do Cloud Data Fusion que possibilita a replicação contínua de dados em baixa latência de repositórios operacionais em data warehouses analíticos. Crie um job de replicação configurando uma origem e um destino com transformações opcionais. |
| Origem | Lê eventos de alteração de banco de dados, tabela ou coluna e os disponibiliza para processamento adicional em um job de replicação. Um job de replicação contém uma origem, que depende de uma solução de captura de alterações para fornecer as mudanças. Pode haver várias fontes para um banco de dados, cada uma com uma solução de captura de alterações diferente. Uma origem é um módulo conectável criado usando a arquitetura de plug-in do CDAP. Se a origem não estiver disponível para atender às suas necessidades, crie sua própria implementando a interface de origem e faça upload dela para o CDAP ou o Cloud Data Fusion. |
| Target | Grava alterações recebidas de uma origem em um banco de dados de destino. Um job de replicação contém um destino. Um destino é um módulo conectável criado usando a arquitetura de plug-in do CDAP. Se um destino não estiver disponível para atender às suas necessidades, crie sua própria implementação da interface de destino e faça upload dela para o CDAP ou o Cloud Data Fusion. |
| Propriedades de origem | Configura a origem, incluindo detalhes da conexão, nomes do banco de dados e da tabela de origem, credenciais e outras propriedades. |
| Propriedades de destino | Configura o destino, incluindo detalhes de conexão, nomes de banco de dados e tabelas de destino, credenciais e outras propriedades. |
| Propriedades do job de replicação | Configura o job de replicação, incluindo limites de falha, áreas de preparo, notificações e configurações de validação. |
| Rascunho | Um job de replicação salvo e parcialmente concluído. Quando a definição do job de replicação estiver concluída, ele poderá ser iniciado. |
| Eventos | Altere os eventos na origem a serem replicados para o destino. Os eventos incluem inserções, atualizações, exclusões e alterações em DDL (linguagem de definição de dados). |
| Inserir | Adição de novos registros à origem. |
| Atualizar | Atualize para os registros atuais na origem. |
| Excluir | Remoção de registros existentes na origem. |
| Alteração do DDL | Um evento que contém uma alteração de esquema, como uma alteração no tipo ou no nome dos dados. |
| Registros | Os registros operacionais de um job de replicação. |
| Detalhes do job de replicação | Uma página de detalhes com informações do job de replicação, como o estado atual, as métricas operacionais, a visualização histórica ao longo do tempo, os resultados da validação e a configuração. |
| Painel | Uma página que lista o estado de todas as atividades de captura de dados de alteração, incluindo capacidade, latência, taxas de falha e resultados de validação. |
Ações
| Ações | Descrição |
|---|---|
| Implantação | Criar um novo job de replicação seguindo um fluxo de interface da Web para especificar uma origem, um destino e a configuração deles. |
| Salvar | Salvar um job de replicação parcialmente criado para retomar a criação mais tarde. |
| Excluir | Excluindo um job de replicação atual. Somente pipelines interrompidos podem ser excluídos. |
| Iniciar | Iniciando um job de replicação. Se houver alterações a serem processadas, o job de replicação entrará no estado "ativo". Caso contrário, entrará no estado "aguardando". |
| Parar | Interromper um job de replicação. O job de replicação interrompe o processamento de alterações da origem. |
| Ver registros | Visualizar registros de um job de replicação para depuração ou outra análise. |
| Pesquisar | Pesquisar um job de replicação pelo nome, descrição ou outros metadados do job de replicação |
| Avaliar | Avaliação do impacto da replicação antes do início da replicação A avaliação de um job de replicação gera um relatório de avaliação que sinaliza incompatibilidades de esquema e recursos ausentes. |
Monitoramento
| Estados de replicador | Descrição |
|---|---|
| Implantado | O job de replicação foi implantado, mas não iniciado. Nesse estado, o job de replicação não replica eventos. |
| Iniciando | O job de replicação está sendo inicializado e não está pronto para replicar alterações. |
| Em execução | O job de replicação é iniciado e está replicando alterações. |
| Interrompendo | O job de replicação está sendo interrompido. |
| Interrompida | O job de replicação foi interrompido. |
| Com falha | O job de replicação falhou devido a erros fatais. |
Estados da tabela
| Conceito | Descrição |
|---|---|
| Snapshots | O job de replicação está tirando um snapshot do estado atual da tabela antes de replicar as alterações. |
| Replicando | O job de replicação está replicando alterações da tabela de origem para a de destino. |
| Com falha | O job de replicação não consegue replicar as alterações da tabela de origem devido a um erro. |
Métricas
| Conceito | Descrição |
|---|---|
| Inserção | O número de inserções aplicadas à meta no período selecionado. |
| Atualizações | O número de atualizações aplicadas à meta no período selecionado. |
| Exclusões | O número de exclusões aplicadas à meta no período selecionado. |
| DDLs | O número de alterações em DDL aplicadas ao destino no período selecionado. |
| Capacidade | O número de eventos e o número de bytes replicados para o destino no período selecionado. |
| Latência | A latência em que os dados são replicados para o destino no período selecionado. |
Componentes
| Componente | Descrição |
|---|---|
| Serviço | Supervisiona a orquestração completa de jobs de replicação e fornece recursos para projetar, implantar, gerenciar e monitorar jobs de replicação. Ele é executado no projeto de locatário do Cloud Data Fusion (o projeto de locatário fica oculto para o usuário). O status dela é exibido na página **Administrador do sistema** na interface da Web do Cloud Data Fusion. |
| Gerenciamento do estado | O serviço gerencia o estado de cada job de replicação em um bucket do Cloud Storage no projeto do cliente. O bucket pode ser configurado quando o job de replicação é criado. Ele armazena os deslocamentos atuais e o estado de replicação de cada job de replicação. |
| Execução | Os clusters do Dataproc oferecem o ambiente de execução de jobs de replicação, que são executados no projeto. jobs de replicação são executados usando workers do CDAP. O tamanho e as características do ambiente de execução são configurados com os perfis do Compute Engine. |
| Banco de dados de origem | Seu banco de dados operacional de produção que é replicado no banco de dados de destino. Esse banco de dados pode estar no local ou no Google Cloud. O Cloud Data Fusion Replication é compatível com bancos de dados MySQL, Microsoft SQL Server e Oracle. |
| Alterar solução de rastreamento | Em vez de ser executado em um agente executado no banco de dados de origem, o Cloud Data Fusion conta com uma solução de rastreamento de alterações para ler as alterações no banco de dados de origem. A solução pode ser um componente do
banco de dados de origem ou uma solução de terceiros
licenciada separadamente. No último caso, a solução de rastreamento de alterações é executada
no local, co-localizada com o banco de dados de origem ou no
Google Cloud. Cada origem precisa estar associada a uma solução
de rastreamento de alterações.
|
| Banco de dados de destino | O local de destino para replicação e análise. O Cloud Data Fusion é compatível com o banco de dados de destino do BigQuery. |
| Authentication | Os mecanismos de autenticação variam de acordo com o banco de dados de origem ou com o software de rastreamento de alterações. Ao usar os recursos integrados de bancos de dados de origem, como o SQL Server e o MySQL, os logins de banco de dados são usados para autenticação. Ao usar o software de acompanhamento de alterações, o mecanismo de autenticação do software é usado. |
Conectividade
A tabela a seguir descreve as conexões de rede necessárias para replicação e os mecanismos de segurança que eles usam.
| De | To | Opcional | Protocolo | Rede | Segurança da autenticação | Finalidade |
|---|---|---|---|---|---|---|
| Serviço (locatário do projeto) | DB de origem | Sim | Depende da origem da replicação. JDBC para conexão direta com o banco de dados. | Peering + regras de firewall + VPN/Interconexão + roteador | Login no banco de dados | Necessário desde a concepção, não a execução Funções de tempo: listagem de tabela, avaliação (etapas opcionais, replicação possível sem elas) |
| Serviço (locatário do projeto) | Cloud Storage | Não | Cloud API | VPC-SC | IAM | Gerenciamento de estados: deslocamentos e estados de replicação |
| Dataproc (seu projeto) | DB de origem | Não | Depende da origem. JDBC para conexão direta com o banco de dados. | Peering + regras de firewall + VPN/Interconexão + roteador | Login no banco de dados | Necessárias no momento da execução para ler as alterações do banco de dados de origem para replicar para o destino |
| Dataproc (seu projeto) | Cloud Storage | Não | Cloud API | VPC-SC | IAM | Gerenciamento de estados: deslocamentos e estados de replicação |
| Dataproc (seu projeto) | BigQuery | Não | Cloud API | VPC-SC | IAM | Necessário no momento da execução para aplicar alterações do banco de dados de origem ao destino |
A seguir
- Faça o tutorial Como replicar dados do SQL Server para o BigQuery.
- Faça o tutorial Como replicar dados do MySQL para o BigQuery.
- Faça o tutorial Como replicar dados do Oracle para o BigQuery.
- Consulte a referência da API Replication.
- Consulte os mapeamentos de tipo de dados para replicação.