Criar stream

Visão geral

Nesta seção, você aprenderá a criar um stream. O Datastream usa esse stream para transferir dados de um banco de dados de origem Oracle, MySQL, SQL Server ou PostgreSQL para o BigQuery ou o Cloud Storage.

A criação de um stream inclui o seguinte:

• Como definir as configurações da transmissão.
• Selecione o perfil de conexão que você criou para o banco de dados de origem Oracle, MySQL, SQL Server ou PostgreSQL (o perfil de conexão de origem) ou crie um perfil de conexão de origem se você não tiver criado um.
• Configure informações sobre o banco de dados de origem para o fluxo especificando as tabelas e os esquemas no banco de dados de origem que o Datastream:
  • Pode ser transferido para o destino.
  • esteja impedido de ser transferido para o destino;

• Determinar se o Datastream preencherá dados históricos, bem como as alterações em andamento no destino ou apenas as alterações nos dados. Ao ativar o preenchimento histórico, você pode especificar esquemas e tabelas no banco de dados de origem que o Datastream não pode preencher no destino.

• Selecione o perfil de conexão que você criou para o BigQuery ou o Cloud Storage (o perfil de conexão de destino) ou crie um perfil de conexão de destino caso ainda não tenha feito isso.

• Configurar informações sobre o destino do stream. Essas informações incluem:

  • Para o BigQuery:
    • Os conjuntos de dados em que o Datastream vai replicar esquemas, tabelas e dados de um banco de dados de origem.
  • Para o Cloud Storage:
    • A pasta do bucket de destino para o qual o Datastream transferirá esquemas, tabelas e dados de um banco de dados de origem.

• Validação do stream para garantir que ele será executado com êxito. Como validar verificações de stream:

  • Indica se a fonte está configurada corretamente para permitir que o Datastream faça streaming de dados.

  • Se a transmissão pode se conectar à origem e ao destino.

  • A configuração completa do stream.

O Datastream é equipado com um assistente para ajudar você a criar uma transmissão. Este assistente tem seis painéis: Primeiros passos, Definir e testar origem, Configurar origem, Definir destino, Configurar destino e Revisar e criar. As informações sobre como preencher cada painel são fornecidas nas diversas seções desta página.

Definir configurações do stream

1. Acesse a página Streams no Console do Google Cloud.

   Acessar a página "Mural"

2. Clique em CRIAR STREAM.

3. Use a tabela a seguir para preencher os campos da seção Definir detalhes do fluxo da página Criar fluxo:

   Campo	Descrição
   Nome do fluxo	Insira o nome de exibição do stream.
   ID do stream	O Datastream preenche esse campo automaticamente com base no nome do stream que você inserir. É possível manter o ID gerado automaticamente ou alterá-lo.
   Região	Selecione a região em que o stream é armazenado. Assim como todos os recursos, os streams são salvos em uma região. A seleção da região não afeta a conexão do stream com o banco de dados de origem ou o destino, mas pode afetar a disponibilidade se a região sofrer inatividade.
   Tipo de origem	Selecione o tipo de perfil que você especificou ao criar um perfil de conexão para um banco de dados de origem Oracle, MySQL, SQL Server ou PostgreSQL. Se você ainda não criou um perfil de conexão para o banco de dados de origem, crie um agora.
   Tipo de destino	Selecione o tipo de perfil especificado ao criar um perfil de conexão para um destino do BigQuery ou do Cloud Storage. Se você ainda não criou um perfil de conexão para o destino, crie um agora.
   Encryption	Por padrão, seus dados são criptografados com uma chave gerenciada pelo Google Cloud. Se você quiser gerenciar a criptografia, use uma chave de criptografia gerenciada pelo cliente (CMEK): Marque a caixa de seleção Chave do Cloud KMS. No menu suspenso Tipo de chave, selecione Cloud KMS e depois a CMEK. Se sua chave não aparecer, clique em ENTER KEY RESOURCE NAME para fornecer o nome de recurso da chave que você quer usar. Por exemplo, insira projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key no campo Nome do recurso da chave e clique em SALVAR. Como parte da criação do stream, o Datastream vai verificar se a CMEK existe e se o Datastream tem permissões para usar a chave. Para mais informações sobre como criar uma CMEK ou conceder permissões ao Datastream para a chave, consulte Usar chaves de criptografia gerenciadas pelo cliente (CMEK).

4. Também é possível usar rótulos para organizar os recursos do Datastream.

   1. Para criar um rótulo, clique em ADICIONAR MARCADOR e insira o par de chave-valor.
   2. Para remover o rótulo, clique no ícone da lixeira à direita da linha que contém esse rótulo.

5. Se quiser, adicione políticas de alertas ao seu stream. As políticas de alertas definem quando e como você quer receber notificações sobre falhas de transmissão.

   1. Para criar uma política de alertas, clique em Adicionar política de alertas.
   2. A página Criar política de alertas aparece no Cloud Monitoring. Nesta página, você define a política de alertas em caso de falha no stream.

   Para mais informações sobre as políticas de alertas, consulte Gerenciar políticas de alertas baseadas em métricas.

6. Revise os pré-requisitos necessários que são gerados automaticamente para refletir como o ambiente precisa estar preparado para um stream. Esses pré-requisitos podem incluir como configurar o banco de dados de origem e como conectá-lo ao destino. É melhor concluir esses pré-requisitos nessa etapa, mas é possível concluí-los a qualquer momento antes do teste ou do início da transmissão. Para mais informações sobre esses pré-requisitos, consulte Origens.

7. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para seu tipo de banco de dados de origem.

   Observação: se o tipo de banco de dados de origem for Oracle, o nome do painel será Definir perfil de conexão do Oracle. Se você selecionar um banco de dados de origem diferente, o nome dele vai aparecer no nome do painel.

Especificar informações sobre o perfil de conexão de origem

1. Se você criou um perfil de conexão de origem para Oracle, MySQL, SQL Server ou PostgreSQL, selecione-o na lista de perfis de conexão.

   Se você não tiver criado um perfil de conexão de origem, crie um clicando em CRIAR PERFIL DE CONEXtO na parte inferior da lista suspensa. Depois siga as mesmas etapas de Criar perfis de conexão

2. Clique em EXECUTAR TESTE para verificar se o banco de dados de origem e o Datastream podem se comunicar entre si.

   Se o teste falhar, o problema associado ao perfil de conexão será exibido. Consulte a página Como diagnosticar problemas para ver as etapas de solução de problemas. Faça as alterações necessárias para corrigir o problema e teste novamente.

3. Clique em CONTINUAR. O painel Configurar origem da transmissão é exibido na página Criar stream.

Configurar informações sobre o banco de dados de origem para o fluxo

Configurar o banco de dados de origem do PostgreSQL

Se você selecionou o PostgreSQL como seu banco de dados de origem, precisa definir as propriedades de replicação dele.

1. Na seção Propriedades de replicação, especifique as seguintes propriedades:
   1. No campo Nome do slot de replicação, insira o nome do slot criado especificamente para esse stream. O servidor de banco de dados usa esse slot para enviar eventos ao Datastream.
   2. No campo Nome da publicação, insira o nome da publicação criada no banco de dados. Uma publicação é um grupo de todas as tabelas das quais você quer replicar alterações usando esse stream.
2. Siga as etapas descritas na seção Configurar bancos de dados de origem.

Configurar o banco de dados de origem do SQL Server

Se você selecionou o SQL Server como banco de dados de origem, precisa definir o método CDC.

1. No menu suspenso Método CDC, selecione o método de CDC que corresponde à configuração do banco de dados de origem:

   • Registros de transação: selecione esse método para processar mudanças diretamente dos registros do banco de dados. Esse método oferece o melhor desempenho e é mais eficiente, mas requer etapas de configuração adicionais.
   • Tabelas de mudança: selecione esse método para processar mudanças de tabelas de mudança dedicadas. Esse método é mais fácil de configurar e tem menos limitações, mas oferece suporte a uma capacidade de processamento menor e produz maior carga no banco de dados do que o método de registros de transação.

   Para mais informações sobre como configurar o banco de dados de origem do SQL Server, consulte Configurar um banco de dados de origem do SQL Server.

2. Siga as etapas descritas na seção Configurar bancos de dados de origem.

Configurar bancos de dados de origem

1. Na seção Selecionar objetos a serem incluídos, use o menu suspenso Objetos para incluir para especificar as tabelas e esquemas no banco de dados de origem que o Datastream pode transferir para o destino.

   O menu não vai carregar a lista de tabelas e esquemas se o banco de dados tiver mais de 5.000 objetos.
   1. Se você quiser que o Datastream transfira todas as tabelas e esquemas, selecione Todas as tabelas de todos os esquemas.

   2. Se você quiser que o Datastream transfira somente tabelas e esquemas específicos, selecione Esquemas e tabelas específicos e marque as caixas de seleção dos esquemas e das tabelas que você quer extrair.

      Para cada esquema selecionado, há uma caixa de seleção Tabelas futuras.

      • Se essa caixa de seleção for marcada, todas as tabelas do esquema que você adicionar à origem após a criação do stream serão transferidas automaticamente para o destino.
      • Se essa caixa de seleção não for marcada, o Datastream não transferirá novas tabelas do esquema da origem para o destino depois que ele for criado.

      Por padrão, a caixa de seleção Tabelas futuras é marcada para cada esquema.

      Para cada tabela de esquema selecionada, há um botão SELECIONAR COLUNAS. Clique nesse botão para filtrar as colunas da tabela que você não quer que sejam transmitidas da origem para o destino. Todas as colunas limpas são excluídas do stream.

      Por padrão, as caixas de seleção de todas as colunas da tabela ficam marcadas.

   3. Se você quiser fornecer uma definição textual das tabelas e esquemas que quer que o Datastream transfira, selecione Personalizado e, no campo Critérios de correspondência de objeto, insira os esquemas e as tabelas que o Datastream extrairá.

      Se o banco de dados tiver um grande número de tabelas e esquemas, recomendamos usar a opção Personalizada, porque algumas tabelas e esquemas podem não estar incluídos na lista de objetos a serem extraídos.

      Insira esquemas e tabelas como uma lista separada por vírgulas usando o formato [schema].[table], em que o esquema e a tabela podem ser um caractere curinga (asterisco). Não é possível usar caracteres curinga parciais.

      Além disso, se o Oracle for seu banco de dados de origem e, a menos que especificado explicitamente, os esquemas e as tabelas predefinidos da Oracle não serão extraídos para o destino.

2. Se quiser, expanda o nó Selecionar objetos a serem excluídos. No campo Objetos a serem excluídos, insira as tabelas e os esquemas no banco de dados de origem em que você quer restringir a extração pelo Datastream. A lista Objetos a serem excluídos tem precedência sobre a lista Objetos a serem incluídos. Se um objeto atender aos critérios nas listas de inclusão e exclusão, ele será excluído do fluxo.

   Defina esses esquemas e tabelas com a mesma lógica separada por vírgulas usada para especificar esquemas e tabelas a serem extraídos pelo Datastream.
3. Se preferir, expanda o nó Escolher o modo de preenchimento dos dados históricos e faça uma das seguintes seleções:

   1. Selecione a opção Automático para fazer streaming de todos os dados existentes, além das alterações dos dados, da origem para o destino.

      No campo Objetos excluídos do preenchimento automático, insira as tabelas e os esquemas no banco de dados de origem que você quer impedir que o Datastream preencha no destino.

   2. Selecione a opção Manual para transmitir apenas as alterações dos dados para o destino.

4. Clique em CONTINUAR. O painel Definir perfil de conexão da página Criar stream é exibido para o tipo de destino.

   Observação: se o tipo de destino for BigQuery, o nome do painel será Definir perfil de conexão do BigQuery. Se o tipo de destino for Cloud Storage, a opção Definir perfil de conexão do Cloud Storage vai aparecer como nome do painel.

Selecione um perfil de conexão de destino

1. Se você criou um perfil de conexão de destino, selecione-o na lista de perfis de conexão.

   Se você não tiver criado um perfil de conexão de destino, crie um clicando em CRIAR PERFIL DE CONEXtO na parte inferior da lista suspensa. Depois siga as mesmas etapas de Criar perfis de conexão

2. Clique em CONTINUAR. O painel Configurar destino do stream é exibido na página Criar stream.

Configurar informações sobre o destino do stream

Destino no BigQuery

1. Em Configurar a conexão do Datastream com o BigQuery, especifique como o Datastream deve transmitir para um conjunto de dados do BigQuery. Selecione uma das seguintes opções:

   • Conjunto de dados para cada esquema: o Datastream cria um conjunto de dados do BigQuery para cada esquema de origem com base no nome do esquema.

     Se você selecionar essa opção, para cada esquema no banco de dados de origem, o Datastream criará um conjunto de dados no projeto que contém o stream.

     Além disso, ao selecionar a opção Conjunto de dados para cada esquema:

     1. No campo Local, insira a região em que você quer que o novo conjunto de dados seja criado.
     2. (Opcional) No campo Prefixo, defina um prefixo para o conjunto de dados criado pelo stream. A string especificada é adicionada ao nome do esquema de origem. Por exemplo, se o esquema for chamado <mySchema> e você definir o prefixo do conjunto de dados como <myPrefix>, o Datastream vai criar um conjunto de dados chamado <myPrefix><mySchema>.
     3. Especifique como você quer que seus dados sejam criptografados no BigQuery selecionando uma chave de criptografia gerenciada pelo Google ou pelo cliente.

   • Conjunto de dados único para todos os esquemas: o Datastream cria todas as tabelas dentro do conjunto de dados do BigQuery que você especificar. Cada tabela criada pelo Datastream é nomeada usando uma combinação do nome do esquema de origem e do nome da tabela, separados por um sublinhado (por exemplo, <mySchemaName>_<myTableName>).

2. Especifique o Stream de modo de gravação. Selecione o modo de gravação para definir como os dados são gravados e processados no BigQuery:

   • Mesclar: selecione essa opção se quiser que seus dados sejam sincronizados com a origem.
   • Somente anexar: selecione essa opção se quiser manter todos os dados históricos dos eventos de alteração.

3. Especifique o limite de inatividade dos dados. Disponível apenas quando o modo Merge for selecionado na etapa anterior. Selecione um limite para equilibrar o desempenho e o custo das consultas do BigQuery em comparação com a atualização de dados. O BigQuery aplica as alterações em segundo plano de maneira contínua ou no ambiente de execução da consulta, de acordo com o limite de inatividade. Uma desatualização mais baixa (dados mais recentes) pode aumentar os custos de processamento do BigQuery.

   Se você selecionar 0 minutos, o BigQuery sempre retornará os resultados da consulta com base nos dados mais recentes. Isso resulta no custo mais alto da consulta.

4. Clique em CONTINUAR. Aparecerá a página Criar detalhes da transmissão e a página Criar stream.

Destino no Cloud Storage

1. Opcionalmente, no campo Prefixo do caminho do stream, insira a pasta do bucket de destino em que o Datastream transferirá esquemas, tabelas e dados de um banco de dados de origem.

   Por exemplo, se você quiser que o Datastream transfira dados do banco de dados de origem para a pasta /root/example no bucket de destino, insira /root/example no campo Prefixo do caminho do stream.

2. No campo Formato de saída, escolha o formato de arquivos gravados no Cloud Storage.

   O Datastream oferece suporte a dois formatos de saída: Avro e JSON.

3. Opcional. Se você selecionar o formato JSON, duas caixas de seleção vão aparecer:

   1. Inclua um arquivo de esquema de tipos unificados no caminho do arquivo: se você marcar esta caixa de seleção, o Datastream gravará dois arquivos no Cloud Storage: um arquivo de dados JSON e um arquivo de esquema Avro. O arquivo de esquema tem o mesmo nome do arquivo de dados, com uma extensão .schema. Se você não marcar essa caixa de seleção, o Datastream gravará apenas o arquivo de dados JSON no Cloud Storage. Por padrão, essa caixa de seleção não é marcada.
   2. Ativar a compactação gzip: se você marcar esta caixa de seleção, o Datastream vai usar o utilitário gzip para compactar os arquivos que o Datastream grava no Cloud Storage. Se você não marcar essa caixa de seleção, o Datastream gravará os arquivos no Cloud Storage sem compactá-los. Por padrão, essa caixa de seleção é marcada.

4. Clique em CONTINUAR. Aparecerá a página Criar detalhes da transmissão e a página Criar stream.

Criar o stream

1. Verifique os detalhes do stream, bem como os perfis de conexão de origem e de destino que serão usados para transferir dados de um banco de dados de origem para um destino.

2. Clique emEXECUTAR VALIDAÇÃO para validar o stream. Ao validar um stream, o Datastream verifica se a origem está configurada corretamente, verifica se o stream pode se conectar à origem e ao destino e verifica a configuração de ponta a ponta do stream.

   1. Se o banco de dados de origem for Oracle, o Datastream realizará as seguintes verificações:

      Checagem	Descrição
      Validade da lista de objetos	O Datastream verifica se a lista de exclusão não substitui a lista de inclusão.
      Encaminhar conectividade do túnel SSH	O Datastream verifica se ele pode se conectar a um Bastion Host por meio de um túnel SSH de encaminhamento.
      Conectividade com o banco de dados Oracle	O Datastream verifica se ele pode se conectar ao banco de dados Oracle de origem.
      Permissões do usuário da Oracle	O Datastream verifica se o usuário usado para se conectar ao banco de dados de origem tem todas as permissões necessárias para recuperar esquemas, tabelas e dados do banco de dados. Assim, o Datastream pode fazer streaming dessas informações para o destino.
      Configuração do modo de geração de registros	O Datastream verifica se o modo de geração de registros do banco de dados Oracle está definido como ARCHIVELOG.
      Configuração adicional da geração de registros	O Datastream verifica se a geração de registros complementares está ativada nas tabelas do banco de dados que estão sendo transmitidas da origem para o destino.
      Configuração de registros do arquivo	O Datastream verifica se a geração de registros do arquivo está configurada na origem e se os arquivos de registros estão presentes.
      Permissões do Cloud Storage (para destinos do Cloud Storage)	O Datastream verifica se ele tem as permissões necessárias para gravar no bucket de destino no Cloud Storage.

   2. Se o banco de dados de origem for o MySQL, o Datastream realizará as seguintes verificações:

      Checagem	Descrição
      Validade da lista de objetos	O Datastream verifica se a lista de exclusão não substitui a lista de inclusão.
      Encaminhar conectividade do túnel SSH	O Datastream verifica se ele pode se conectar a um Bastion Host por meio de um túnel SSH de encaminhamento.
      Conectividade com o banco de dados MySQL	O Datastream verifica se ele pode se conectar ao banco de dados MySQL de origem.
      A geração de registros binários está ativada	O Datastream verifica se os arquivos de registros binários estão configurados corretamente e se há arquivos de registros presentes.
      Configuração do formato do registro binário	O Datastream verifica se o formato de registro binário do banco de dados do MySQL está definido como ROW.
      Permissões de replicação	O Datastream verifica se ele tem permissões para replicar um banco de dados MySQL.
      Permissões do Cloud Storage (para destinos do Cloud Storage)	O Datastream verifica se ele tem as permissões necessárias para gravar no bucket de destino no Cloud Storage.

   3. Se o banco de dados de origem for PostgreSQL, o Datastream vai fazer as seguintes verificações:

      Verificação	Descrição
      Conectividade com o banco de dados PostgreSQL	O Datastream verifica se consegue se conectar ao banco de dados PostgreSQL de origem.
      A decodificação lógica está ativada	O Datastream verifica se o parâmetro wal_level do banco de dados do PostgreSQL está definido como logical.
      Configuração do slot de replicação	O Datastream verifica se o slot de replicação do PostgreSQL existe e está ativo, se o Datastream tem as permissões necessárias para acessá-lo e se ele está configurado corretamente.
      Configuração da publicação	O Datastream verifica se a publicação existe e se as tabelas a serem replicadas para o fluxo estão incluídas nela.
      Permissões de preenchimento	O Datastream verifica se as tabelas necessárias para preencher os dados históricos existem e se ele tem as permissões necessárias para lê-las.

   4. Se o banco de dados de origem for o SQL Server, o Datastream realizará as seguintes verificações:

      Verificação	Descrição
      Edição do SQL Server	O Datastream verifica se a edição do banco de dados de origem do SQL Server é compatível. Para saber quais edições são compatíveis, consulte Versões.
      Permissões de usuário do SQL Server	O Datastream verifica se o usuário tem as permissões necessárias para acessar o banco de dados de origem do SQL Server.
      O CDC do SQL Server está ativado	O Datastream verifica se o CDC está ativado no banco de dados e em todas as tabelas incluídas no stream.
      Validações do banco de dados do SQL Server	O Datastream verifica se o banco de dados de origem está configurado corretamente, se todos os requisitos de replicação foram atendidos e se não há tipos de dados sem suporte nas colunas.
      Permissões do Cloud Storage ou do BigQuery	O Datastream verifica se o usuário tem as permissões necessárias para gravar no destino.

   Se a verificação for aprovada, um ícone de marca de seleção aparecerá à esquerda da verificação.

   Se uma verificação de validação não for aprovada, um ícone de ponto de exclamação será exibido à esquerda da verificação, e um botão VER DETALHES DO ERRO aparecerá abaixo da verificação. Clique no botão, e uma janela de diálogo será exibida, explicando por que a verificação não foi aprovada e incluindo informações sobre o que fazer para corrigir o problema. Depois de fazer as correções apropriadas, clique em REVALIDAR.

   Para mais informações sobre como resolver problemas de verificações de validação que não foram aprovadas, consulte Diagnosticar problemas.

3. Depois que todas as verificações de validação forem aprovadas, clique em CRIAR E INICIAR para criar o stream e começar a transmissão imediatamente ou CRIAR para criar a transmissão sem iniciando imediatamente.

   Se você não iniciar o stream agora, poderá iniciá-lo na página Streams clicando em INICIAR.

   Observação: o processo de criação de streams pode aumentar a carga do banco de dados de origem. Para adiar essa carga, crie o stream sem iniciá-lo. Volte ao início quando o carregamento puder ser feito.

Após criar um stream, você pode ver informações detalhadas e de alto nível sobre ele.

A seguir

• Para saber mais sobre transmissões, consulte Ciclo de vida de transmissões.
• Para saber como executar um stream, consulte Executar um stream.
• Para saber como modificar seus streams, consulte Modificar um stream.
• Para saber como recuperar um stream, consulte Recuperar um stream.