Gerenciar o preenchimento dos objetos de um stream

Um stream no Datastream pode preencher dados históricos e fazer streaming de alterações em andamento para um destino. Como parte da criação de um stream, você configurou informações sobre o banco de dados de origem para o stream.

Se você tiver marcado a caixa de seleção Preenchimento de dados históricos, o Datastream transmitirá todos os dados existentes, além das alterações nos dados, da origem para o destino.

Se você não marcar essa caixa de seleção, o Datastream vai transmitir apenas as alterações dos dados. Para que o Datastream transmita um snapshot de todos os dados existentes da origem até o destino, é necessário iniciar o preenchimento dos objetos que contêm esses dados. Os objetos estão na forma de esquemas, tabelas e colunas de banco de dados.

Outro motivo para iniciar o preenchimento de um objeto é se os dados não estiverem sincronizados entre a origem e o destino. Por exemplo, um usuário pode excluir dados no destino acidentalmente, e os dados serão perdidos. Nesse caso, o preenchimento do objeto será iniciado como um "mecanismo de redefinição", porque todos os dados são transmitidos para o destino em uma única captura. Como resultado, os dados são sincronizados entre a origem e o destino.

Depois de iniciar o preenchimento de um objeto, você poderá interromper o preenchimento desse objeto. No exemplo acima, o usuário modifica o esquema do banco de dados, e os dados ou o esquema estão corrompidos. Você não quer que o esquema ou os dados sejam transmitidos para o destino, então o preenchimento do objeto é interrompido.

Também é possível interromper o preenchimento de objetos para fins de balanceamento de carga. O Datastream pode executar vários preenchimentos em paralelo. Isso pode sobrecarregar a origem. Se a carga for significativa, interrompa o preenchimento dos objetos e, em seguida, inicie o preenchimento para eles, um por um.

Status do objeto

Os vários status no ciclo de vida de iniciar e interromper o preenchimento de um objeto incluem:

  • Sem status (representado na IU como -): Os motivos para um objeto que recebe esse status incluem:
    • O stream não foi iniciado.
    • A caixa de seleção Dados históricos de preenchimento não foi marcada. Portanto, o preenchimento é definido como manual.
    • O objeto é excluído explicitamente para ser preenchido automaticamente.

    • O stream está configurado para incluir tabelas futuras. Se isso acontecer, quando novas tabelas forem adicionadas à origem, nenhuma tarefa de preenchimento automático será criada para elas (porque as novas tabelas normalmente não têm dados "históricos" para preenchimento).

      Para saber mais, consulte Configurar informações sobre o banco de dados de origem para o fluxo.

  • Pending: O preenchimento ainda não foi iniciado para o objeto.
  • Active: O preenchimento está em andamento para o objeto.
  • Completed: O preenchimento do objeto é concluído.
  • Stopped: O preenchimento é interrompido para o objeto. Se o preenchimento for iniciado novamente para o objeto, o Datastream transmitirá todos os dados existentes associados ao objeto da origem para o destino.
  • Failed: O preenchimento falhou para o objeto e deve ser iniciado novamente.

Iniciar preenchimento

  1. Acesse a página Streams no Console do Google Cloud.

    Acessar a página "Fluxos"

  2. Clique no stream que contém objetos para os quais você quer iniciar o preenchimento.

  3. Clique na guia OBJETOS.

  4. Marque a caixa de seleção de cada objeto para o qual você quer iniciar o preenchimento.

  5. Clique em INICIAR PREENCHIMENTO.

  6. Se você selecionou apenas um objeto, clique em INITIATE OBJECT BACKFILL na caixa de diálogo. Se você selecionou vários objetos, clique em INICIAR PREENCHIMENTOS DE OBJETIVOS.

    O Datastream começará o preenchimento dos objetos selecionados, e o status de cada objeto mudará de Pending para Active até Completed. Quando um objeto tem o status Completed, isso significa que o Datastream leu todos os dados dele, mas eles ainda podem estar sendo carregados para o destino.

Parar preenchimento

  1. Acesse a página Streams no Console do Google Cloud.

    Acessar a página "Fluxos"

  2. Clique no stream que contém objetos com o preenchimento que você quer interromper.

  3. Clique na guia OBJETOS.

  4. Marque a caixa de seleção de cada objeto para o qual você quer interromper o preenchimento.

  5. Clique em INTERROMPER.

  6. Se você selecionou apenas um objeto, clique em INTERROMPER OBJETO na caixa de diálogo. Se você selecionou vários objetos, clique em INTERROMPER OBJETO.

    O Datastream interromperá o preenchimento dos objetos selecionados e o status de cada objeto será alterado para Stopped.

    Quando um objeto tem esse status, o preenchimento é interrompido para ele. Se o preenchimento for iniciado novamente para o objeto, o Datastream transmitirá todos os dados existentes associados ao objeto da origem para o destino.

A seguir