Gerenciar o preenchimento dos objetos de um stream

Informações gerais

Um stream no Datastream pode preencher dados históricos e fazer streaming de alterações em andamento para um destino. Como parte da criação de um stream, você configurou informações sobre o banco de dados de origem para o stream.

Se você tiver marcado a caixa de seleção Preencher dados históricos, o Datastream transmitirá todos os dados atuais da origem para o destino, além das alterações nos dados.

Se você não marcou essa caixa de seleção, o Datastream transmitirá somente as alterações nos dados. Para que o Datastream transmita um snapshot de todos os dados existentes da origem até o destino, é necessário iniciar o preenchimento dos objetos que contêm esses dados. Os objetos estão na forma de esquemas, tabelas e colunas de banco de dados.

Outro motivo para iniciar o preenchimento de um objeto é se os dados não estiverem sincronizados entre a origem e o destino. Por exemplo, um usuário pode excluir dados no destino acidentalmente, e os dados serão perdidos. Nesse caso, o preenchimento do objeto será iniciado como um "mecanismo de redefinição", porque todos os dados são transmitidos para o destino em uma única captura. Como resultado, os dados são sincronizados entre a origem e o destino.

Depois de iniciar o preenchimento de um objeto, você poderá interromper o preenchimento desse objeto. No exemplo acima, o usuário modifica o esquema do banco de dados, e os dados ou o esquema estão corrompidos. Você não quer que o esquema ou os dados sejam transmitidos para o destino, então o preenchimento do objeto é interrompido.

Também é possível interromper o preenchimento de objetos para fins de balanceamento de carga. O Datastream pode executar vários preenchimentos em paralelo. Isso pode sobrecarregar a origem. Se a carga for significativa, interrompa o preenchimento dos objetos e, em seguida, inicie o preenchimento para eles, um por um.

Status do objeto

Os vários status no ciclo de vida de iniciar e interromper o preenchimento de um objeto incluem:

• Sem status (representado na IU como -): Os motivos para um objeto que recebe esse status incluem:
  • O stream não foi iniciado.
  • A caixa de seleção Preenchimento de dados históricos não foi marcada, portanto, o preenchimento é definido como manual.
  • O objeto é excluído explicitamente para ser preenchido automaticamente.

  • O stream está configurado para incluir tabelas futuras. Se isso acontecer, quando novas tabelas forem adicionadas à origem, nenhuma tarefa de preenchimento automático será criada para elas (porque as novas tabelas normalmente não têm dados "históricos" para preenchimento).

    Para saber mais, consulte Configurar informações sobre o banco de dados de origem para o fluxo.

• Pending: O preenchimento ainda não foi iniciado para o objeto.
• Active: O preenchimento está em andamento para o objeto.
• Completed: O preenchimento do objeto é concluído.
• Stopped: O preenchimento é interrompido para o objeto. Se o preenchimento for iniciado novamente para o objeto, o Datastream transmitirá todos os dados existentes associados ao objeto da origem para o destino.
• Failed: O preenchimento falhou para o objeto e deve ser iniciado novamente.

Iniciar preenchimento

1. Acesse a página Streams no Console do Google Cloud.

   Acessar a página "Fluxos"

2. Clique no stream que contém objetos para os quais você quer iniciar o preenchimento.

3. Clique na guia OBJETOS.

4. Marque a caixa de seleção de cada objeto para o qual você quer iniciar o preenchimento.

5. Clique em INICIAR PREENCHIMENTO.

   Se um objeto tiver o status Pending ou Active, não será possível iniciar o preenchimento do objeto.

6. Se você selecionou apenas um objeto, clique em INITIATE OBJECT BACKFILL na caixa de diálogo. Se você selecionou vários objetos, clique em INICIAR PREENCHIMENTOS DE OBJETIVOS.

   O Datastream começará o preenchimento dos objetos selecionados, e o status de cada objeto mudará de Pending para Active até Completed. Quando um objeto tem o status Completed, o preenchimento foi concluído para ele.

   Se um objeto tiver o status Failed, o preenchimento falhará para o objeto, e você precisará reiniciá-lo.

Parar preenchimento

1. Acesse a página Streams no Console do Google Cloud.

   Acessar a página "Fluxos"

2. Clique no stream que contém objetos com o preenchimento que você quer interromper.

3. Clique na guia OBJETOS.

4. Marque a caixa de seleção de cada objeto para o qual você quer interromper o preenchimento.

5. Clique em INTERROMPER.

   Se um objeto tiver o status Completed, Stopped ou Failed, não será possível interromper o preenchimento do objeto.

6. Se você selecionou apenas um objeto, clique em INTERROMPER OBJETO na caixa de diálogo. Se você selecionou vários objetos, clique em INTERROMPER OBJETO.

   O Datastream interromperá o preenchimento dos objetos selecionados e o status de cada objeto será alterado para Stopped.

   Quando um objeto tem esse status, o preenchimento é interrompido para ele. Se o preenchimento for iniciado novamente para o objeto, o Datastream transmitirá todos os dados existentes associados ao objeto da origem para o destino.

Também é possível usar a guia OBJETIVOS para ver mais informações sobre os objetos de um stream. Essas informações incluem:

• O status dos objetos.
• Quantos eventos o Datastream processou e carregou no destino de um objeto nos últimos sete dias.
• O tamanho total (em GB) de todos os eventos que o Datastream processou e carregou no destino para um objeto nos últimos 30 dias.
• Detalhes sobre as colunas da tabela dos esquemas de banco de dados que são transmitidos da origem para o destino.