Controles de simultaneidade de streaming

Nesta página, você encontra uma visão geral dos controles de simultaneidade de stream, como a número de tarefas simultâneas de captura de dados alterados (CDC) e de preenchimento. Você pode controlar o desempenho do fluxo aumentando ou diminuindo os valores desses parâmetros.

Visão geral dos controles de simultaneidade

Ao usar os controles de simultaneidade, é possível ter preenchimento e CDC mais rápidos, ou balancear a carga no banco de dados de origem. Se você precisar de capacidades de processamento maiores, e podem arcar com uma carga maior no banco de dados, é possível aumentar a simultaneidade das tarefas de CDC e preenchimento. Por outro lado, se o seu banco de dados estiver passando por uma carga e quiser protegê-la contra sobrecarga, poderá reduzir a valores desses parâmetros.

Observação :o número máximo de parâmetros simultâneos de CDC e tarefas de preenchimento é independentes uns dos outros. Devido ao possível impacto que os parâmetros podem ter no banco de dados de origem, recomendamos que você modifique os valores de modo incremental para ver como o sistema responde.

Número máximo de tarefas de CDC

Observação: essa configuração está disponível apenas para origens MySQL e Oracle. CDC em O PostgreSQL e o SQL Server têm uma linha de execução única.

O parâmetro maxConcurrentCdcTasks permite controlar o número de CDC tarefas que um stream executa em paralelo. Para ampliar a capacidade de processamento do CDC, aumente o valor desse parâmetro e permitir que o Datastream processe mais arquivos de registro do CDC ao mesmo tempo.

As principais características do parâmetro incluem:

• O valor padrão é 5. Você pode definir esse parâmetro para qualquer valor entre 1 e 50, inclusive.
• O parâmetro é aplicável somente a origens Oracle e MySQL.
• O parâmetro tem impacto apenas se houver mais arquivos de registro do banco de dados disponíveis do que tarefas de CDC. As configurações dos arquivos de registro são controladas os parâmetros de configuração do banco de dados de origem: o tamanho máximo do arquivo de registro e o intervalo de tempo máximo da rotação de registros. Para mais informações sobre consulte a documentação do Oracle e do MySQL.
• Se você diminuir o número de tarefas de CDC simultâneas, o Datastream poderá atrasar os registros do banco de dados, o que pode levar à perda de posição do registro e falhas de stream.

Número máximo de tarefas de preenchimento

O parâmetro maxConcurrentBackfillTasks permite controlar o número de preenchimentos que um stream pode executar em paralelo. É possível aumentar ou diminuir esse valor para controlar a capacidade de preenchimento.

As principais características do parâmetro incluem:

• O valor padrão é 15. Você pode definir esse parâmetro para qualquer valor entre 1 e 50, inclusive.
• Há um alto risco associado ao aumento da simultaneidade de preenchimento. porque as tarefas de preenchimento têm impacto significativo no desempenho do banco de dados. Cada tarefa de preenchimento executa uma consulta SELECT não filtrada em uma tabela e para tabelas grandes. Essas consultas retornam um grande número de linhas.
• Diminuir a simultaneidade de preenchimento não tem impacto negativo sobre a banco de dados de origem, exceto porque o preenchimento demora mais para ser concluído.

Alterar os valores dos controles de simultaneidade

É possível mudar os valores dos parâmetros de controle de simultaneidade usando o API Datastream.

• Para saber como aumentar ou diminuir o número de tarefas de CDC simultâneas, consulte Mudar o número máximo de tarefas de CDC simultâneas.
• Para saber como aumentar ou diminuir o número de tarefas de preenchimento simultâneas, consulte Mudar o número máximo de tarefas de preenchimento simultâneas

A seguir

• Consulte Como gerenciar streams para saber mais sobre como usar a API Datastream.
• Consulte a documentação de referência da API Datastream para saber mais sobre o recurso Stream.