Otimizar o processamento do job

Nesta página, apresentamos um conjunto de dicas sobre como melhorar o desempenho geral da execução do job.

Filtrar dados com antecedência

Se você precisar excluir algumas linhas e colunas do conjunto de dados, adicione estas etapas de transformação no início do roteiro. Essa redução simplifica o trabalho com o conteúdo no aplicativo e, em execução, acelera o processamento dos demais dados válidos. Como você pode executar o job várias vezes antes de ser finalizado, ele também precisa acelerar o processo de desenvolvimento.

  • Para excluir colunas, siga estas etapas:
    • Selecione Excluir na lista suspensa da coluna para colunas individuais. Consulte Menus de colunas.
    • Use a transformação Delete Columns para remover várias colunas distintas ou intervalos de colunas.
  • Para excluir linhas: o exemplo a seguir remove todas as linhas que não têm um valor na coluna id:

    Nome da transformação Filter rows
    Parâmetro: condição Is missing
    Parâmetro: coluna id
    Parâmetro: ação delete matching rows
  • Para manter linhas: o exemplo a seguir mantém todas as linhas que não têm um valor na coluna id:
    Nome da transformação Filter rows
    Parâmetro: condição Is missing
    Parâmetro: coluna id
    Parâmetro: ação keep matching rows
  • Consulte Filtrar dados.

Realizar junções no início

Depois de filtrar linhas e colunas desnecessárias, as operações de junção precisam ser executadas na sua receita.Essas etapas agrupam os dados em um único conjunto de dados consistente. Ao realizá-las no início do processo, você reduz a chance de ter mudanças nas chaves de junção afetando os resultados das operações de junção. Consulte Painel "Mesclagem".

Realizar uniões depois

As operações de mesclagem geralmente precisam ser executadas mais tarde no roteiro para que você possa fazer alterações, incluindo atualizações do conjunto de dados, que afetem o roteiro e a saída.

OBSERVAÇÃO: caso seu conjunto de dados exija uma quantidade significativa de limpeza de dados, realize suas uniões no início da receita, para que todas as etapas de limpeza possam ser aplicadas uma vez no conjunto de dados.

Consulte a Página “União”.

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Documentação do Google Cloud Dataprep
Precisa de ajuda? Acesse nossa página de suporte.