Programar execuções com configurações do fluxo de trabalho

Neste documento, mostramos como criar uma configuração de fluxo de trabalho no Dataform para programar e configurar execuções de fluxo de trabalho SQL. É possível usar as configurações de fluxo de trabalho para executar fluxos de trabalho SQL do Dataform de acordo com uma programação.

Sobre as configurações do fluxo de trabalho

Para programar execuções do Dataform de todas ou algumas ações de fluxo de trabalho SQL no BigQuery, crie configurações de fluxo de trabalho. Em uma configuração de fluxo de trabalho, você seleciona uma configuração de versão de compilação, seleciona as ações do fluxo de trabalho SQL para execução e define a programação.

Em seguida, durante uma execução programada da configuração do fluxo de trabalho, o Dataform implanta sua seleção de ações da compilação mais recente, resultando na configuração de versão no BigQuery. Também é possível acionar manualmente a execução de uma configuração de fluxo de trabalho com o WorkflowConfigs da API Dataform.

Uma configuração de fluxo de trabalho do Dataform contém as seguintes configurações de execução:

  • ID da configuração do fluxo de trabalho
  • Configuração da versão

  • Conta de serviço

    Conta de serviço associada à configuração do fluxo de trabalho. É possível selecionar a conta de serviço padrão do Dataform, uma conta de serviço associada ao projeto do Google Cloud ou inserir manualmente uma conta de serviço diferente. Por padrão, as configurações de fluxo de trabalho usam as mesmas contas de serviço que os repositórios delas.

  • Ações do fluxo de trabalho SQL a serem executadas:

    • Todas as ações
    • Seleção de ações
    • Seleção de tags

  • Cronograma de execução e fuso horário

Antes de começar

  1. No console do Google Cloud, acesse a página do Dataform.

    Acessar a página do Dataform

  2. Selecione ou crie um repositório.

  3. Crie uma configuração de versão.

Funções exigidas

Para receber as permissões necessárias para criar uma configuração de fluxo de trabalho, peça ao administrador para conceder a você o papel do IAM de Editor do Dataform (roles/dataform.editor) nos repositórios. Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Para usar uma conta de serviço diferente da conta de serviço padrão do Dataform, conceda acesso à conta de serviço personalizada.

Criar uma configuração de fluxo de trabalho

Para criar uma configuração de fluxo de trabalho do Dataform, siga estas etapas:

  1. No seu repositório, acesse Versões e programação.
  2. Na seção Configurações do fluxo de trabalho, clique em Criar.

  3. No painel Criar configuração do fluxo de trabalho, no campo ID de configuração, insira um ID exclusivo para a configuração do fluxo de trabalho.

    Os IDs podem conter apenas números, letras, hifens e sublinhados.

  4. No menu suspenso Configuração da versão, selecione uma Configuração de versão de compilação.

  5. Opcional: no campo Frequência, insira a frequência de execuções no formato unix-cron.

    Para garantir que o Dataform execute o resultado mais recente da compilação na configuração de lançamento correspondente, mantenha um intervalo mínimo de uma hora entre o momento da criação do resultado e o da execução programada.

  6. Na lista suspensa Conta de serviço, selecione uma conta de serviço para a configuração do fluxo de trabalho.

    No menu suspenso, selecione a conta de serviço padrão do Dataform ou qualquer conta de serviço associada ao projeto do Google Cloud a que você tem acesso. Se você não selecionar uma conta de serviço, a configuração do fluxo de trabalho usará a conta de serviço do repositório.

  7. Opcional: no menu suspenso Fuso horário, selecione o fuso horário das execuções.

    O fuso horário padrão é UTC.

  8. Selecione as ações do fluxo de trabalho SQL a serem executadas:

    1. Para executar todo o fluxo de trabalho SQL, clique em Todas as ações.
    2. Para executar as ações selecionadas no fluxo de trabalho SQL, clique em Seleção de ações e selecione-as.
    3. Para executar ações com as tags selecionadas, clique em Seleção de tags e selecione as tags.
    4. Opcional: para executar as ações ou tags selecionadas e as dependências delas, selecione a opção Incluir dependências.
    5. Opcional: para executar as ações ou tags selecionadas e os dependentes, selecione a opção Incluir dependentes.
    6. Opcional: para recriar todas as tabelas do zero, selecione a opção Executar com atualização completa.

    Sem essa opção, o Dataform atualiza tabelas incrementais sem recriá-las do zero.

  9. Clique em Criar.



Por exemplo, a configuração de fluxo de trabalho a seguir executa ações com a tag hourly a cada hora no fuso horário CEST:

  • ID de configuração: production-hourly
  • Configuração da versão: -
  • Frequência: 0 * * * *
  • Fuso horário: Central European Summer Time (CEST)
  • Seleção de ações do fluxo de trabalho SQL: seleção de tags, tag hourly

Editar uma configuração de fluxo de trabalho

Para editar uma configuração de fluxo de trabalho, siga estas etapas:

  1. No seu repositório, acesse Versões e programação.
  2. Na configuração do fluxo de trabalho que você quer editar, clique no menu Mais e, em seguida, clique em Editar.
  3. No painel Editar configuração do fluxo de trabalho, edite as configurações da versão e clique em Salvar.

Excluir uma configuração de fluxo de trabalho

Para excluir uma configuração de fluxo de trabalho, siga estas etapas:

  1. No seu repositório, acesse Versões e programação.
  2. Na configuração do fluxo de trabalho que você quer excluir, clique no menu Mais e, em seguida, clique em Excluir.
  3. Na caixa de diálogo Excluir configuração da versão, clique em Excluir.

A seguir