Criar uma configuração de versão

Este documento mostra como criar uma configuração de lançamento no Dataform para configurar modelos de configurações de compilação, que podem ser executados em uma programação. É possível usar configurações de versão para configurar ambientes de execução, por exemplo, de preparo e de produção.

Sobre as configurações de versão do Dataform

Para executar fluxos de trabalho SQL no BigQuery, o Dataform compila o código do fluxo de trabalho SQL em um resultado de compilação. Esse processo acontece automaticamente quando você desenvolve um fluxo de trabalho SQL em um espaço de trabalho do Dataform.

As configurações de lançamento permitem personalizar os resultados da compilação. Eles podem ser usados para criar ambientes de execução, por exemplo, de pré-produção.

Configurações de lançamento

Em uma configuração de lançamento, é possível configurar substituições de compilação de configurações do fluxo de trabalho, definir variáveis de compilação e definir a frequência de criação de resultados de compilação.

Uma configuração de versão do Dataform contém as seguintes configurações de compilação:

Configurações da versão
ID da versão, commitish do git para resultados de compilação e frequência de criação de resultados de compilação. A frequência é uma configuração opcional. Se definido, a frequência mínima é de uma hora.
Substituições de compilação
Substituições do Google Cloud projeto, prefixo da tabela, sufixo do esquema e variáveis de compilação definidas nas configurações do fluxo de trabalho.

Como funciona uma configuração de versão

O Dataform cria resultados de compilação de uma configuração de versão na frequência especificada ou quando você aciona a compilação. A frequência é uma configuração opcional e não é necessária para criar uma configuração de lançamento. Se definido, a frequência mínima é de uma hora. É possível acioná-la manualmente na página Detalhes da configuração da versão ou usar a API Dataform releaseConfigs.

Durante a compilação, o Dataform extrai o código do commitish Git especificado do repositório. Em seguida, o Dataform compila o código com as substituições de compilação aplicadas (se houver) e cria o resultado da compilação. O resultado mais recente da compilação criado para a configuração de lançamento é o resultado da compilação em tempo real.

É possível programar execuções de resultados de compilação de configurações de versão nas configurações de fluxo de trabalho. Também é possível executar uma configuração de lançamento selecionada fora de qualquer programação. Durante a execução de uma configuração de fluxo de trabalho, o Dataform executa o resultado da compilação em tempo real da configuração de versão selecionada.

Antes de começar

  1. No Console do Google Cloud, acesse a página Dataform.

    Acesse a página do Dataform

  2. Selecione ou crie um repositório.

  3. Opcional: para substituir o projeto Google Cloud padrão na configuração da versão, conceda acesso à sua conta de serviço do Dataform ao projeto Google Cloud que você planeja usar.

Funções exigidas

Para receber as permissões necessárias para criar uma configuração de lançamento, peça ao administrador que conceda a você o papel do IAM de Editor de formulário de dados (roles/dataform.editor) nos repositórios. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Criar uma configuração de versão

Para criar uma configuração de lançamento do Dataform, siga estas etapas:

  1. No repositório, acesse Lançamentos e programação.
  2. Na seção Configurações de lançamento, clique em Criar.

  3. No painel Criar configuração de versão, defina as configurações da versão.

    1. No campo ID da versão, insira um ID exclusivo para a configuração da versão.

      Os IDs só podem incluir números, letras, hifens e sublinhados.

    2. No campo Commitish do Git, insira a ramificação ou o SHA da confirmação do Git para a versão.

    Em um repositório do Dataform não conectado a um repositório remoto, o valor é sempre main.

    1. Opcional: no menu suspenso Frequência, selecione a frequência de criação de resultados de compilação.

      Se definido, a frequência mínima é de uma hora.

  4. Opcional: na seção Substituições de compilação, configure as configurações de compilação.

    1. No campo ID do projeto do Google Cloud, insira o ID do projeto Google Cloud em que você quer armazenar o resultado da compilação.
    2. No campo Sufixo do esquema, insira um sufixo para anexar ao esquema configurado nas configurações do fluxo de trabalho.
    3. No campo Prefixo da tabela, insira um prefixo para todos os nomes de tabela.

  5. Opcional: na seção Variáveis de compilação, defina as variáveis de compilação.

    1. Clique em Adicionar variável.
    2. No campo Chave, insira a variável de compilação.
    3. No campo Valor, insira o valor da variável de compilação.
    4. Para adicionar outra variável de compilação, clique em Adicionar variável.

  6. Clique em Criar.

Se você substituir o projeto Google Cloud padrão, verifique se sua conta de serviço do Dataform tem acesso ao projeto Google Cloud definido na configuração da versão.



Por exemplo, a seguinte configuração de versão cria um resultado de compilação production da ramificação main a cada hora, sem nenhuma substituição de compilação:

  • ID da versão: production
  • Git commitish: main
  • Frequência: por hora
  • sem substituições de compilação

Conferir os detalhes de uma configuração de lançamento

É possível conferir os seguintes detalhes de uma configuração de versão:

  • Configurações da versão
    • Commitish do Git
    • Carimbo de data/hora do resultado da compilação mais recente
    • Cronograma do cron
    • Substituições de compilação
    • Variáveis de compilação
  • Resultado da compilação em tempo real
    • Carimbo de data/hora da criação
    • Commitish do Git
    • SHA de confirmação
  • Resultados de compilação anteriores

Para conferir os detalhes de uma configuração de versão, siga estas etapas:

  1. No repositório, acesse Lançamentos e programação.
  2. Selecione uma configuração de lançamento.
  3. Na página Detalhes da configuração de lançamento, inspecione os detalhes da configuração de lançamento.

A tabela Resultados de compilação programada mostra os resultados de compilação anteriores criados automaticamente pela configuração de lançamento.

A tabela Resultados de compilação manual/da API mostra os resultados de compilação criados manualmente ou por chamadas à API Dataform dos 1.000 resultados de compilação mais recentes no repositório.

Acionar a compilação manualmente

Para criar manualmente um resultado de compilação de uma configuração de versão selecionada, siga estas etapas:

  1. No repositório, acesse Lançamentos e programação.
  2. Selecione uma configuração de lançamento.
  3. Na página Detalhes da configuração da versão, clique em Nova compilação.

O resultado da compilação recém-criado se torna o resultado ativo para essa configuração de lançamento.

Os resultados de compilação manual são mostrados na tabela Resultados de compilação manual/da API na página Detalhes da configuração da versão.

Acionar a execução de uma configuração de versão

Para acionar a execução do resultado da compilação em tempo real em uma configuração de versão selecionada para o BigQuery, siga estas etapas:

  1. No repositório, acesse Lançamentos e programação.
  2. Na seção Configurações da versão, clique em Iniciar execução.
  3. No painel Executar fluxo de trabalho manual, no menu suspenso Configuração de lançamento, selecione uma configuração de lançamento.
  4. Selecione as ações do fluxo de trabalho SQL a serem executadas:
    1. Para executar todo o fluxo de trabalho do SQL, clique em Todas as ações.
    2. Para executar ações selecionadas no fluxo de trabalho do SQL, clique em Seleção de ações e selecione as ações.
    3. Para executar ações com tags selecionadas, clique em Seleção de tags e escolha as tags.
  5. Opcional: para executar ações ou tags selecionadas e as dependências delas, selecione a opção Incluir dependências.
  6. Opcional: para executar as ações ou tags selecionadas e as dependências delas, selecione a opção Incluir dependências.

  7. Opcional: para recriar todas as tabelas do zero, selecione a opção Run with full refresh.

    Sem essa opção, o Dataform atualiza tabelas incrementais sem recriá-las do zero.

  8. Clique em Iniciar execução.

Editar uma configuração de versão

Para editar uma configuração de lançamento, siga estas etapas:

  1. No repositório, acesse Lançamentos e programação.
  2. Na configuração da versão que você quer editar, clique no menu Mais e em Editar.
  3. No painel Editar configuração da versão, edite as configurações e clique em Salvar.

Excluir uma configuração de versão

Para excluir uma configuração de versão, siga estas etapas:

  1. No repositório, acesse Lançamentos e programação.
  2. Na configuração da versão que você quer excluir, clique no menu Mais e em Excluir.
  3. Na caixa de diálogo Excluir configuração da versão, clique em Excluir.

A seguir