Criar uma configuração de versão

Este documento mostra como criar uma configuração de versão no o Dataform para definir modelos de configurações de compilação; que podem ser executados de acordo com uma programação. É possível usar configurações de versão para configurar ambientes de execução, como preparo e produção.

Sobre as configurações de versão do Dataform

Para executar fluxos de trabalho SQL no BigQuery, o Dataform compila SQL o código do fluxo de trabalho em um resultado de compilação. Esse processo acontece automaticamente quando você desenvolve um fluxo de trabalho SQL em um espaço de trabalho do Dataform.

As configurações de versão permitem personalizar os resultados da compilação. Você pode usá-las para criar ambientes de execução, como preparo.

Configurações da versão

Em uma configuração de versão, você pode configurar substituições de compilação de configurações do fluxo de trabalho define variáveis de compilação e a frequência de criação de resultados de compilação.

Uma configuração de versão do Dataform contém o seguinte: configurações de compilação:

Configurações da versão
ID da versão, commitish git para resultados de compilação e a frequência de criação dos resultados da compilação. A frequência é uma configuração opcional. Se definida, a frequência mínima é de uma hora.
Substituições de compilação
Substituições do Google Cloud projeto, prefixo de tabela, sufixo de esquema e variáveis de compilação definido nas configurações do fluxo de trabalho.

Como funciona uma configuração de versão

O Dataform cria resultados de compilação com base em uma configuração de versão em na frequência especificada ou quando você aciona a compilação. A frequência é uma configuração opcional e não é obrigatória para criar uma configuração de versão. Se definida, a frequência mínima é de uma hora. Você pode acionar manualmente a compilação na página Detalhes da configuração da versão; ou acionar compilação com a API Dataform releaseConfigs.

Durante a compilação, o Dataform extrai código do Commitish Git do seu repositório. Em seguida, o Dataform compila o código com as substituições de compilação aplicadas. (se houver) e cria o resultado da compilação. O resultado da compilação mais recente criado para a versão é o resultado da compilação em tempo real.

É possível programar execuções de resultados de compilação a partir de configurações de versão nas configurações do fluxo de trabalho. Também é possível executar uma configuração de versão selecionada. fora de qualquer programação. Durante uma execução de configuração do fluxo de trabalho, o Dataform executa resultado da compilação ao vivo da configuração de versão selecionada.

Antes de começar

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar a página do Dataform

  2. Selecione ou crie um repositório.

  3. Opcional: para substituir o projeto padrão do Google Cloud na configuração de lançamento, conceda acesso à sua conta de serviço do Dataform ao projeto do Google Cloud que você planeja usar.

Funções exigidas

Para ter as permissões necessárias para criar uma configuração de versão, peça ao administrador para conceder a você Papel do IAM Editor do Dataform (roles/dataform.editor) nos repositórios. Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Criar uma configuração de versão

Para criar uma configuração de versão do Dataform, siga estas etapas:

  1. No repositório, acesse Versões e Agendamento.
  2. Na seção Configurações de versão, clique em Criar.

  3. No painel Criar configuração da versão, defina as configurações da versão.

    1. No campo ID da versão, insira um ID exclusivo para a configuração da versão.

      Os IDs podem incluir apenas números, letras, hifens e sublinhados.

    2. No campo Git commitish, insira a ramificação do Git ou o commit do Git. SHA para a versão.

    Em um repositório do Dataform não conectado a um repositório remoto, o valor será sempre main.

    1. Opcional: na lista suspensa Frequência, selecione o frequência de criação de resultados de compilação.

      Se definida, a frequência mínima é de uma hora.

  4. Opcional: na seção Substituições de compilação, defina as configurações de compilação.

    1. No campo ID do projeto do Google Cloud, insira o ID do projeto do Google Cloud. projeto em que você quer armazenar o resultado da compilação.
    2. No campo Sufixo do esquema, insira o sufixo que será anexado ao definido nas configurações do fluxo de trabalho.
    3. No campo Prefixo da tabela, insira um prefixo para todos os nomes de tabelas.

  5. Opcional: na seção Variáveis de compilação, defina variáveis de compilação.

    1. Clique em Adicionar variável.
    2. No campo Key, insira a variável de compilação.
    3. No campo Valor, insira o valor da variável de compilação.
    4. Para adicionar outra variável de compilação, clique em Adicionar variável.

  6. Clique em Criar.

Se você substituir o projeto padrão do Google Cloud, verifique se sua conta de serviço do Dataform tem acesso para o projeto do Google Cloud definido na configuração de lançamento.



Por exemplo, a configuração de versão abaixo cria um production o resultado da compilação da ramificação main a cada hora, sem substituições de compilação:

  • ID da versão: production
  • Commitish do Git: main
  • Frequência: por hora
  • sem substituições de compilação

Mais detalhes de uma configuração de versão

É possível ver os seguintes detalhes de uma configuração de versão:

  • Configurações da versão
    • Commitish do Git
    • Carimbo de data/hora do resultado da compilação mais recente
    • Cronograma do cron
    • Substituições de compilação
    • Variáveis de compilação
  • Resultado da compilação ao vivo
    • Carimbo de data/hora da criação
    • Commitish do Git
    • SHA de confirmação
  • Resultados de compilações anteriores

Para ver detalhes de uma configuração de versão, siga estas etapas:

  1. No repositório, acesse Versões e Agendamento.
  2. Selecione uma configuração de versão.
  3. Na página Detalhes da configuração da versão, inspecione os detalhes da configuração da versão.

A tabela Resultados de compilação programada exibe resultados de compilação anteriores. criados automaticamente pela configuração de lançamento.

A tabela Resultados da compilação manual/API mostra os resultados. criadas manualmente ou chamadas para a API Dataform com base nos 1.000 resultados de elogios no repositório.

Acionar manualmente a compilação

Para criar manualmente um resultado de compilação com base em uma configuração de versão selecionada, faça o seguinte: siga estas etapas:

  1. No repositório, acesse Versões e Agendamento.
  2. Selecione uma configuração de versão.
  3. Na página Detalhes da configuração da versão, clique em Nova compilação.

O resultado da compilação recém-criada se torna o resultado ao vivo. para essa configuração de versão.

Os resultados da compilação manual são exibidos na Tabela de resultados da compilação manual/API no Página Detalhes de configuração da versão.

Acionar a execução de uma configuração de versão

Para acionar a execução do resultado de compilação em tempo real em uma de lançamento no BigQuery, siga estas etapas:

  1. No repositório, acesse Versões e Agendamento.
  2. Na seção Configurações de versão, clique em Iniciar execução.
  3. No painel Executar fluxo de trabalho manual, em Configuração de versão selecione uma configuração de versão.
  4. Selecione as ações do fluxo de trabalho SQL a serem executadas:
    1. Para executar todo o fluxo de trabalho SQL, clique em Todas as ações.
    2. Para executar as ações selecionadas no fluxo de trabalho SQL, Clique em Seleção de ações e selecione as ações.
    3. Para executar ações com as tags selecionadas, clique em Seleção de tags e, em seguida, selecione as tags.
  5. Opcional: para executar ações ou tags selecionadas e as dependências delas: Selecione a opção Incluir dependências.
  6. Opcional: para executar ações ou tags selecionadas e as dependências delas, selecione a opção Incluir dependentes.

  7. Opcional: para recriar todas as tabelas do zero, selecione a opção Executar com atualização completa.

    Sem essa opção, o Dataform atualiza tabelas incrementais sem reconstruí-los do zero.

  8. Clique em Iniciar execução.

Editar uma configuração de versão

Para editar uma configuração de versão, siga estas etapas:

  1. No repositório, acesse Versões e Agendamento.
  2. Na configuração da versão que você quer editar, clique no botão Mais e, em seguida, clique em Editar.
  3. No painel Editar configuração da versão, edite a configuração da versão. e clique em Salvar.

Excluir uma configuração de versão

Para excluir uma configuração de versão, siga estas etapas:

  1. No repositório, acesse Versões e Agendamento.
  2. Ao lado da configuração de versão que você quer excluir, clique no Mais e, em seguida, clique em Excluir.
  3. Na caixa de diálogo Excluir configuração da versão, clique em Excluir.

A seguir