Criar substituições de compilação do espaço de trabalho

Neste documento, mostramos como criar substituições de compilação do espaço de trabalho para isolar tabelas e visualizações criadas a partir dos espaços de trabalho do Dataform no BigQuery. É possível usar substituições de compilação do espaço de trabalho para criar ambientes de desenvolvimento isolados do Dataform.

Sobre as substituições de compilação do espaço de trabalho

Ao desenvolver o código do fluxo de trabalho SQL em um espaço de trabalho do Dataform, O Dataform compila o código no seu espaço de trabalho em tempo real para criar resultado da compilação do espaço de trabalho. O Dataform usa as configurações definidas arquivo de configurações do fluxo de trabalho para criar o resultado da compilação do espaço de trabalho. Depois, quando você aciona a execução em um espaço de trabalho, O Dataform executa o resultado de compilação do espaço de trabalho em no BigQuery.

Para substituir as configurações padrão definidas no configurações de fluxo de trabalho para todos espaços de trabalho em seu repositório, é possível criar substituições de compilação do espaço de trabalho.

Com as substituições de compilação do espaço de trabalho, é possível substituir as configurações a seguir para todos os espaços de trabalho no seu repositório:

Projeto
Projeto do Google Cloud em que o Dataform executa o espaço de trabalho resultado da compilação, definido em workflow_settings.yaml como defaultProject ou em dataform.json como defaultDatabase.
Prefixo da tabela
O prefixo personalizado foi adicionado a todos os nomes de tabela em todos os espaços de trabalho da repositório de dados.
Sufixo do esquema

Sufixo personalizado anexado ao esquema das tabelas definidas em

Definir como defaultDataset em workflow_settings.yaml, defaultSchema em dataform.json ou no parâmetro schema em no bloco config de uma tabela.

Para criar ambientes de desenvolvimento isolados, é possível isolar os espaços de trabalho com substituições de compilação exclusivas. É possível modificar dinamicamente o prefixo da tabela e A compilação do sufixo do esquema é substituída pela variável ${workspaceName}.

Quando você aciona manualmente a execução em um espaço de trabalho, o ${workspaceName} A variável injeta o nome do espaço de trabalho na compilação do espaço de trabalho substituições.

Quando você define ${workspaceName} como o prefixo da tabela, o Dataform adiciona o nome do espaço de trabalho aos nomes de todas as tabelas nele. Após a execução, no BigQuery, é possível identificar de qual espaço de trabalho uma tabela se origina.

Quando você define ${workspaceName} como o sufixo do esquema, o Dataform anexa o nome do espaço de trabalho para defaultSchema, criando um esquema personalizado dedicado para o espaço de trabalho. Após a execução, no BigQuery, é possível localizar todos tabelas executadas de um espaço de trabalho específico no esquema dedicado.

Exemplo de substituições de compilação dinâmica do espaço de trabalho

O exemplo a seguir mostra substituições de compilação dinâmica do espaço de trabalho aplicadas a um que contém espaços de trabalho com os nomes dos desenvolvedores que trabalham repositório: Sasha e Kai.

O objetivo das substituições de compilação do espaço de trabalho neste exemplo é criar ambientes de desenvolvimento isolados para Sasha e Kai.

As seguintes configurações padrão são definidas no workflow_settings.yaml:

  • defaultProject : analytics
  • defaultDataset: dataform

As seguintes substituições de compilação do espaço de trabalho criam um prefixo de tabela dinâmica e sufixo de esquema para cada espaço de trabalho no repositório:

  • ID do projeto do Google Cloud : analytics_dev
  • Prefixo da tabela: ${workspaceName}
  • Sufixo do esquema: ${workspaceName}

Quando Sasha acionar manualmente a execução no espaço de trabalho Sasha, O Dataform executa o conteúdo com as seguintes configurações:

  • Projeto do Google Cloud: analytics_dev
  • schema: dataform_sasha.
  • nomes de tabela: sasha_name, por exemplo, sasha_orders.

Quando o Kai aciona manualmente a execução no espaço de trabalho Kai, o Dataform executa o conteúdo com as seguintes configurações:

  • Projeto do Google Cloud: analytics_dev
  • schema: dataform_kai.
  • nomes de tabelas: kai_name, por exemplo, kai_orders

Antes de começar

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar a página do Dataform

  2. Selecione ou crie um repositório.

  3. Opcional: para substituir o projeto padrão do Google Cloud, conceda ao seu o acesso à conta de serviço do Dataform do projeto do Google Cloud que você planeja usar.

Funções exigidas

Para ter as permissões necessárias para criar substituições de compilação do espaço de trabalho, peça ao administrador para conceder a você Papel do IAM Administrador do Dataform (roles/dataform.admin) nos repositórios. Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Criar substituições de compilação do espaço de trabalho

Para criar substituições de compilação do espaço de trabalho do Dataform, siga estas etapas:

  1. No seu repositório, acesse Configurações.
  2. Clique em Editar.
  3. No painel Substituições de compilação do espaço de trabalho, na seção campo Google Cloud Project ID, insira o ID do projeto do Google Cloud.
  4. No campo Prefixo da tabela, insira um prefixo para todos os nomes de tabelas.
    1. Opcional: para criar um prefixo de tabela dinâmica exclusivo para cada espaço de trabalho, digite ${workspaceName} como o prefixo da tabela.
  5. No campo Sufixo do esquema, insira o sufixo que será anexado ao esquema do a tabela ou visualização criada.
    1. Opcional: para criar um sufixo de esquema dinâmico exclusivo para cada espaço de trabalho, insira ${workspaceName} como o sufixo da tabela.
  6. Clique em Salvar.

O Dataform aplica substituições de compilação do espaço de trabalho a todos os espaços de trabalho seu repositório.

Editar substituições de compilação do espaço de trabalho

Para editar substituições de compilação do espaço de trabalho do Dataform, siga estas etapas:

  1. No seu repositório, acesse Configurações.
  2. Clique em Editar.
  3. Edite as substituições de compilação do espaço de trabalho e clique em Salvar.

Excluir substituições de compilação do espaço de trabalho

Para excluir substituições de compilação do espaço de trabalho do Dataform, siga estas etapas:

  1. No seu repositório, acesse Configurações.
  2. Clique em Editar.
  3. No painel Substituições de compilação do espaço de trabalho, clique em Limpar tudo. e clique em Salvar.

A seguir