Neste documento, mostramos como criar substituições de compilação do espaço de trabalho para isolar tabelas e visualizações criadas a partir dos espaços de trabalho do Dataform no BigQuery. É possível usar substituições de compilação do espaço de trabalho para criar ambientes de desenvolvimento isolados do Dataform.
Sobre as substituições de compilação do espaço de trabalho
Ao desenvolver o código do fluxo de trabalho SQL em um espaço de trabalho do Dataform, O Dataform compila o código no seu espaço de trabalho em tempo real para criar resultado da compilação do espaço de trabalho. O Dataform usa as configurações definidas arquivo de configurações do fluxo de trabalho para criar o resultado da compilação do espaço de trabalho. Depois, quando você aciona a execução em um espaço de trabalho, O Dataform executa o resultado de compilação do espaço de trabalho em no BigQuery.
Para substituir as configurações padrão definidas no configurações de fluxo de trabalho para todos espaços de trabalho em seu repositório, é possível criar substituições de compilação do espaço de trabalho.
Com as substituições de compilação do espaço de trabalho, é possível substituir as configurações a seguir para todos os espaços de trabalho no seu repositório:
- Projeto
- Projeto do Google Cloud em que o Dataform executa o espaço de trabalho
resultado da compilação, definido em
workflow_settings.yaml
comodefaultProject
ou emdataform.json
comodefaultDatabase
. - Prefixo da tabela
- O prefixo personalizado foi adicionado a todos os nomes de tabela em todos os espaços de trabalho da repositório de dados.
- Sufixo do esquema
Sufixo personalizado anexado ao esquema das tabelas definidas em
Definir como
defaultDataset
emworkflow_settings.yaml
,defaultSchema
emdataform.json
ou no parâmetroschema
em no blococonfig
de uma tabela.
Para criar ambientes de desenvolvimento isolados, é possível isolar os espaços de trabalho com
substituições de compilação exclusivas. É possível modificar dinamicamente o prefixo da tabela e
A compilação do sufixo do esquema é substituída pela variável ${workspaceName}
.
Quando você aciona manualmente a execução em um espaço de trabalho, o ${workspaceName}
A variável injeta o nome do espaço de trabalho na compilação do espaço de trabalho
substituições.
Quando você define ${workspaceName}
como o prefixo da tabela, o Dataform adiciona o
nome do espaço de trabalho aos nomes de todas as tabelas nele. Após a execução,
no BigQuery, é possível identificar de qual espaço de trabalho uma tabela se origina.
Quando você define ${workspaceName}
como o sufixo do esquema, o Dataform anexa
o nome do espaço de trabalho para defaultSchema
, criando um esquema personalizado dedicado
para o espaço de trabalho. Após a execução, no BigQuery, é possível localizar todos
tabelas executadas de um espaço de trabalho específico no esquema dedicado.
Exemplo de substituições de compilação dinâmica do espaço de trabalho
O exemplo a seguir mostra substituições de compilação dinâmica do espaço de trabalho aplicadas a um
que contém espaços de trabalho com os nomes dos desenvolvedores que trabalham
repositório: Sasha
e Kai
.
O objetivo das substituições de compilação do espaço de trabalho neste exemplo é criar ambientes de desenvolvimento isolados para Sasha e Kai.
As seguintes configurações padrão são definidas no workflow_settings.yaml
:
defaultProject
:analytics
defaultDataset
:dataform
As seguintes substituições de compilação do espaço de trabalho criam um prefixo de tabela dinâmica e sufixo de esquema para cada espaço de trabalho no repositório:
- ID do projeto do Google Cloud :
analytics_dev
- Prefixo da tabela:
${workspaceName}
- Sufixo do esquema:
${workspaceName}
Quando Sasha acionar manualmente a execução no espaço de trabalho Sasha
,
O Dataform executa o conteúdo com as seguintes configurações:
- Projeto do Google Cloud:
analytics_dev
- schema:
dataform_sasha
. - nomes de tabela:
sasha_name
, por exemplo,sasha_orders
.
Quando o Kai aciona manualmente a execução no espaço de trabalho Kai
, o Dataform
executa o conteúdo com as seguintes configurações:
- Projeto do Google Cloud:
analytics_dev
- schema:
dataform_kai
. - nomes de tabelas:
kai_name
, por exemplo,kai_orders
Antes de começar
No Console do Google Cloud, acesse a página Dataform.
Selecione ou crie um repositório.
Opcional: para substituir o projeto padrão do Google Cloud, conceda ao seu o acesso à conta de serviço do Dataform do projeto do Google Cloud que você planeja usar.
Funções exigidas
Para ter as permissões necessárias para criar substituições de compilação do espaço de trabalho,
peça ao administrador para conceder a você
Papel do IAM Administrador do Dataform (roles/dataform.admin
) nos repositórios.
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.
Criar substituições de compilação do espaço de trabalho
Para criar substituições de compilação do espaço de trabalho do Dataform, siga estas etapas:
- No seu repositório, acesse Configurações.
- Clique em Editar.
- No painel Substituições de compilação do espaço de trabalho, na seção campo Google Cloud Project ID, insira o ID do projeto do Google Cloud.
- No campo Prefixo da tabela, insira um prefixo para todos os nomes de tabelas.
- Opcional: para criar um prefixo de tabela dinâmica exclusivo para cada
espaço de trabalho, digite
${workspaceName}
como o prefixo da tabela.
- Opcional: para criar um prefixo de tabela dinâmica exclusivo para cada
espaço de trabalho, digite
- No campo Sufixo do esquema, insira o sufixo que será anexado ao esquema do
a tabela ou visualização criada.
- Opcional: para criar um sufixo de esquema dinâmico exclusivo para cada
espaço de trabalho, insira
${workspaceName}
como o sufixo da tabela.
- Opcional: para criar um sufixo de esquema dinâmico exclusivo para cada
espaço de trabalho, insira
- Clique em Salvar.
O Dataform aplica substituições de compilação do espaço de trabalho a todos os espaços de trabalho seu repositório.
Editar substituições de compilação do espaço de trabalho
Para editar substituições de compilação do espaço de trabalho do Dataform, siga estas etapas:
- No seu repositório, acesse Configurações.
- Clique em Editar.
- Edite as substituições de compilação do espaço de trabalho e clique em Salvar.
Excluir substituições de compilação do espaço de trabalho
Para excluir substituições de compilação do espaço de trabalho do Dataform, siga estas etapas:
- No seu repositório, acesse Configurações.
- Clique em Editar.
- No painel Substituições de compilação do espaço de trabalho, clique em Limpar tudo. e clique em Salvar.
A seguir
- Para saber como acionar manualmente a execução, consulte Gatilho execução.