Criar ambientes de desenvolvimento
Neste guia de início rápido, mostramos as etapas para criar ambientes de desenvolvimento individuais no Dataform, para que cada desenvolvedor possa trabalhar no próprio ambiente de desenvolvimento:
- Crie um repositório do Dataform.
Conceder acesso ao Dataform ao BigQuery.
Configure substituições de compilação que o Dataform vai aplicar a todos os espaços de trabalho no repositório, transformando-os em ambientes de desenvolvimento isolados.
Antes de começar
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
Funções exigidas
Para receber as permissões necessárias para realizar todas as tarefas neste tutorial, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:
-
Administrador do Dataform (
roles/dataform.admin
): repositórios -
Editor do Dataform (
roles/dataform.editor
): espaços de trabalho e invocações de fluxo de trabalho
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
criar um repositório do Dataform
No Console do Google Cloud, acesse a página Dataform.
Clique em
Criar repositório.Na página Criar repositório, faça o seguinte:
No campo Código do repositório, insira
quickstart-dev
.Na lista Região, selecione
europe-west4
.Clique em Criar.
Clique em Concluído.
conceder acesso ao Dataform ao BigQuery
Para executar fluxos de trabalho no BigQuery, a conta de serviço do Dataform precisa ter os seguintes papéis:
- Editor de dados do BigQuery em projetos em que o Dataform precisa de acesso de leitura e gravação. Eles geralmente incluem o projeto que hospeda o repositório do Dataform.
- Visualizador de dados do BigQuery em projetos em que o Dataform precisa de acesso somente leitura.
- Usuário de jobs do BigQuery no projeto que hospeda o repositório do Dataform.
Para conceder esses papéis, siga estas etapas:
No console do Google Cloud, abra a página IAM.
Clique em Adicionar.
No campo Novos participantes, insira o ID da conta de serviço do Dataform.
Na lista suspensa Selecionar um papel, escolha a opção Usuário de jobs do BigQuery.
Clique em Adicionar outro papel e, na lista suspensa Selecionar um papel, selecione Editor de dados do BigQuery.
Clique em Adicionar outro papel e, na lista suspensa Selecionar um papel, selecione Leitor de dados do BigQuery.
Clique em Salvar.
Configurar substituições de compilação do espaço de trabalho
Para criar ambientes de desenvolvimento isolados com substituições de compilação do espaço de trabalho do Dataform, siga estas etapas:
No Console do Google Cloud, acesse a página Dataform.
Clique em
quickstart-dev
.Clique em Configurações e em Editar.
No painel Substituições de compilação do espaço de trabalho, no campo Sufixo do esquema, insira
${workspaceName}
.Quando você aciona a execução em um espaço de trabalho, o Dataform anexa o nome do espaço de trabalho como um sufixo ao esquema padrão definido nas configurações do fluxo de trabalho. Neste guia de início rápido, usamos as configurações padrão do Dataform com o esquema padrão
dataform
.Clique em Salvar.
O Dataform aplica substituições de compilação do espaço de trabalho a todos os espaços de trabalho no seu repositório.
Com essa configuração, quando você executa manualmente um fluxo de trabalho SQL em um espaço de trabalho, o Dataform o executa com substituições de compilação do espaço de trabalho.
Como resultado, o Dataform executa o fluxo de trabalho SQL no esquema dataform_workspaceName
no BigQuery, transformando o
espaço de trabalho em um ambiente de desenvolvimento isolado.
Por exemplo, quando você aciona manualmente a execução em um espaço de trabalho sasha
,
o Dataform executa seu fluxo de trabalho SQL no esquema dataform_sasha
no
BigQuery.
Para executar fluxos de trabalho SQL sem substituições de compilação do espaço de trabalho, mas manter
essas substituições para ambientes de desenvolvimento, é possível criar
configurações de versão para configurar outros ambientes de execução, por exemplo,
staging
e production
.
Limpar
Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.
Excluir conjuntos de dados criados no BigQuery
Para evitar cobranças por recursos do BigQuery, exclua conjuntos de dados
com nomes que começam em dataform
, por exemplo, dataform-sasha
.
No Console do Google Cloud, acesse a página BigQuery.
No painel Explorer, expanda o projeto e selecione um conjunto de dados.
Clique no menu
Ações e selecione Excluir.Na caixa de diálogo Excluir conjunto de dados, insira
delete
no campo e clique em Excluir.
Excluir o repositório do Dataform
Não há custos associados à criação de repositórios do Dataform. No entanto, se você quiser excluir um repositório e todo o conteúdo dele, siga estas etapas:
No Console do Google Cloud, acesse a página Dataform.
Em
quickstart-dev
, clique no menu Mais e selecione Excluir.- Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.
Para confirmar, clique em Excluir.
A seguir
Para saber mais sobre o ciclo de vida do código no Dataform, consulte Introdução ao ciclo de vida do código no Dataform.
Para saber mais sobre as práticas recomendadas para o ciclo de vida do código no Dataform, consulte Gerenciar o ciclo de vida do código.
Para saber mais sobre as substituições de compilação do espaço de trabalho no Dataform, consulte Criar substituições de compilação do espaço de trabalho.
Para saber como programar execuções de produção no Dataform, consulte Programar execuções de produção.