Criar ambientes de desenvolvimento

Neste guia de início rápido, você verá as etapas para criar ambientes de desenvolvimento individuais no Dataform, de modo que cada desenvolvedor possa trabalhar no próprio ambiente de desenvolvimento:

Antes de começar

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

  2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  4. Ative as APIs BigQuery and Dataform.

    Ative as APIs

    5.

  5. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  6. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  7. Ative as APIs BigQuery and Dataform.

    Ative as APIs

    8.

No momento, o Dataform não é compatível com o VPC Service Controls. Se você usar o VPC Service Controls, exclua os recursos do BigQuery do perímetro do VPC Service Controls para usar o Dataform.

Funções exigidas

Para receber as permissões necessárias para executar todas as tarefas neste tutorial, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou outros papéis predefinidos.

Criar um repositório do Dataform

  1. No Console do Google Cloud, acesse a página do Dataform.

    Acessar o Dataform

  2. Clique em Criar repositório.

  3. Na página Criar repositório, faça o seguinte:

    1. No campo Código do repositório, insira quickstart-dev.

    2. Na lista Região, selecione europe-west4.

    3. Clique em Criar.

  4. Clique em Concluído.

Conceder acesso ao Dataform ao BigQuery

Para executar fluxos de trabalho no BigQuery, a conta de serviço do Dataform precisa ter os seguintes papéis necessários:

Para conceder esses papéis, siga estas etapas:

  1. No console do Google Cloud, abra a página IAM.

    Acessar a página do IAM

  2. Clique em Adicionar.

  3. No campo Novos principais, insira o ID da conta de serviço do Dataform.

  4. Na lista suspensa Selecionar um papel, selecione o papel Usuário de job do BigQuery.

  5. Clique em Adicionar outro papel e, na lista suspensa Selecionar um papel, selecione o papel Editor de dados do BigQuery.

  6. Clique em Adicionar outro papel e, na lista suspensa Selecionar um papel, selecione o papel Visualizador de dados do BigQuery.

  7. Clique em Save.

Configurar substituições de compilação do espaço de trabalho

Para criar ambientes de desenvolvimento isolados com modificações de compilação do espaço de trabalho do Dataform, siga estas etapas:

  1. No Console do Google Cloud, acesse a página do Dataform.

    Acessar o Dataform

  2. Clique em quickstart-dev.

  3. Clique em Configurações e em Editar.

  4. No painel Modificações de compilação do espaço de trabalho, no campo Sufixo do esquema, insira ${workspaceName}.

    Quando você aciona a execução em um espaço de trabalho, o Dataform anexa o nome do espaço de trabalho como um sufixo ao esquema padrão definido em dataform.json. Neste guia de início rápido, usamos as configurações padrão do Dataform com o esquema dataform.

  5. Clique em Save.

O Dataform aplica substituições de compilação de espaço de trabalho a todos os espaços de trabalho em seu repositório.

Com essa configuração, quando você executa manualmente um fluxo de trabalho SQL em um espaço de trabalho, o Dataform o executa com modificações de compilação do espaço de trabalho. Como resultado, o Dataform executa o fluxo de trabalho SQL no esquema dataform_workspaceName no BigQuery, transformando o espaço de trabalho em um ambiente de desenvolvimento isolado.

Por exemplo, quando você aciona manualmente a execução em um espaço de trabalho sasha, o Dataform executa seu fluxo de trabalho SQL no esquema dataform_sasha no BigQuery.

Para executar fluxos de trabalho SQL sem modificações de compilação de espaço de trabalho, mas manter as modificações para compilações em ambientes de desenvolvimento, crie configurações de versão para configurar outros ambientes de execução, como staging e production.

Limpeza

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Excluir conjuntos de dados criados no BigQuery

Para evitar cobranças por recursos do BigQuery, exclua conjuntos de dados com nomes que começam em dataform, por exemplo, dataform-sasha.

  1. No Console do Google Cloud, acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Explorer, expanda o projeto e selecione um conjunto de dados.

  3. Clique no menu Ações e selecione Excluir.

  4. Na caixa de diálogo Excluir conjunto de dados, insira delete na caixa de texto e clique em Excluir.

Excluir o repositório do Dataform

Não há custos associados à criação de repositórios do Dataform. No entanto, se você quiser excluir um repositório e todo o conteúdo dele, siga estas etapas:

  1. No Console do Google Cloud, acesse a página do Dataform.

    Acessar o Dataform

  2. Em quickstart-dev, clique no menu Mais e selecione Excluir.

    1. Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.

  3. Para confirmar, clique em Excluir.

A seguir