Criar ambientes de desenvolvimento

Neste guia de início rápido, mostramos as etapas para criar ambientes de desenvolvimento individuais no Dataform, para que cada desenvolvedor possa trabalhar no próprio ambiente de desenvolvimento:

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    8.

Funções exigidas

Para receber as permissões necessárias para realizar todas as tarefas neste tutorial, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

  • Administrador do Dataform (roles/dataform.admin): repositórios
  • Editor do Dataform (roles/dataform.editor): espaços de trabalho e invocações de fluxo de trabalho

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

criar um repositório do Dataform

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar o Dataform

  2. Clique em Criar repositório.

  3. Na página Criar repositório, faça o seguinte:

    1. No campo Código do repositório, insira quickstart-dev.

    2. Na lista Região, selecione europe-west4.

    3. Clique em Criar.

  4. Clique em Concluído.

conceder acesso ao Dataform ao BigQuery

Para executar fluxos de trabalho no BigQuery, a conta de serviço do Dataform precisa ter os seguintes papéis:

Para conceder esses papéis, siga estas etapas:

  1. No console do Google Cloud, abra a página IAM.

    Acessar a página do IAM

  2. Clique em Adicionar.

  3. No campo Novos participantes, insira o ID da conta de serviço do Dataform.

  4. Na lista suspensa Selecionar um papel, escolha a opção Usuário de jobs do BigQuery.

  5. Clique em Adicionar outro papel e, na lista suspensa Selecionar um papel, selecione Editor de dados do BigQuery.

  6. Clique em Adicionar outro papel e, na lista suspensa Selecionar um papel, selecione Leitor de dados do BigQuery.

  7. Clique em Salvar.

Configurar substituições de compilação do espaço de trabalho

Para criar ambientes de desenvolvimento isolados com substituições de compilação do espaço de trabalho do Dataform, siga estas etapas:

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar o Dataform

  2. Clique em quickstart-dev.

  3. Clique em Configurações e em Editar.

  4. No painel Substituições de compilação do espaço de trabalho, no campo Sufixo do esquema, insira ${workspaceName}.

    Quando você aciona a execução em um espaço de trabalho, o Dataform anexa o nome do espaço de trabalho como um sufixo ao esquema padrão definido nas configurações do fluxo de trabalho. Neste guia de início rápido, usamos as configurações padrão do Dataform com o esquema padrão dataform.

  5. Clique em Salvar.

O Dataform aplica substituições de compilação do espaço de trabalho a todos os espaços de trabalho no seu repositório.

Com essa configuração, quando você executa manualmente um fluxo de trabalho SQL em um espaço de trabalho, o Dataform o executa com substituições de compilação do espaço de trabalho. Como resultado, o Dataform executa o fluxo de trabalho SQL no esquema dataform_workspaceName no BigQuery, transformando o espaço de trabalho em um ambiente de desenvolvimento isolado.

Por exemplo, quando você aciona manualmente a execução em um espaço de trabalho sasha, o Dataform executa seu fluxo de trabalho SQL no esquema dataform_sasha no BigQuery.

Para executar fluxos de trabalho SQL sem substituições de compilação do espaço de trabalho, mas manter essas substituições para ambientes de desenvolvimento, é possível criar configurações de versão para configurar outros ambientes de execução, por exemplo, staging e production.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Excluir conjuntos de dados criados no BigQuery

Para evitar cobranças por recursos do BigQuery, exclua conjuntos de dados com nomes que começam em dataform, por exemplo, dataform-sasha.

  1. No Console do Google Cloud, acesse a página BigQuery.

    Ir para o BigQuery

  2. No painel Explorer, expanda o projeto e selecione um conjunto de dados.

  3. Clique no menu Ações e selecione Excluir.

  4. Na caixa de diálogo Excluir conjunto de dados, insira delete no campo e clique em Excluir.

Excluir o repositório do Dataform

Não há custos associados à criação de repositórios do Dataform. No entanto, se você quiser excluir um repositório e todo o conteúdo dele, siga estas etapas:

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar o Dataform

  2. Em quickstart-dev, clique no menu Mais e selecione Excluir.

    1. Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.

  3. Para confirmar, clique em Excluir.

A seguir