Criar ambientes de desenvolvimento

Neste guia de início rápido, mostramos as etapas para criar modelos de desenvolvimento ambientes no Dataform, para que cada desenvolvedor possa trabalhar por conta própria ambiente de desenvolvimento:

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    8.

Funções exigidas

Para ter as permissões necessárias para executar todas as tarefas neste tutorial, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

  • Administrador do Dataform (roles/dataform.admin): repositórios
  • Editor do Dataform (roles/dataform.editor): espaços de trabalho e invocações de fluxo de trabalho

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Criar um repositório do Dataform

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar o Dataform

  2. Clique em Criar repositório.

  3. Na página Criar repositório, faça o seguinte:

    1. No campo Código do repositório, insira quickstart-dev.

    2. Na lista Região, selecione europe-west4.

    3. Clique em Criar.

  4. Clique em Concluído.

Conceder acesso ao Dataform ao BigQuery

Para executar fluxos de trabalho no BigQuery, o Dataform a conta de serviço precisa ter os seguintes papéis obrigatórios:

Para conceder esses papéis, siga estas etapas:

  1. No console do Google Cloud, abra a página IAM.

    Acessar a página do IAM

  2. Clique em Adicionar.

  3. No campo Novos principais, insira seu serviço do Dataform ID da conta de serviço.

  4. Na lista suspensa Selecionar papel, selecione o papel Usuário de jobs do BigQuery.

  5. Clique em Adicionar outro papel e, em seguida, no menu suspenso Selecionar um papel selecione o papel Editor de dados do BigQuery.

  6. Clique em Adicionar outro papel e, em seguida, no menu suspenso Selecionar um papel selecione o papel Leitor de dados do BigQuery.

  7. Clique em Salvar.

Configurar substituições de compilação do espaço de trabalho

Criar ambientes de desenvolvimento isolados com o espaço de trabalho do Dataform substituições de compilação, siga estas etapas:

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar o Dataform

  2. Clique em quickstart-dev.

  3. Clique em Configurações e em Editar.

  4. No painel Substituições de compilação do espaço de trabalho, no campo Sufixo do esquema, insira ${workspaceName}.

    Quando você aciona a execução em um espaço de trabalho, o Dataform anexa o do espaço de trabalho como um sufixo do esquema padrão definido em configurações do fluxo de trabalho. Neste guia de início rápido, usamos as configurações padrão do Dataform com o esquema padrão dataform.

  5. Clique em Salvar.

O Dataform aplica substituições de compilação do espaço de trabalho a todos os espaços de trabalho seu repositório.

Com essa configuração, quando você executa manualmente um fluxo de trabalho SQL em uma espaço de trabalho, o Dataform o executa com substituições de compilação do espaço de trabalho. Como resultado, o Dataform executa o fluxo de trabalho SQL no esquema dataform_workspaceName no BigQuery, transformando o em um ambiente de desenvolvimento isolado.

Por exemplo, quando você aciona manualmente a execução em um espaço de trabalho sasha, O Dataform executa seu fluxo de trabalho SQL no esquema dataform_sasha em no BigQuery.

Para executar fluxos de trabalho SQL sem substituições de compilação do espaço de trabalho, mas manter substituições de compilação do workspace para ambientes de desenvolvimento, é possível criar configurações de lançamento para definir outros ambientes de execução, por exemplo, staging e production.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Excluir conjuntos de dados criados no BigQuery

Exclua conjuntos de dados para evitar cobranças de recursos do BigQuery com nomes que começam em dataform, por exemplo, dataform-sasha.

  1. No Console do Google Cloud, acesse a página BigQuery.

    Ir para o BigQuery

  2. No painel Explorer, expanda o projeto e selecione um conjunto de dados.

  3. Clique no menu Ações e selecione Excluir.

  4. Na caixa de diálogo Excluir conjunto de dados, insira delete no campo e depois Clique em Excluir.

Excluir o repositório do Dataform

Não há custos associados à criação de repositórios do Dataform. No entanto, se você quiser excluir um repositório e todo o conteúdo dele, siga estas etapas:

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar o Dataform

  2. Até quickstart-dev, clique no menu Mais do e e selecione Excluir.

    1. Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.

  3. Para confirmar, clique em Excluir.

A seguir