Criar ambientes de desenvolvimento

Neste guia de início rápido, mostramos as etapas para criar ambientes de desenvolvimento individuais no Dataform, para que cada desenvolvedor possa trabalhar no próprio ambiente de desenvolvimento:

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    8.

    Funções exigidas

    Para receber as permissões necessárias para executar todas as tarefas deste tutorial, peça ao administrador para conceder a você os seguintes papéis do IAM no seu projeto:

    • Administrador do Dataform (roles/dataform.admin): repositórios
    • Editor do Dataform (roles/dataform.editor): espaços de trabalho e invocações de fluxo de trabalho

    Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

    Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

    Criar um repositório do Dataform

    1. No Google Cloud console, acesse a página Dataform.

      Acesse o Dataform

    2. Clique em Criar repositório.

    3. Na página Criar repositório, faça o seguinte:

      1. No campo Código do repositório, insira quickstart-dev.

      2. Na lista Região, selecione europe-west4.

      3. Clique em Criar.

    4. Clique em Concluído.

    conceder acesso ao Dataform ao BigQuery

    Para executar fluxos de trabalho no BigQuery, a conta de serviço do Dataform ou sua Conta do Google (prévia) precisa ter os seguintes papéis obrigatórios:

    Para conceder esses papéis, siga estas etapas:

    1. No console Google Cloud , acesse a página IAM.

      Acessar a página do IAM

    2. Clique em Adicionar.

    3. No campo Novos principais, digite o ID da conta de serviço do Dataform ou o e-mail da sua Conta do Google (Prévia).

    4. No menu Selecionar um papel, escolha a opção Usuário de jobs do BigQuery.

    5. Clique em Adicionar outro papel e, no menu Selecionar um papel, escolha Editor de dados do BigQuery.

    6. Clique em Adicionar outro papel. Depois, no menu Selecionar um papel, escolha Leitor de dados do BigQuery.

    7. Clique em Salvar.

    Configurar substituições de compilação do espaço de trabalho

    Para criar ambientes de desenvolvimento isolados com substituições de compilação de espaço de trabalho do Dataform, siga estas etapas:

    1. No Google Cloud console, acesse a página Dataform.

      Acesse o Dataform

    2. Clique em quickstart-dev.

    3. Clique em Configurações e em Editar.

    4. No painel Substituições de compilação do espaço de trabalho, no campo Sufixo do esquema, insira ${workspaceName}.

      Quando você aciona a execução em um espaço de trabalho, o Dataform anexa o nome do espaço de trabalho como um sufixo ao esquema padrão definido nas configurações de fluxo de trabalho. Neste guia de início rápido, usamos as configurações padrão do Dataform com o esquema padrão dataform.

    5. Clique em Salvar.

    O Dataform aplica substituições de compilação de espaço de trabalho a todos os espaços de trabalho no repositório.

    Com essa configuração, quando você executa manualmente um fluxo de trabalho em um espaço de trabalho, o Dataform o executa com substituições de compilação do espaço de trabalho. Como resultado, o Dataform executa o fluxo de trabalho no esquema dataform_workspaceName no BigQuery, transformando o espaço de trabalho em um ambiente de desenvolvimento isolado.

    Por exemplo, quando você aciona manualmente a execução em um espaço de trabalho sasha, o Dataform executa seu fluxo de trabalho no esquema dataform_sasha no BigQuery.

    Para executar fluxos de trabalho sem substituições de compilação de espaço de trabalho, mas manter essas substituições para ambientes de desenvolvimento, é possível criar configurações de lançamento para configurar outros ambientes de execução, por exemplo, staging e production.

    Limpar

    Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

    Excluir conjuntos de dados criados no BigQuery

    Para evitar cobranças por recursos do BigQuery, exclua conjuntos de dados com nomes que começam em dataform, por exemplo, dataform-sasha.

    1. No console Google Cloud , acesse a página BigQuery.

      Acessar o BigQuery

    2. No painel Explorer, expanda o projeto e selecione um conjunto de dados.

    3. Clique no menu Ações e selecione Excluir.

    4. Na caixa de diálogo Excluir conjunto de dados, digite delete no campo e clique em Excluir.

    Excluir o repositório do Dataform

    Não há custos associados à criação de repositórios do Dataform. No entanto, se você quiser excluir um repositório e todo o conteúdo dele, siga estas etapas:

    1. No Google Cloud console, acesse a página Dataform.

      Acesse o Dataform

    2. Em quickstart-dev, clique no menu Mais e selecione Excluir.

      1. Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.

    3. Para confirmar, clique em Excluir.

    A seguir