Crie ambientes de programação

Este início rápido explica os passos para criar ambientes de desenvolvimento individuais no Dataform, para que cada programador possa trabalhar no seu próprio ambiente de desenvolvimento:

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

    8.

    Funções necessárias

    Para receber as autorizações de que precisa para realizar todas as tarefas neste tutorial, peça ao seu administrador que lhe conceda as seguintes funções da IAM no seu projeto:

    • Administrador do Dataform (roles/dataform.admin) – repositórios
    • Editor do Dataform (roles/dataform.editor) – espaços de trabalho e invocações de fluxos de trabalho

    Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

    Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

    Crie um repositório do Dataform

    1. Na Google Cloud consola, aceda à página Dataform.

      Aceder ao Dataform

    2. Clique em Criar repositório.

    3. Na página Criar repositório, faça o seguinte:

      1. No campo ID do repositório, introduza quickstart-dev.

      2. Na lista Região, selecione europe-west4.

      3. Clique em Criar.

    4. Clique em Concluído.

    Conceda acesso do Dataform ao BigQuery

    Para executar fluxos de trabalho no BigQuery, a conta de serviço do Dataform ou a sua Conta Google (pré-visualização) tem de ter as seguintes funções necessárias:

    Para conceder estas funções, siga estes passos:

    1. Na Google Cloud consola, aceda à página IAM.

      Aceda à página IAM

    2. Clique em Adicionar.

    3. No campo Novos membros, introduza o ID da conta de serviço do Dataform ou o email da sua Conta Google (Pré-visualização).

    4. No menu Selecionar uma função, selecione a função Utilizador de tarefas do BigQuery.

    5. Clique em Adicionar outra função e, de seguida, no menu Selecionar uma função, selecione a função Editor de dados do BigQuery.

    6. Clique em Adicionar outra função e, de seguida, no menu Selecionar uma função, selecione a função Visualizador de dados do BigQuery.

    7. Clique em Guardar.

    Configure substituições de compilação do espaço de trabalho

    Para criar ambientes de desenvolvimento isolados com substituições de compilação do espaço de trabalho do Dataform, siga estes passos:

    1. Na Google Cloud consola, aceda à página Dataform.

      Aceder ao Dataform

    2. Clique em quickstart-dev.

    3. Clique em Definições e, de seguida, em Editar.

    4. No painel Substituições de compilação do espaço de trabalho, no campo Sufixo do esquema, introduza ${workspaceName}.

      Quando aciona a execução num espaço de trabalho, o Dataform anexa o nome do espaço de trabalho como um sufixo ao esquema predefinido definido nas definições do fluxo de trabalho. Este início rápido usa as predefinições do Dataform com o esquema predefinido dataform.

    5. Clique em Guardar.

    O Dataform aplica substituições de compilação do espaço de trabalho a todos os espaços de trabalho no seu repositório.

    Com esta configuração, quando executa manualmente um fluxo de trabalho num espaço de trabalho, o Dataform executa-o com substituições de compilação do espaço de trabalho. Como resultado, o Dataform executa o fluxo de trabalho no esquema dataform_workspaceName no BigQuery, transformando o espaço de trabalho num ambiente de desenvolvimento isolado.

    Por exemplo, quando aciona manualmente a execução num espaço de trabalho do sasha, o Dataform executa o fluxo de trabalho no esquema dataform_sasha no BigQuery.

    Para executar fluxos de trabalho sem substituições de compilação do espaço de trabalho, mas manter as substituições de compilação do espaço de trabalho para ambientes de desenvolvimento, pode criar configurações de lançamento para configurar outros ambientes de execução, por exemplo, staging e production.

    Limpar

    Para evitar incorrer em cobranças na sua Google Cloud conta pelos recursos usados nesta página, siga estes passos.

    Elimine conjuntos de dados criados no BigQuery

    Para evitar incorrer em custos por recursos do BigQuery, elimine os conjuntos de dados com nomes que comecem por dataform, por exemplo, dataform-sasha.

    1. Na Google Cloud consola, aceda à página BigQuery.

      Aceda ao BigQuery

    2. No painel Explorador, expanda o projeto e selecione um conjunto de dados.

    3. Clique no menu Ações e, de seguida, selecione Eliminar.

    4. Na caixa de diálogo Eliminar conjunto de dados, introduza delete no campo e, de seguida, clique em Eliminar.

    Elimine o repositório do Dataform

    Não existem custos associados à criação de repositórios do Dataform. No entanto, se quiser eliminar um repositório e todo o respetivo conteúdo, siga estes passos:

    1. Na Google Cloud consola, aceda à página Dataform.

      Aceder ao Dataform

    2. Junto a quickstart-dev, clique no menu Mais e, de seguida, selecione Eliminar.

      1. Na janela Eliminar repositório, introduza o nome do repositório para confirmar a eliminação.

    3. Para confirmar, clique em Eliminar.

    O que se segue?