Crie um espaço de trabalho de desenvolvimento

Este documento ajuda a fazer o seguinte:

Vista geral dos espaços de trabalho de desenvolvimento

No Dataform, interage com o código do fluxo de trabalho num espaço de trabalho de desenvolvimento, que é a sua própria cópia editável de um repositório. Num espaço de trabalho, cria, edita ou elimina o conteúdo do repositório sem afetar outras pessoas que trabalham no mesmo repositório e, em seguida, confirma e envia as suas alterações para o repositório.

Pode desenvolver o seu fluxo de trabalho com o Dataform core ou o JavaScript. O Dataform compila o seu código em consultas SQL em tempo real.

Num espaço de trabalho de desenvolvimento, pode realizar as seguintes tarefas:

Componentes de um espaço de trabalho de desenvolvimento

Um espaço de trabalho de desenvolvimento do Dataform é composto pelos separadores descritos nas secções seguintes.

Separador Código

Pode usar o ambiente de desenvolvimento no separador Código para explorar ficheiros, desenvolver consultas, controlar as versões das suas alterações e acionar a execução no BigQuery. O separador contém os seguintes componentes que lhe permitem desenvolver fluxos de trabalho:

  • Painel Ficheiros: apresenta a estrutura de ficheiros do seu espaço de trabalho e guarda automaticamente as suas edições na estrutura de ficheiros. Os ficheiros selecionados são abertos nos separadores do painel de desenvolvimento. No campo Escreva para pesquisar, pode pesquisar ficheiros ou diretórios no seu espaço de trabalho pelo respetivo caminho.
  • Painel Controlo de versões: apresenta o estado do controlo de versões do seu espaço de trabalho e as opções de controlo de versões.
  • Painel Desenvolvimento: apresenta os ficheiros abertos em separadores. Guarda automaticamente as alterações aos ficheiros editados.
  • Botão Executar: executa uma pré-visualização da consulta SQL compilada.
  • Botão Formatar: formata o código JavaScript ou do Dataform core.
  • Estado da compilação: apresenta o estado da compilação do código no seu espaço de trabalho.
  • Painel Metadados: apresenta os metadados do ficheiro editado.
  • Painel Consultas compiladas: compila as consultas no ficheiro editado para SQL. Se a compilação da consulta falhar, o painel apresenta os erros de compilação. Se a compilação da consulta for bem-sucedida, o painel apresenta as consultas compiladas e valida-as através de testes de execução simulada no BigQuery. Se a validação da consulta falhar, o painel apresenta os erros de validação. Se a validação da consulta for bem-sucedida, o painel apresenta quantos bytes a execução das consultas ao BigQuery usaria.
  • Menu Iniciar execução: apresenta as opções para acionar a execução de todo o fluxo de trabalho no seu espaço de trabalho ou nos respetivos elementos selecionados.

Separador de gráfico compilado

No separador Gráfico compilado, pode ver o fluxo de trabalho compilado definido no seu espaço de trabalho como um gráfico acíclico dirigido (DAG) interativo. O gráfico mostra todas as ações no seu fluxo de trabalho e as relações entre elas. Se existirem erros de compilação no fluxo de trabalho, o separador apresenta uma mensagem de erro em vez do gráfico.

Pode aumentar e diminuir o zoom, bem como usar a navegação de arrastar e largar no gráfico.

Pode filtrar o gráfico pelas seguintes propriedades:

  • Nome
  • Etiqueta
  • Type
    • Afirmação
    • Declaração
    • Tabela incremental
    • Vista materializada
    • Operações
    • Tabela
    • Desconhecido
    • Ver

Pode selecionar vários filtros em simultâneo. O Dataform aplica-as com a condição OR.

Pode clicar numa ação no gráfico para ver os respetivos detalhes nos seguintes painéis:

  • Painel Metadados: apresenta o nome completo, o tipo, as dependências e os dependentes da ação selecionada.
  • Painel Consulta: apresenta a consulta SQL compilada da ação selecionada.

Separador Execuções

Este separador apresenta os registos de todas as execuções acionadas no espaço de trabalho. Também pode ver as ações e os respetivos detalhes para uma execução selecionada. Para mais informações, consulte Monitorize os registos de execução.

Controlo de versões num espaço de trabalho

Num espaço de trabalho, interage com o repositório através do controlo de versões baseado no Git. As edições que faz aos ficheiros no seu espaço de trabalho começam como alterações locais não confirmadas que pode confirmar e, em seguida, enviar para o seu repositório para que fiquem disponíveis para todos os utilizadores do repositório.

Se o seu repositório estiver associado a um fornecedor Git remoto, envia as alterações do seu espaço de trabalho para o ramo de desenvolvimento principal. Seleciona o ramo principal quando associa o repositório ao fornecedor de Git remoto. Num repositório do Dataform não associado, envia as alterações para o ramo predefinido.

Também pode extrair quaisquer alterações do repositório do Dataform ou do repositório remoto e juntá-las às alterações locais no seu espaço de trabalho de desenvolvimento. Para mais informações sobre o controlo de versões no Dataform, consulte o artigo Controle as versões do seu código.

Antes de começar

Se ainda não o fez, crie um repositório do Dataform.

Funções necessárias

Para receber as autorizações de que precisa para criar, inicializar e eliminar um espaço de trabalho de desenvolvimento, peça ao seu administrador para lhe conceder a função do IAM Editor do Dataform (roles/dataform.editor) nos espaços de trabalho. Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Crie um espaço de trabalho de desenvolvimento do Dataform

Quando cria um espaço de trabalho de desenvolvimento num novo repositório pela primeira vez, o Dataform pede-lhe que inicialize o espaço de trabalho de desenvolvimento com um conjunto de ficheiros de configuração necessários para o Dataform funcionar.

Um espaço de trabalho de desenvolvimento inicializado contém os seguintes diretórios e ficheiros:

  • definitions/: um diretório para definições de recursos, no Dataform core ou JavaScript.

  • includes/: um diretório vazio para scripts e variáveis que pode reutilizar em todo o repositório.

  • workflow_settings.yaml: o ficheiro de configuração do Dataform predefinido que contém o ID do projeto e o esquema do BigQuery para publicar recursos. Google Cloud Pode substituir as predefinições para as personalizar de acordo com as suas necessidades, mas a personalização não é um requisito para começar a usar o Dataform.

  • package.json: o ficheiro de configuração de dependências do Dataform predefinido com a versão mais recente do @dataform/core. Pode usar este ficheiro para importar pacotes.

  • definitions/sample.sqlx: um ficheiro SQLX de amostra para ajudar a começar.

Para criar um novo espaço de trabalho de desenvolvimento do Dataform, siga estes passos:

  1. Na Google Cloud consola, aceda à página Dataform.

    Aceder ao Dataform

  2. Selecione o repositório onde quer criar o novo espaço de trabalho de desenvolvimento.

  3. Na página do repositório, clique em Criar espaço de trabalho de desenvolvimento.

  4. Na janela Criar espaço de trabalho de desenvolvimento, faça o seguinte:

    1. No campo ID do espaço de trabalho, introduza um ID exclusivo para o espaço de trabalho de desenvolvimento.

      Os IDs só podem incluir números, letras, hífenes e sublinhados.

    2. Clique em Criar.

Inicialize o espaço de trabalho num repositório do Dataform

Para inicializar um espaço de trabalho de desenvolvimento do Dataform, siga estes passos:

  1. Na Google Cloud consola, aceda à página Dataform.

    Aceder ao Dataform

  2. Selecione o repositório onde quer inicializar o espaço de trabalho vazio.

  3. No separador Espaços de trabalho de desenvolvimento, clique no nome do espaço de trabalho vazio que quer inicializar.

  4. Na página do espaço de trabalho de desenvolvimento, clique em Inicializar espaço de trabalho.

Elimine um espaço de trabalho do Dataform

Não existem custos associados à criação de espaços de trabalho de desenvolvimento do Dataform. No entanto, se quiser eliminar um espaço de trabalho de desenvolvimento, siga estes passos:

  1. Na Google Cloud consola, aceda à página Dataform.

    Aceder ao Dataform

  2. Selecione o repositório que contém o espaço de trabalho que quer eliminar.

  3. Para evitar eliminar alterações não confirmadas, confirme e envie as alterações para o seu repositório Git.

  4. No separador Espaços de trabalho de desenvolvimento, selecione o espaço de trabalho de desenvolvimento que quer eliminar e, de seguida, clique em Eliminar espaços de trabalho selecionados.

    Pode eliminar vários espaços de trabalho em simultâneo.

  5. Para confirmar, clique em Eliminar.

O que se segue?