Este documento ajuda você a entender o conceito de no Dataform.
Cada repositório do Dataform tem uma coleção de objetos SQLX e JavaScript que compõem seu fluxo de trabalho do SQL, bem como o Dataform de configuração do Terraform. Você interage com o conteúdo em um espaço de trabalho de desenvolvimento.
O Dataform exibe seus repositórios na página do Dataform em na ordem alfabética dos IDs dos repositórios. Eles podem ser classificados e filtrados.
Cada repositório do Dataform está conectado a uma conta de serviço. Você pode selecionar uma conta de serviço ao criar um repositório; ou edite a conta de serviço mais tarde.
Por padrão, o Dataform usa uma conta de serviço derivada número do projeto no seguinte formato:
service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com
O Dataform usa o Git para registrar alterações e gerenciar versões de arquivos. Cada repositório do Dataform corresponde a um repositório Git. Depois de criar um repositório do Dataform, você pode conectá-lo a um repositório remoto do GitHub, GitLab ou Bitbucket.
Em um repositório do Dataform, o Dataform armazena o código do repositório. Em um repositório conectado, o repositório de terceiros armazena o código do repositório. O Dataform interage com o repositório de terceiros para permitir que você faça edições e executar o conteúdo em um espaço de trabalho de desenvolvimento do Dataform.
Uma página de repositório do Dataform consiste nos seguintes componentes:
- Guia "Espaços de trabalho de desenvolvimento"
- Exibe os espaços de trabalho de desenvolvimento criados no repositório.
- Guia "Configurações da versão"
- Permite inspecionar, criar, editar e excluir versões.
- Guia "Registros de execução do fluxo de trabalho"
- Exibe registros de execução de fluxo de trabalho do Dataform.
- Guia "Configurações do fluxo de trabalho"
- Permite inspecionar, criar, editar e excluir configurações de fluxo de trabalho.
- Guia "Configurações"
- Exibe o nome e o local do repositório. Para um repositório conectado em um repositório Git de terceiros, exibe a origem do repositório nome da ramificação padrão e o token secreto. Exibe os botões para conectar o repositório a um recurso de terceiros. no repositório Git e para editar a conexão do Git.
- Botão "Criar espaço de trabalho de desenvolvimento"
- Permite criar um espaço de trabalho de desenvolvimento.
Depois de criar e inicializar um espaço de trabalho de desenvolvimento, é possível edite o arquivo de configurações do fluxo de trabalho para configurar as seguintes configurações do Dataform do seu repositório:
- O banco de dados padrão (ID do projeto do Google Cloud)
- O esquema padrão (ID do conjunto de dados do BigQuery)
- O local padrão do BigQuery
- O esquema padrão (ID do conjunto de dados do BigQuery) para declarações
- O warehouse, que precisa ser definido como
bigquery - Variáveis definidas pelo usuário que são disponibilizadas para o código do projeto durante a compilação
Para mais informações sobre as configurações de repositório do Dataform, consulte IProjectConfig na referência principal do Dataform.
A seguir
- Para aprender a criar e inicializar um espaço de trabalho, consulte Crie um espaço de trabalho.
- Para saber como definir as configurações do repositório do Dataform, consulte Defina as configurações do Dataform.
- Para saber como conectar um repositório do Dataform a um Git de terceiros consulte Conectar-se a um repositório Git de terceiros.
- Para saber como exibir os registros de execução do fluxo de trabalho, consulte Monitore os registros de execução.
- Para aprender a criar versões de compilação do Dataform, consulte Crie uma versão de compilação.
- Para saber mais sobre como o tamanho do repositório afeta o desenvolvimento no Dataform, consulte Visão geral do tamanho do repositório.
- Para saber como programar execuções do Dataform com o fluxo de trabalho do Terraform, consulte Programar execuções com configurações de fluxo de trabalho.
- Para saber mais sobre como dividir um repositório no Dataform, consulte Introdução à divisão de repositórios.