Guias do Dataform

Descobrir

• Visão geral do Dataform

  Visão geral dos conceitos e processos do Dataform.

• Visão geral dos recursos do Dataform

  Visão geral dos recursos do Dataform.

• Visão geral do núcleo do Dataform

  Visão geral dos principais conceitos do Dataform.

Começar

• Guia de início rápido: criar e executar um fluxo de trabalho SQL

  Criar e executar um fluxo de trabalho SQL.

• Guia de início rápido: programar execuções de produção

  Criar um ambiente de produção com uma configuração de versão e programar execuções de produção com uma configuração de fluxo de trabalho.

• Guia de início rápido: criar ambientes de desenvolvimento

  Crie ambientes de desenvolvimento com substituições de compilação do espaço de trabalho do Dataform.

• Migrar do Dataform legado

  Importe um projeto legado do Dataform para o Dataform no Google Cloud.

• Migrar ambientes e programações do Dataform legados

  Migre ambientes e programações do Dataform legado para o Dataform no Google Cloud com configurações de versão e fluxo de trabalho

Administrar repositórios

• Introdução aos repositórios

  Saiba mais sobre repositórios no Dataform.

• Criar um repositório

  Crie um repositório, defina e edite a conta de serviço do repositório e exclua um repositório no Dataform usando o console do Google Cloud.

• Conectar-se a um repositório Git de terceiros

  Vincule um repositório do Dataform a um repositório Git remoto usando o console do Google Cloud.

• Definir configurações do Dataform

  Edite as configurações do Dataform para um repositório específico usando o console do Google Cloud.

• Estruturar código em um repositório

  Saiba mais sobre as práticas recomendadas para estruturar o código do fluxo de trabalho SQL em um repositório do Dataform.

• Visão geral do tamanho do repositório

  Saiba mais sobre o impacto do tamanho do repositório no desenvolvimento do Dataform e no uso de recursos de compilação.

• Introdução à divisão de repositórios

  Saiba mais sobre estratégias de divisão de um repositório e as vantagens e desvantagens dele.

Controle o acesso

• Conceder acesso necessário ao Dataform

  Conceda à sua conta de serviço do Dataform os papéis do IAM necessários para usar o Dataform com o BigQuery.

• Controlar o acesso ao Dataform com o IAM

  Controlar o acesso aos recursos do Dataform com o IAM.

• Controlar o acesso com o IAM

  Controle o acesso do BigQuery a tabelas individuais no Dataform.

• Restringir repositórios remotos

  Para proteger seus dados, restrinja o pool de repositórios remotos que podem se conectar a um repositório do Dataform.

Desenvolver em um espaço de trabalho

• Introdução ao desenvolvimento em um espaço de trabalho

  Saiba mais sobre espaços de trabalho no Dataform.

• Criar um espaço de trabalho

  Crie, inicialize e exclua um espaço de trabalho do Dataform usando o console do Google Cloud.

• Controle de versões do código

  Use o controle de versão do Git no Dataform.

crie tabelas

• Introdução a tabelas

  Saiba mais sobre tabelas no Dataform.

• Criar uma tabela

  Defina uma tabela, uma tabela incremental ou uma visualização no Dataform usando o Dataform Core.

• Criar clusters e partições de tabelas

  Crie clusters e partições de tabelas no Dataform usando o Dataform Core.

• Configurar uma tabela incremental

  Configure uma tabela incremental no Dataform usando o Dataform Core.

• Adicionar documentação da tabela

  Documente uma tabela, tabela incremental ou visualização no Dataform usando o Dataform Core.

• Adicionar rótulos do BigQuery

  Adicione rótulos do BigQuery a tabelas no Dataform com o Dataform Core.

• Adicionar tags de política do BigQuery

  Adicione tags de política do BigQuery no Dataform com o Dataform Core.

• Definir outras configurações da tabela

  Defina outras configurações de tabela em um arquivo de definição de tabela principal do Dataform.

Desenvolver fluxos de trabalho SQL

• Introdução aos fluxos de trabalho SQL

  Saiba mais sobre fluxos de trabalho SQL no Dataform.

• Declarar uma fonte de dados

  Declare uma fonte de dados no Dataform usando o Dataform Core.

• Declarar dependências

  Declare dependências entre objetos de fluxo de trabalho SQL no Dataform.

• Adicionar operações SQL personalizadas

  Defina operações SQL personalizadas no Dataform com o Dataform Core.

• Adicionar tags de execução

  Adicione tags de execução a tabelas no Dataform com o Dataform Core.

• Visualizar consultas SQL

  Visualize consultas SQL em um espaço de trabalho do Dataform antes de executá-las no BigQuery.

Testar fluxos de trabalho SQL

• Testar tabelas com declarações

  Crie declarações no Dataform com o Dataform Core.

Desenvolver com JavaScript

• Introdução ao JavaScript no Dataform

  Saiba como usar o JavaScript para desenvolver fluxos de trabalho SQL no Dataform.

• Desenvolver fluxos de trabalho SQL com JavaScript

  Crie elementos de fluxo de trabalho SQL no Dataform usando JavaScript.

• Reutilizar variáveis e funções com inclusões

  Criar um código reutilizável com inclusões do JavaScript no Dataform.

• Criar um pacote no Dataform

  Crie um pacote no Dataform para desenvolver fluxos de trabalho SQL.

• Instalar um pacote no Dataform

  Instale um pacote do JavaScript em um repositório do Dataform e use-o em um arquivo JavaScript ou SQLX.

• Autenticar um pacote particular no Dataform

  Autentique um pacote particular em um repositório do Dataform para ativar a instalação.

• Usar dimensões que mudam lentamente no Dataform

  Como um exemplo de uso de um pacote de código aberto no Dataform, use o pacote de dimensões "Alterações lentas" para criar tabelas.

Desenvolver com a CLI do Dataform

• Usar a CLI do Dataform

  Use a CLI de código aberto do Dataform.

Executar fluxos de trabalho SQL

• Execução do gatilho

  Acione manualmente a execução de todo o fluxo de trabalho do SQL, ações selecionadas ou ações com tags selecionadas no console do Google Cloud.

Gerenciar o ciclo de vida do código

• Introdução ao ciclo de vida do código no Dataform

  Saiba mais sobre maneiras de configurar o ciclo de vida do código do Dataform para melhor atender às suas necessidades.

• Configurar substituições de compilação do espaço de trabalho

  Configure substituições de compilação para todos os espaços de trabalho no seu repositório. Criar substituições de compilação para execuções do fluxo de trabalho do Dataform.

• Criar uma configuração de versão

  Crie configurações de versão no Dataform para definir modelos de configurações de compilação. É possível usar configurações de versão para criar ambientes de execução, por exemplo, de preparo.

• Configurar substituições de compilação com a API Dataform

  Configure substituições de compilação para invocações de fluxo de trabalho do Dataform em solicitações da API Dataform.

Programar execuções

• Programar execuções com configurações de fluxo de trabalho

  Crie configurações de fluxo de trabalho no Dataform para programar e configurar execuções.

• Programar execuções com o Workflows e o Cloud Scheduler

  Programe execuções do Dataform com o Workflows e o Cloud Scheduler.

• Programar execuções com o Cloud Composer

  Programar execuções do Dataform com o Cloud Composer.

Monitorar

• Monitorar registros de execução

  Veja os registros de execução do Dataform no console do Google Cloud.

• Registro de auditoria

  Veja os registros de auditoria do Dataform.

• Acessar o Cloud Logging para o Dataform

  Monitorar as invocações do fluxo de trabalho do Dataform com o Cloud Logging.

Manter

• Atualizar Dataform

  Atualize o Dataform para a versão mais recente.

Práticas recomendadas

• Visão geral das práticas recomendadas

  Saiba mais sobre as práticas recomendadas para o Dataform.

• Visão geral do tamanho do repositório

  Saiba mais sobre o impacto do tamanho do repositório no desenvolvimento do Dataform e no uso de recursos de compilação.

• Como dividir repositórios

  Saiba mais sobre estratégias de divisão de um repositório e as vantagens e desvantagens dele.

• Estruturar código em um repositório

  Saiba mais sobre as práticas recomendadas para estruturar o código do fluxo de trabalho SQL em um repositório do Dataform.

• Como gerenciar o ciclo de vida do código

  Saiba mais sobre soluções para configurar ambientes de ciclo de vida isolados: desenvolvimento, preparo e produção.

Resolver problemas

• Resolver problemas do Dataform

  Resolva problemas com o Dataform.