Dataform

Desenvolva e operacionalize pipelines de transformações de dados escalonáveis no BigQuery usando SQL.

Desenvolver tabelas selecionadas, atualizadas, confiáveis e documentadas no BigQuery
Permita que analistas e engenheiros de dados colaborem no mesmo repositório
Criar pipelines de dados escalonáveis no BigQuery usando SQL
Integrar com GitHub e GitLab
Mantenha as tabelas atualizadas sem gerenciar a infraestrutura

Vantagens

Simplificar a arquitetura de processamento de dados

Desenvolva e operacionalize pipelines de dados escalonáveis no BigQuery usando SQL em um único ambiente e sem outras dependências.

Colaborar usando práticas de desenvolvimento de software

Com o Dataform, as equipes gerenciam o código SQL e as definições dos recursos de dados seguindo as práticas recomendadas de engenharia de software, como controle de versões, ambientes, testes e documentação.

Criar pipelines SQL em nível de produção

Ele abstrai a complexidade da criação de pipelines SQL. Os analistas de dados podem gerenciar dependências, configurar testes de qualidade de dados e orquestrar pipelines complexos usando SQL.

Principais recursos

Linguagem baseada em SQL de código aberto para gerenciar transformações de dados

Com o Dataform Core, os engenheiros e analistas de dados podem criar definições de tabelas de maneira centralizada e configurar dependências, adicionar descrições de colunas e definir declarações de qualidade de dados em um único repositório usando apenas SQL.

As funções principais do Dataform podem ser adotadas de forma incremental e aditiva, sem modificar o código existente.

O Dataform Core é de código aberto e pode ser usado localmente, dando aos usuários liberdade de instalação e flexibilidade para casos de uso mais avançados.

Orquestração sem servidor totalmente gerenciada para pipelines de dados

O Dataform gerencia a infraestrutura operacional para atualizar as tabelas de acordo com as dependências entre elas e usando a versão mais recente do código. Linhas e informações de dados podem ser rastreadas facilmente com integrações de Dataform. Acione fluxos de trabalho SQL manualmente ou programe-os usando o Cloud Composer, o Workflows ou serviços de terceiros.

Ambiente de desenvolvimento em nuvem completo para desenvolvimento com SQL

Defina tabelas, corrija problemas com mensagens de erro em tempo real, visualize dependências, confirme alterações no Git e programe pipelines em minutos, em uma única interface, sem sair do navegador da Web. Conecte seu repositório com provedores terceirizados, como GitHub e GitLab. Confirmar as mudanças e enviar ou abrir solicitações de envio no ambiente de desenvolvimento integrado.

Documentação

Quickstart

Criar e executar um fluxo de trabalho em SQL

Saiba como criar um fluxo de trabalho SQL e executá-lo no BigQuery usando o Dataform e SQLX.

Saiba mais

Tutorial

Controle de versões do código

Saiba como usar o controle de versões no Dataform para acompanhar o desenvolvimento.

Saiba mais

Não encontrou o que procura?

Confira toda a documentação do produto

Preços

O Dataform é um serviço gratuito.

É possível que haja custos associados de outros serviços ao usar o produto.

Ver preços

Vá além

Inicie seu próximo projeto, veja tutoriais interativos e gerencie sua conta.

Acesse o console

Precisa de ajuda para começar?
Entre em contato com a equipe de vendas
Trabalhe com um parceiro confiável
Encontre um parceiro
Confira dicas e práticas recomendadas
Consulte os tutoriais