Desenvolva e operacionalize pipelines de transformações de dados escalonáveis no BigQuery usando SQL.
Desenvolver tabelas selecionadas, atualizadas, confiáveis e documentadas no BigQuery
Permita que analistas e engenheiros de dados colaborem no mesmo repositório
Criar pipelines de dados escalonáveis no BigQuery usando SQL
Integrar com GitHub e GitLab
Mantenha as tabelas atualizadas sem gerenciar a infraestrutura
Vantagens
Desenvolva e operacionalize pipelines de dados escalonáveis no BigQuery usando SQL em um único ambiente e sem outras dependências.
Com o Dataform, as equipes gerenciam o código SQL e as definições dos recursos de dados seguindo as práticas recomendadas de engenharia de software, como controle de versões, ambientes, testes e documentação.
Ele abstrai a complexidade da criação de pipelines SQL. Os analistas de dados podem gerenciar dependências, configurar testes de qualidade de dados e orquestrar pipelines complexos usando SQL.
Principais recursos
Com o Dataform Core, os engenheiros e analistas de dados podem criar definições de tabelas de maneira centralizada e configurar dependências, adicionar descrições de colunas e definir declarações de qualidade de dados em um único repositório usando apenas SQL.
As funções principais do Dataform podem ser adotadas de forma incremental e aditiva, sem modificar o código existente.
O Dataform Core é de código aberto e pode ser usado localmente, dando aos usuários liberdade de instalação e flexibilidade para casos de uso mais avançados.
O Dataform gerencia a infraestrutura operacional para atualizar as tabelas de acordo com as dependências entre elas e usando a versão mais recente do código. Linhas e informações de dados podem ser rastreadas facilmente com integrações de Dataform. Acione fluxos de trabalho SQL manualmente ou programe-os usando o Cloud Composer, o Workflows ou serviços de terceiros.
Defina tabelas, corrija problemas com mensagens de erro em tempo real, visualize dependências, confirme alterações no Git e programe pipelines em minutos, em uma única interface, sem sair do navegador da Web. Conecte seu repositório com provedores terceirizados, como GitHub e GitLab. Confirmar as mudanças e enviar ou abrir solicitações de envio no ambiente de desenvolvimento integrado.
Documentação
Preços
O Dataform é um serviço gratuito.
É possível que haja custos associados de outros serviços ao usar o produto.
Comece a criar no Google Cloud com US$ 300 em créditos e mais de 20 produtos do programa Sempre gratuito.