Dataprep by Trifacta
Um serviço inteligente de dados na nuvem para exploração visual, limpeza e preparação de dados para análise e machine learning.
Veja a documentação do produto.
Preparação de dados inteligente
Novidades
Simplicidade sem servidor
O Dataprep é um serviço integrado de parceiros operado pela Trifacta e baseado na solução de preparação de dados da empresa que é líder do setor. O Google trabalha com a Trifacta para proporcionar uma experiência inigualável ao usuário, que elimina a necessidade de instalação antecipada de software, gastos extras com licenciamento ou sobrecarga operacional contínua. O Dataprep é totalmente gerenciado e pode ser escalonado de acordo com a demanda para atender às suas necessidades cada vez maiores de preparação de dados. Assim, você se concentra na análise.
Rapidez na exploração e detecção de anomalias
Entenda e explore os dados rapidamente por meio de distribuições. O Dataprep detecta automaticamente esquemas, tipos de dados, possíveis junções e anomalias, como valores ausentes, outliers e elementos duplicados para que você pule a demorada etapa de avaliação da qualidade de seus dados e se concentre na exploração e análise.
Facilidade e eficiência na preparação de dados
A cada ação que você realiza na IU, o Dataprep sugere e prevê automaticamente a próxima transformação ideal de dados. Depois que você define a sequência de transformações, o Dataprep usa o BigQuery como base, permitindo processar conjuntos de dados estruturados e não estruturados de qualquer tamanho com apenas alguns cliques, sem precisar escrever nenhum código.
Recursos do Dataprep
Edições Starter, Professional e Enterprise
Transformação preditiva
O Dataprep usa um algoritmo de inferência reservado para interpretar a intent de transformação dos dados da seleção de um usuário. Um conjunto classificado de sugestões e padrões das seleções de correspondência é gerado automaticamente.
Transformações avançadas
Aproveite centenas de funções de transformação para transformar seus dados no recurso que quiser. Com um clique do mouse, aplique agregação, pivot, unpivot, mesclagens, união, extração, cálculo, comparação, condição, merge, expressões regulares e muito mais.
Capacidade de processamento otimizada
O Dataprep seleciona automaticamente o melhor mecanismo de processamento do Google Cloud subjacente para transformar os dados o mais rápido possível. Com base na localidade e volume de dados, o Dataprep aproveita o BigQuery (transformações ELT no local) para preparar os dados, o Dataflow ou para o pequeno volume, o mecanismo na memória do Dataprep.
Criação de perfis ativos
Veja e explore seus dados por meio de distribuições visuais interativas que auxiliam na descoberta, na limpeza e na transformação. As representações visuais ajudam a interpretar grandes volumes de dados, e as técnicas inovadoras de criação de perfis do Dataprep permitem a exibição das principais informações estatísticas em um formato dinâmico e fácil de usar.
Regras de qualidade dos dados
As regras de qualidade sugerem indicadores de qualidade para monitorar e corrigir a precisão, a integridade, a consistência, a validade e a exclusividade dos dados, garantindo que você tenha uma visão abrangente da limpeza dos dados.
Colaboração
Em um ambiente de equipe, pode ser útil ter vários usuários trabalhando nos mesmos recursos ou criar cópias de trabalho de boa qualidade que sirvam de modelo para outras pessoas. O Dataprep permite que os usuários colaborem nos mesmos objetos de fluxo em tempo real ou criem cópias para outros usarem em trabalhos independentes.
Conectividade abrangente
Além do conectividade padrão do BigQuery, Cloud Storage, Microsoft Excel e Planilhas Google, aprimore sua análise de autoatendimento com centenas de fontes de dados, como Salesforce, Oracle, Microsoft SQL Server, MySQL e PostgreSQL, entre outros.
Orquestração de pipeline de dados
Programe e automatize os jobs de preparação de dados encadeando-os em ordem sequencial e condicional. Alerte os usuários sobre o sucesso ou a falha e a acione tarefas externas (como o Cloud Functions). Aproveite as APIs abrangentes para integrar o Cloud Dataprep como parte da solução completa de uma empresa.
Operacionalização em escala empresarial
Adote uma prática de implantação contínua com importação/exportação de receitas em edições e versões, parâmetros de fluxo, configuração personalizada para ajuste de desempenho do Google Dataflow e APIs avançadas para automatizar o ciclo de vida de desenvolvimento de software e o monitoramento.
Tipos de dados comuns
Transforme conjuntos de dados estruturados ou não estruturados, armazenados nos formatos CSV, JSON, em tabelas relacionais ou dados de aplicativos SaaS de qualquer tamanho (de megabytes a petabytes) com a mesma facilidade e simplicidade.
Correspondência de padrões
Utilize correspondência colunar de padrões para identificar os padrões de dados relevantes e evidenciá-los na interface a fim de usá-los na criação dos roteiros. Além disso, durante as etapas de criação, é possível aplicar expressões regulares ou padrões do Dataprep para localizar padrões e transformar os dados correspondentes nos seus conjuntos.
Padronização
Agrupar valores por semelhanças com base na ortografia ou na pronúncia independente do idioma e criar clusters padronizados de valores consistentes.
Amostragem
Para otimizar o desempenho, o Dataprep gera automaticamente uma ou mais amostras de dados para exibição e manipulação no aplicativo cliente. No entanto, é possível alterar facilmente o tamanho, o escopo e o método usado para a criação.
Segurança avançada
Expanda os padrões de segurança atuais fornecendo controle de acesso a dados individuais usando uma combinação de papéis de IAM do Google e o BigQuery, o Cloud Storage e os direitos de acesso do Planilhas Google para determinar o acesso.
Arquitetura de pipeline do Dataprep ELT
"O Dataprep nos permite explorar rapidamente novos conjuntos de dados, e a flexibilidade dele oferece suporte a todas as nossas necessidades de transformação de dados. A preparação de dados na Merkle é concluída em questão de minutos, não horas ou dias, o que acelera em 90% o tempo dedicado a esse processo.
Henry Culver, arquiteto de TI da Merkle
Leia a históriaNossos clientes
Recursos
-
Primeiros passos com o guia de início rápido do Dataprep
-
Comunicados e atualizações de produto do Dataprep
-
Interaja com outros usuários do Dataprep no Stack Overflow
-
Perguntas frequentes sobre o Dataprep by TrifactaVeja como a Trifacta atende às regulamentações de segurança, privacidade e proteção de dados.
-
Automatize os pipelines do Dataprep nos arquivos de chegada com o Cloud Functions
-
Como trabalhar com o laboratório autoguiado do Dataprep
-
Automação de ML com BigQuery ML, Dataprep e Cloud Composer
-
Crie um armazenamento de dados de marketing
-
Como fazer streaming de dados do IoT Core para o Dataprep
Preços
O Dataprep é um aplicativo da Web interativo em que os usuários podem definir as regras de preparação de dados por meio da interação com uma amostra. Para a execução do fluxo no conjunto de dados completo, ele pode ser executado como um job do Dataprep (usando o Dataflow). O preço é dividido em duas variáveis.: design e execução. O preço é calculado por projeto para um número ilimitado de usuários. O preço de execução consiste no uso do Dataflow para executar jobs no Dataprep. Saiba mais e veja todos os detalhes na nossa página de preços no Google Cloud Marketplace.
Comece a criar no Google Cloud com US$ 300 em créditos e mais de 20 produtos do programa Sempre gratuito.
Inicie seu próximo projeto, veja tutoriais interativos e gerencie sua conta.