Dataprep by Trifacta
Veja a documentação do produto.
Preparação de dados inteligente
O Cloud Dataprep by Trifacta é um serviço de dados inteligente que permite a exploração visual, a limpeza e a preparação de dados estruturados e não estruturados para análise, geração de relatórios e machine learning. Por se tratar de um serviço sem servidor que funciona em qualquer escala, não é necessário implantá-lo nem gerenciá-lo. Sua próxima transformação ideal de dados é sugerida e prevista com cada entrada na IU, sendo assim, não é necessário escrever códigos.
O que há de novo
Simplicidade sem servidor
O Cloud Dataprep é um serviço integrado de parceiros operado pela Trifacta e baseado na solução de preparação de dados da empresa que é líder do setor. O Google trabalha com a Trifacta para proporcionar uma experiência inigualável ao usuário, que elimina a necessidade de instalação antecipada de software, gastos extras com licenciamento ou sobrecarga operacional contínua. O Cloud Dataprep é totalmente gerenciado e pode ser escalonado de acordo com a demanda para atender às suas necessidades cada vez maiores de preparação de dados. Assim, você se concentra na análise.
Rapidez na exploração e detecção de anomalias
Entenda e explore os dados rapidamente por meio de distribuições. O Cloud Dataprep detecta automaticamente esquemas, tipos de dados, possíveis junções e anomalias, como valores ausentes, outliers e elementos duplicados para que você pule a demorada etapa de avaliação da qualidade de seus dados e se concentre na exploração e análise.
Facilidade e eficiência na preparação de dados
A cada ação que você realiza na IU, o Cloud Dataprep sugere e prevê automaticamente a próxima transformação ideal de dados. Depois que você define a sequência de transformações, o Cloud Dataprep usa o Cloud Dataflow como base, permitindo processar conjuntos de dados estruturados e não estruturados de qualquer tamanho com apenas alguns cliques, sem precisar escrever nenhum código.
Recursos do Cloud Dataprep
Edições Standard e Premium
Transformação preditiva
O Cloud Dataprep usa um algoritmo de inferência reservado para interpretar a intent de transformação dos dados da seleção de um usuário. Um conjunto classificado de sugestões e padrões das seleções de correspondência é gerado automaticamente.
Transformações avançadas
Aproveite centenas de funções que transformam seus dados no recurso que quiser. Com um clique do mouse, aplique agregação, pivot, unpivot, junções, união, extração, cálculo, comparação, condição, mesclagem, expressões regulares e muito mais.
Parametrização
Execute um roteiro em várias instâncias de conjuntos de dados idênticos parametrizando uma variável para substituir as partes do caminho do arquivo que são alteradas a cada atualização. Essa variável pode ser modificada conforme necessário no ambiente de execução do job.
Colaboração
Em um ambiente de equipe, pode ser útil ter vários usuários trabalhando nos mesmos recursos ou criar cópias de trabalhos de boa qualidade que funcionem como modelos para outras pessoas. O Cloud Dataprep permite que os usuários colaborem nos mesmos objetos de fluxo em tempo real ou criem cópias para outros usarem em trabalhos independentes.
Correspondência de padrões
Utilize correspondência colunar de padrões para identificar os padrões de dados relevantes e evidenciá-los na interface a fim de usá-los na criação dos roteiros. Além disso, durante as etapas de criação, é possível aplicar expressões regulares ou padrões do Cloud Dataprep para localizar padrões e transformar os dados correspondentes nos seus conjuntos.
Padronização
Agrupe valores por semelhanças com base na ortografia ou na pronúncia, seja qual for o idioma, e crie clusters padronizados de valores consistentes.
Criação de perfis ativos
Veja e explore seus dados por meio de distribuições visuais interativas que auxiliam na descoberta, limpeza e transformação. As representações visuais ajudam a interpretar grandes volumes de dados, e as técnicas inovadoras de criação de perfis do Cloud Dataprep permitem a exibição das principais informações estatísticas em um formato dinâmico e fácil de usar.
Amostragem
Para otimizar o desempenho, o Cloud Dataprep gera automaticamente uma ou mais amostras de dados para exibição e manipulação no aplicativo cliente. No entanto, é possível alterar facilmente o tamanho, o escopo e o método usado para a criação dessas amostras.
Agendamento
Agende a execução de roteiros nos seus fluxos de maneira recorrente ou conforme necessário. Após a execução do job programado, será possível coletar o resultado convertido no local de saída indicado, disponível no formulário publicado que você especificou.
Segmentação rápida
Defina esquemas de destino por meio de conjuntos de dados importados ou criados e atribua-os a roteiros atuais para sistematizar e agilizar seus esforços de conversão. Os destinos aparecem na página do Transformer e podem ser aplicados a todo o conjunto de dados ou a colunas específicas em que você precise trabalhar.
Tipos de dados comuns
Transforme conjuntos de dados estruturados ou não estruturados, armazenados nos formatos CSV, JSON ou de tabelas relacionais de qualquer tamanho (de megabytes a petabytes) com a mesma facilidade e simplicidade.
Integração ao Google Cloud Platform
Processe dados armazenados no Cloud Storage, BigQuery ou no seu computador e, depois, exporte dados refinados para o BigQuery ou o Cloud Storage para armazenamento, análise, visualização ou machine learning. É possível gerenciar o acesso dos usuários e a segurança dos dados de maneira simples, usando o Cloud Identity and Access Management.
Mais conectividade
Além da conectividade padrão do BigQuery, do Cloud Storage, do Microsoft Excel e do Planilhas Google, aprimore sua análise de autoatendimento com as fontes de dados Salesforce, Oracle, Microsoft SQL Server, MySQL e PostgreSQL.
Orquestração de pipeline de dados
Aumente seus recursos de automação encadeando jobs de preparação de dados juntos em ordem sequencial e condicional. Alerte os usuários sobre o sucesso ou a falha e a acione tarefas externas (como o Cloud Functions). Aproveite as APIs abrangentes para integrar o Cloud Dataprep como parte da solução completa de uma empresa.
Operacionalização em escala empresarial
Adote uma prática de implantação contínua com importação/exportação de receitas em edições e versões, parâmetros de fluxo, configuração personalizada para ajuste de desempenho do Google Dataflow eAPIs avançadas para automatizar o ciclo de vida de desenvolvimento de software e o monitoramento.
Regras de qualidade dos dados
As regras de qualidade sugerem indicadores de qualidade para monitorar e corrigir a precisão, a integridade, a consistência, a validade e a exclusividade dos dados, garantindo que você tenha uma visão abrangente da limpeza dos dados.
Segurança avançada
Expanda os padrões de segurança atuais fornecendo controle de acesso a dados individuais usando uma combinação de papéis de IAM do Google e o BigQuery, o Cloud Storage e os direitos de acesso do Planilhas Google para determinar o acesso.
Arquitetura do Cloud Dataprep
Com o Cloud Dataprep, é possível explorar rapidamente novos conjuntos de dados, e, graças à flexibilidade desse serviço, ele atende a todas as nossas necessidades de transformação de dados. A preparação de dados na Merkle é concluída em questão de minutos, não horas ou dias, o que acelera em 90% o tempo dedicado a esse processo.
Henry Culver, arquiteto de TI da Merkle
Nossos clientes
Recursos
Primeiros passos com o guia de início rápido do Cloud Dataprep
Comunicados e atualizações de produto do Cloud Dataprep
Interaja com outros usuários do Cloud Dataprep no Stack Overflow
Automatize os pipelines do Cloud Dataprep ao chegarem arquivos com o Cloud Functions
Como trabalhar com o laboratório autoguiado do Cloud Dataprep
Automação de ML com BigQuery ML, Cloud Dataprep e Cloud Composer
Crie um armazenamento de dados de marketing
Como fazer streaming de dados do IoT Core para o Cloud Dataprep
Preço
O Cloud Dataprep é um aplicativo da Web interativo em que os usuários definem as regras de preparação de dados por meio da interação com uma amostra. É possível executar o fluxo no conjunto de dados completo como um job do Cloud Dataprep (por meio do Google Cloud Dataflow).O preço é dividido em duas variáveis.: design e execução. O preço é calculado por projeto para um número ilimitado de usuários. O preço de execução consiste no uso do Dataflow para executar jobs no Dataprep. Saiba mais e veja todos os detalhes na nossa página de preços no Google Cloud Marketplace.
Comece a criar no Google Cloud com mais de 20 produtos gratuitos e ganhe US$ 300 em créditos.