Vista geral do Dataplex Universal Catalog

O Dataplex Universal Catalog é uma solução de administração unificada e inteligente para dados e recursos de IA no Google Cloud. Através do catálogo universal do Dataplex, pode usar a IA para simplificar as consultas de dados, o controlo de qualidade e as estatísticas empresariais.

O Dataplex Universal Catalog realiza a governação em grande escala. Por exemplo, considere uma empresa de retalho global que gera grandes quantidades de dados de vendas, inventário e clientes armazenados no Cloud Storage, Spanner e Pub/Sub. Com os dados distribuídos pelos sistemas, pode ser complexo e demorado gerir a governação, garantir a qualidade e manter a conformidade. O Dataplex Universal Catalog simplifica este processo ao fornecer uma vista central para descobrir, criar perfis, validar, acompanhar a linhagem e controlar o acesso a recursos de dados organizacionais.

Por que motivo deve usar o Dataplex Universal Catalog?

O Dataplex Universal Catalog rege os dados através das seguintes funcionalidades:

  • Catalogação de metadados. Obtenha metadados para Google Cloud recursos (no BigQuery, Cloud SQL, Spanner, Vertex AI, Pub/Sub, Dataform, Dataproc Metastore) e recursos de terceiros que introduz no catálogo universal do Dataplex para uma vista geral dos seus recursos de dados.
  • Descoberta de dados. Procure dados estruturados e não estruturados em contentores do Cloud Storage para extrair e catalogar os respetivos metadados.
  • Estatísticas de dados. Use a IA para gerar perguntas em linguagem natural sobre os seus dados, para descobrir padrões, avaliar a qualidade dos dados e realizar análises estatísticas.
  • Criação de perfis de dados. Identificar características comuns dos dados das colunas nas suas tabelas do BigQuery, por exemplo, valores de dados típicos, distribuição de dados e contagens de nulos, que podem fornecer informações para a classificação de dados e a garantia de qualidade.
  • Qualidade de dados. Defina e meça a qualidade dos dados nas tabelas do BigQuery, através da validação dos dados em relação às políticas organizacionais e do registo de alertas se os dados não cumprirem os critérios de qualidade.
  • Glossário empresarial. Gerir a terminologia e as definições relacionadas com a empresa em toda a organização e anexar termos a colunas de tabelas para promover uma compreensão consistente da utilização de dados.
  • Linhagem de dados. Monitorize a forma como os dados se movem nos seus sistemas: de onde vêm, para onde são transmitidos e que transformações lhes são aplicadas.

O Dataplex Universal Catalog suporta um ciclo de vida dos dados completo, desde a deteção distribuída às estatísticas empresariais. As funcionalidades de governação também estão disponíveis através do BigQuery.

Exemplos de utilização

Pode usar o Dataplex Universal Catalog para fazer o seguinte:

  • Descubra e compreenda os seus dados. O Dataplex Universal Catalog oferece visibilidade sobre os seus recursos de dados em toda a organização. Permite-lhe encontrar recursos relevantes para as necessidades de consumo de dados. Fornece contexto para recursos de dados, o que ajuda a compreender a adequação dos recursos de dados para as necessidades do seu consumidor de dados.

  • Ative a administração e a gestão de dados. O Dataplex Universal Catalog fornece metadados que podem informar e potenciar as suas capacidades de gestão e administração de dados.

  • Mantenha um repositório extensível e abrangente para os seus metadados. O Dataplex Universal Catalog armazena e fornece acesso a metadados que são recolhidos automaticamente dos seus Google Cloud recursos. Pode integrar os seus próprios metadados de sistemas que não sejam daGoogle Cloud . Pode enriquecer todos os metadados com anotações de metadados técnicos e empresariais adicionais.

Começar

Se estiver a trabalhar com o Dataplex Universal Catalog pela primeira vez, considere seguir um início rápido:

O que se segue?