Présentation du catalogue universel Dataplex

Dataplex Universal Catalog est une solution de gouvernance unifiée et intelligente pour les données et les composants d'IA dans Google Cloud. Grâce à Dataplex Universal Catalog, vous pouvez utiliser l'IA pour simplifier les requêtes de données, l'assurance qualité et les insights commerciaux.

Dataplex Universal Catalog assure la gouvernance à grande échelle. Prenons l'exemple d'une entreprise de vente au détail mondiale qui génère de grandes quantités de données sur les ventes, l'inventaire et les clients, stockées dans Cloud Storage, Spanner et Pub/Sub. Lorsque les données sont distribuées dans différents systèmes, il peut être complexe et chronophage de gérer la gouvernance, d'assurer la qualité et de maintenir la conformité. Dataplex Universal Catalog simplifie ce processus en fournissant une vue centralisée permettant de découvrir, de profiler, de valider, de suivre la traçabilité et de contrôler l'accès aux composants de données de l'organisation.

Pourquoi utiliser Dataplex Universal Catalog ?

Dataplex Universal Catalog gouverne les données grâce aux fonctionnalités suivantes :

  • Catalogage des métadonnées. Récupérez les métadonnées des ressources Google Cloud (dans BigQuery, Cloud SQL, Spanner, Vertex AI, Pub/Sub, Dataform, Dataproc Metastore) et des ressources tierces que vous importez dans Dataplex Universal Catalog pour obtenir un instantané de vos composants de données.
  • Découverte des données : Analysez les données structurées et non structurées dans les buckets Cloud Storage pour extraire et cataloguer leurs métadonnées.
  • Insights sur les données : Utilisez l'IA pour générer des questions en langage naturel sur vos données, identifier des modèles, évaluer la qualité des données et effectuer des analyses statistiques.
  • Profilage des données : Identifiez les caractéristiques courantes des données de colonne dans vos tables BigQuery (par exemple, les valeurs de données typiques, la distribution des données et le nombre de valeurs nulles), qui peuvent vous aider à classer les données et à assurer leur qualité.
  • Qualité des données : Définissez et mesurez la qualité des données dans vos tables BigQuery en validant les données par rapport aux règles de l'organisation et en enregistrant des alertes si les données ne répondent pas aux critères de qualité.
  • Glossaire commercial Gérez la terminologie et les définitions liées à votre activité dans toute votre organisation, et associez des termes aux colonnes de tableau pour favoriser une compréhension cohérente de l'utilisation des données.
  • Traçabilité des données. Suivez la façon dont les données transitent par vos systèmes : leur origine, la cible de transmission, et les transformations qui leur sont appliquées.

Dataplex Universal Catalog est compatible avec un cycle de vie des données de bout en bout, de la découverte distribuée aux insights commerciaux. Les fonctionnalités de gouvernance sont également disponibles dans BigQuery.

Cas d'utilisation

Vous pouvez utiliser Dataplex Universal Catalog pour effectuer les opérations suivantes :

  • Découvrez et comprenez vos données. Dataplex Universal Catalog vous permet de visualiser vos ressources de données dans toute l'organisation. Il vous permet de trouver des ressources pertinentes pour vos besoins de consommation de données. Il fournit du contexte pour les ressources de données, ce qui vous aide à comprendre si elles répondent aux besoins de votre consommateur de données.

  • Activez la gouvernance et la gestion des données. Dataplex Universal Catalog fournit des métadonnées qui peuvent vous aider à améliorer vos capacités de gouvernance et de gestion des données.

  • Maintenez un dépôt extensible et complet pour vos métadonnées. Dataplex Universal Catalog stocke les métadonnées collectées automatiquement à partir de vos ressources Google Cloud et permet d'y accéder. Vous pouvez intégrer vos propres métadonnées provenant de systèmes autres queGoogle Cloud . Vous pouvez enrichir toutes les métadonnées avec des annotations de métadonnées métier et techniques supplémentaires.

Commencer

Si vous utilisez Dataplex Universal Catalog pour la première fois, envisagez de suivre un guide de démarrage rapide :

Étapes suivantes