Data Catalog puede importar y mantener metadatos actualizados de varias fuentes de datos de Google Cloud, así como de varias fuentes locales populares.
Una vez que se transfieren los metadatos, Data Catalog realiza las siguientes acciones:
- Hace que los metadatos existentes sean detectables a través de la búsqueda. Para obtener más información, consulta Cómo realizar búsquedas.
- Permite que los miembros de tu organización enriquezcan tus datos con metadatos de la empresa adicionales a través de etiquetas. Para obtener más información, consulta Etiquetas y plantillas de etiquetas.
Si bien la integración con las fuentes de Google Cloud es automática, para integrarse a fuentes locales personalizadas que usa tu organización, puedes hacer lo siguiente:
- Configura y ejecuta los conectores correspondiente que aportó la comunidad.
- Usa la API de Data Catalog para entradas personalizadas.
Antes de comenzar
Si ya usas Data Catalog, ya debes tener un proyecto con la API de Data Catalog habilitada. Para obtener más información sobre la forma recomendada de usar varios proyectos con Data Catalog, consulta Cómo usar plantillas de etiquetas en varios proyectos.
Si es la primera vez que interactúas con Data Catalog, haz lo siguiente:
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Data Catalog API.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Data Catalog API.
Integrar fuentes de datos de Google Cloud
Analytics Hub
Cuando te suscribes a una ficha en Analytics Hub, se crea un conjunto de datos vinculado en tu proyecto. Data Catalog genera automáticamente entradas de metadatos para ese conjunto de datos vinculado y todas las tablas que contiene. Para obtener más información sobre los conjuntos de datos vinculados y otras funciones de Analytics Hub, consulta Introducción a Analytics Hub.
En la búsqueda de Data Catalog, los conjuntos de datos vinculados se muestran como conjuntos de datos de BigQuery estándar, pero puedes filtrarlos con el predicado type=dataset.linked. Para obtener más detalles, consulta Busca recursos de datos.
BigQuery y Pub/Sub
Si tu organización ya usa BigQuery y Pub/Sub, según tus permisos, puedes buscar los metadatos de esas fuentes de inmediato. Si no puedes ver las entradas correspondientes en los resultados de la búsqueda, busca los roles de IAM que tú y los usuarios de tu proyecto podrían necesitar en Identity and Access Management.
Bigtable
Cuando almacenas datos en Bigtable, los metadatos se sincronizan automáticamente con Data Catalog para los siguientes recursos de Bigtable:
- Instancias
- Tablas, incluidos los detalles de la familia de columnas
Si deseas obtener orientación para usar Data Catalog para el descubrimiento y etiquetado de datos, consulta Administra recursos de datos con Data Catalog en la documentación de Bigtable.
Cloud SQL
Cloud SQL no se integra con Data Catalog, pero sí con Dataplex Catalog. Para obtener más información, consulta Cómo integrar tus fuentes de datos con Dataplex Catalog.
Dataproc Metastore
Para integrarlo con Dataproc Metastore, habilita la sincronización con Data Catalog para servicios nuevos o existentes, como se describe en Cómo habilitar la sincronización de Data Catalog.
Protección de datos sensibles
Además, Data Catalog se integra en Sensitive Data Protection que te permite analizar recursos específicos de Google Cloud en busca de datos sensibles y enviar resultados a Data Catalog en forma de etiquetas.
Para obtener más información, consulta Cómo enviar resultados de análisis de Sensitive Data Protection a Data Catalog.
Spanner
Cuando almacenas datos en Spanner, los metadatos de los siguientes recursos de Spanner se sincronizan con Data Catalog:
- Instancias
- Bases de datos
- Tablas y vistas con esquema de columna
Si deseas obtener orientación para usar Data Catalog para el descubrimiento y etiquetado de datos, consulta Cómo administrar recursos de datos con Data Catalog.
Vertex AI
Vertex AI sincroniza los metadatos de los siguientes recursos con Data Catalog:
- Modelos del registro de modelos
- Conjuntos de datos
- Instancias de tiendas en línea
- Vistas de funciones
- Grupos de funciones
Integra fuente de datos locales
Para integrar fuentes de datos locales, puedes usar los conectores de Python correspondientes que aportó la comunidad:
- Busca tu fuente de datos en la siguiente tabla.
- Abre su repositorio de GitHub.
- Sigue las instrucciones de configuración en el archivo readme.
| Categoría | Componente | Descripción | Repositorio |
|---|---|---|---|
| RDBMS | mysql-connector | Código de muestra para la fuente de datos de MySQL. | google-datacatalog-mysql-connector |
| postgresql-connector | Código de muestra para la fuente de datos de PostgreSQL. | google-datacatalog-postgresql-connector | |
| sqlserver-connector | Código de muestra para la fuente de datos de SQL Server. | google-datacatalog-sqlserver-connector | |
| redshift-connector | Código de muestra para la fuente de datos de Redshift. | google-datacatalog-redshift-connector | |
| oracle-connector | Código de muestra para la fuente de datos de Oracle | google-datacatalog-oracle-connector | |
| teradata-connector | Código de muestra para la fuente de datos de Teradata. | google-datacatalog-teradata-connector | |
| vertica-connector | Código de muestra para la fuente de datos de Vertica. | google-datacatalog-vertica-connector | |
| greenplum-connector | Código de muestra para la fuente de datos de Greenplum. | google-datacatalog-greenplum-connector | |
| rdbmscsv-connector | Código de muestra para la transferencia de CSV genérica de RDBMS. | google-datacatalog-rdbmscsv-connector | |
| saphana-connector | Código de muestra para la fuente de datos de SAP Hana. | google-datacatalog-saphana-connector | |
| IE | looker-connector | Código de muestra para la fuente de datos de Looker. | google-datacatalog-looker-connector |
| qlik-connector | Código de muestra para la fuente de datos de Qlik Sense. | google-datacatalog-qlik-connector | |
| tableau-connector | Código de muestra para la fuente de datos de Tableau. | google-datacatalog-tableau-connector | |
| Hive | hive-connector | Código de muestra para la fuente de datos de Hive. | google-datacatalog-hive-connector |
| apache-atlas-connector | Código de muestra para la fuente de datos de Apache Atlas. | google-datacatalog-apache-atlas-connector |
Integra fuente de datos no compatibles
Si no encuentras un conector para tu fuente de datos, puedes integrarla manualmente. Para ello, crea grupos de entrada y entradas personalizadas. Para ello, puedes hacer lo siguiente:
- Usa una de las bibliotecas cliente de Data Catalog en uno de los siguientes lenguajes: C#, Go, Java, Node.js, PHP, Python o Ruby.
- O bien compilar manualmente en la API de Data Catalog
Para integrar tus fuentes, primero obtén información sobre entradas y grupos de entradas y, luego, sigue las instrucciones que se indican en Crear entradas personalizadas de Data Catalog para tus fuentes de datos.
¿Qué sigue?
- Obtén más información sobre la administración de identidades y accesos.
- Obtén más información para buscar.
- Ve a la guía de inicio rápido Etiqueta tablas.