En este documento, se proporciona una descripción general de las canalizaciones de conectividad administradas que puedes usar para importar metadatos de fuentes de terceros a Dataplex.
La conectividad administrada te permite importar metadatos a Dataplex a gran escala. Una canalización de conectividad administrada extrae metadatos de tus fuentes de datos y, luego, los importa a Dataplex. Si es necesario, la canalización también crea grupos de entradas de Dataplex Catalog en tu proyectoGoogle Cloud . Puedes organizar los flujos de trabajo y programar las tareas de importación según tus requisitos.
Creas tus propios conectores personalizados para extraer metadatos de fuentes de terceros. Por ejemplo, puedes compilar un conector para extraer metadatos de fuentes como MySQL, SQL Server, Oracle, Snowflake, Databricks y otras. Si deseas obtener los pasos para compilar un conector personalizado de muestra, consulta Desarrolla un conector personalizado para la importación de metadatos.
Si deseas conocer los pasos para ejecutar una canalización de conectividad administrada, consulta Cómo importar metadatos de una fuente personalizada con flujos de trabajo.
Cómo funciona la conectividad administrada
En el siguiente diagrama, se muestra una canalización de conectividad administrada.
En términos generales, la conectividad administrada funciona de la siguiente manera:
Compilas un conector para tu fuente de datos.
El conector debe ser una imagen de Artifact Registry que se pueda ejecutar en Dataproc Serverless.
Ejecutas la canalización de conectividad administrada en Workflows, una plataforma de orquestación.
La canalización de conectividad administrada realiza las siguientes acciones:
- Crea un grupo de entrada de destino según tu configuración, si el grupo de entrada aún no existe.
- Ejecuta el conector. El conector extrae los metadatos de tu fuente de datos y genera un archivo de importación de metadatos que se puede importar a Dataplex Catalog.
- Supervisa el progreso de la extracción de metadatos.
- Ejecuta un trabajo de importación de metadatos para importarlos a Dataplex Catalog.
- Supervisa el progreso del trabajo de importación de metadatos.
La canalización de conectividad administrada usa Dataproc Serverless para ejecutar el conector y los métodos de la API de importación de metadatos de Dataplex para ejecutar la tarea de importación de metadatos.
Los metadatos que importas consisten en entradas de Dataplex Catalog y sus aspectos. Para obtener más información sobre los metadatos de Dataplex Catalog, consulta Descripción general de Dataplex Catalog.
¿Qué sigue?
- Importa metadatos de una fuente personalizada con Workflows
- Desarrolla un conector personalizado para la importación de metadatos
- Importa metadatos con una canalización personalizada