Gestionar entradas e ingerir fuentes personalizadas

En este documento se describe cómo crear y gestionar tipos de entradas, grupos de entradas y entradas personalizadas para habilitar la integración de fuentes de datos personalizadas en Dataplex Universal Catalog.

Una entrada representa un recurso del que capturas metadatos. Un grupo de entradas es un contenedor de una o varias entradas que se usa para gestionar el control de acceso y la ubicación regional. Un tipo de entrada define los metadatos necesarios para las entradas. Los tipos de entrada aportan estructura y reglas a un recurso de entrada de flujo libre y poco definido, lo que permite que las entradas sean extensibles.

Para integrar una fuente de datos personalizada en Dataplex Universal Catalog, crea una entrada personalizada con un tipo de entrada personalizado que esté en un grupo de entradas personalizado. Para crear una entrada personalizada, debes seguir estos pasos generales:

  1. Crea un grupo de entradas.
  2. Crea un tipo de entrada.
  3. Crea una entrada personalizada para el tipo de entrada del grupo de entradas.

Entradas

Una entrada representa un recurso de datos del que se capturan metadatos. Cada entrada es una instancia de un tipo de entrada. Cada operación en los aspectos de una entrada debe cumplir los aspectos necesarios de su tipo de entrada. Por ejemplo, cuando crea una entrada, debe proporcionar valores para todos los tipos de aspectos definidos por el tipo de entrada. No puedes eliminar los aspectos de una entrada que estén marcados como required en el tipo de entrada.

Categorías de entradas

  • Entradas del sistema: Universal Catalog de Dataplex crea entradas para Google Cloud recursos, como conjuntos de datos o tablas de BigQuery. Las entradas que crea Dataplex Universal Catalog se denominan entradas del sistema. Dataplex Universal Catalog mantiene automáticamente las entradas del sistema actualizadas mediante la sincronización continua de metadatos de los sistemas Google Cloud compatibles.

    No puedes modificar los metadatos que se rellenan automáticamente (llamados aspectos obligatorios) de las entradas del sistema. Solo puedes añadir y modificar metadatos adicionales de entradas del sistema mediante aspectos opcionales. Para obtener más información, consulta Categorías de aspectos.

  • Entradas personalizadas: son las entradas que puedes crear y gestionar para recursos personalizados. Los recursos personalizados son los recursos de servicios que no son de Google y que están alojados en Google Cloud o externamente (por ejemplo, en instalaciones locales).

Grupos de entrada

Un grupo de entradas es un contenedor de una o varias entradas. Puedes usar grupos de entradas para gestionar el control de acceso y la ubicación regional de las entradas. Cada grupo de entradas pertenece a un proyecto.

Categorías de grupos de entradas

  • Grupos de entradas del sistema: para los Google Cloud recursos, Dataplex Universal Catalog crea automáticamente grupos de entradas para cada sistema de cada proyecto y ubicación en los que se encuentran los recursos. Por ejemplo, @bigquery es el grupo de entradas del sistema de BigQuery.

  • Grupos de entradas personalizados: grupos de entradas que crea para recursos personalizados.

Tipos de entrada

Los tipos de entrada definen los metadatos necesarios para las entradas de este tipo mediante un conjunto de tipos de aspectos obligatorios.

Solo puede especificar los tipos de aspecto necesarios en las entradas, no en las columnas de una entrada. Cuando creas una entrada de un tipo específico, debes proporcionar valores para todos los tipos de aspectos obligatorios que se especifican en el tipo de entrada.

Los tipos de aspectos obligatorios a los que se hace referencia en un tipo de entrada deben pertenecer al mismo proyecto que el tipo de entrada.

Categorías de tipos de entrada

  • Tipos de entrada personalizados: son los tipos de entrada que creas y gestionas. Puedes usar estos tipos de entrada para crear entradas personalizadas.

  • Tipos de entrada del sistema: Dataplex Universal Catalog proporciona estos tipos de entrada de forma predeterminada. Los tipos de entrada del sistema se clasifican en reutilizables y restringidos.

    En la siguiente tabla se describen las categorías de tipos de entrada del sistema y la lista de tipos de entrada que proporciona el catálogo universal de Dataplex para cada una de las categorías:

    Categoría de tipo de entrada del sistema Descripción Tipos de entradas que proporciona Dataplex Universal Catalog
    Tipo de entrada de sistema reutilizable Puedes usar este tipo de entrada para crear entradas personalizadas.
    • generic
    Tipo de entrada del sistema restringido Se reservan para el uso del sistema, como la creación de entradas para Google Cloud recursos.

    No puedes usar estos tipos de entrada para crear entradas, pero sí puedes editar entradas de estos tipos para añadir aspectos opcionales.     		Entre las que se incluyen las siguientes:
    • analytics-hub-exchange
    • analytics-hub-listing
    • aspecttype
    • bigquery-dataset
    • bigquery-table
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-table
    • entrygroup
    • entrytype
    • sql-access
    • storage
    • storage-bucket
    • storage-folder

Puede crear un tipo de entrada personalizado en una ubicación regional específica o como recurso global. La ubicación de un tipo de entrada influye en el ámbito de su aplicabilidad. Para obtener más información, consulta Restricciones de proyectos y ubicaciones.

Los tipos de entrada del sistema siempre son globales. Los tipos de entrada del sistema se almacenan en un proyecto gestionado por Google con el ID de proyecto 655216118709. Por ejemplo, projects/655216118709/locations/global/entryTypes/bigquery-table.

Antes de empezar

Antes de gestionar las entradas e ingerir fuentes de datos personalizadas, asegúrese de que ha completado las tareas descritas en esta sección.

Roles obligatorios

Para obtener los permisos que necesitas para crear y gestionar entradas, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos en el recurso:

Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.

Para obtener más información, consulta los roles de gestión de identidades y accesos de Dataplex Universal Catalog.

Activar la API

Habilita la API de Dataplex en tu proyecto de Dataplex Universal Catalog.

Activar la API

Crear un grupo de entradas

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haga clic en la pestaña Grupos de entrada > Personalizado.

  3. Haz clic en Crear grupo de entradas (Dataplex Universal Catalog).

  4. En la ventana Crear grupo de entradas, introduzca lo siguiente:

    1. Opcional: En el campo Nombre visible, introduce un nombre visible para el grupo de entradas.
    2. ID de grupo de entrada: introduce un ID único para tu grupo de entrada.
    3. Opcional: En el campo Descripción, escribe una descripción del grupo de entradas.
    4. Ubicación: selecciona una ubicación. No puedes modificar la ubicación después de crear el grupo de entradas.

  5. Opcional: En la sección Etiquetas, añade etiquetas arbitrarias como pares clave-valor a los recursos:

    1. Haz clic en Añadir etiqueta.
    2. En el campo Clave, introduce una clave.
    3. En el campo Valor, introduce un valor para la clave.
    4. Para añadir más etiquetas, haz clic en Añadir etiqueta y repite los pasos.

  6. Haz clic en Guardar.

gcloud

Para crear un grupo de entradas, usa el comando gcloud dataplex entry-groups create.

REST

Para crear un grupo de entradas, usa el método entryGroups.Create.

Crear un tipo de entrada

Para ingerir una nueva fuente, debes crear un tipo de entrada.

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haz clic en la pestaña Tipos de entrada > Personalizado.

  3. Haz clic en Crear.

  4. En la ventana Crear tipo de entrada, introduzca lo siguiente:

    1. Opcional: En el campo Nombre visible, introduce un nombre visible para el tipo de entrada.
    2. ID de tipo de entrada: introduzca un ID único para el tipo de entrada. No puedes modificarlo después de crear el tipo de entrada.
    3. Opcional: En el campo Descripción, escribe una descripción del tipo de entrada.
    4. Opcional: En el campo Sistema, introduzca el sistema de origen.
    5. Opcional: En el campo Plataforma, introduce la plataforma a la que pertenecen las entradas de este tipo. Por ejemplo, Google Cloud.
    6. En el campo Ubicación, selecciona una ubicación. No puedes modificar la ubicación después de crear el tipo de entrada.

  5. Opcional: En la sección Alias de tipo, define el tipo de datos de tu tipo de entrada. El tipo de datos se puede usar para consultar entradas.

    1. Haz clic en Añadir alias de tipo.
    2. En el campo Alias de tipo, selecciona un tipo de datos. Puedes añadir varios alias de tipo.

  6. En la sección Tipos de aspecto obligatorios, selecciona los tipos de aspecto que son obligatorios para este tipo de entrada. Cada entrada que se cree a partir de este tipo tendrá asignados estos tipos de aspectos obligatorios. La lista de tipos de aspectos obligatorios no se puede modificar después de crear el tipo de entrada.

    1. Haz clic en Elegir tipo de aspecto.
    2. En la ventana Seleccionar tipos de aspecto, elige el tipo de aspecto.
    3. Haz clic en Seleccionar.

    No puedes eliminar los aspectos obligatorios de una entrada.

  7. Opcional: En la sección Etiquetas, añade etiquetas arbitrarias como pares clave-valor a los recursos:

    1. Haz clic en Añadir etiqueta.
    2. En el campo Clave, introduce una clave.
    3. En el campo Valor, introduce un valor para la clave.
    4. Para añadir más etiquetas, haz clic en Añadir etiqueta y repite los pasos.

  8. Haz clic en Guardar.

gcloud

Para crear un tipo de entrada, usa el comando gcloud dataplex entry-types create.

REST

Para crear un tipo de entrada, usa el método entryTypes.create.

Crear una entrada personalizada

Antes de crear una entrada personalizada, asegúrate de haber creado un grupo de entradas y un tipo de entrada.

Consola

No se puede crear una entrada personalizada con la consola de Google Cloud . En su lugar, usa Google Cloud CLI o la API.

gcloud

Para crear una entrada personalizada, usa el comando gcloud dataplex entries create.

REST

Para crear una entrada personalizada, usa el método entries.create.

Después de crear una entrada personalizada, puedes añadirle aspectos. Para obtener más información, consulta Añadir aspectos a una entrada.

Gestionar grupos de entrada

En esta sección se describe cómo ver la lista de grupos de entradas disponibles, ver detalles, actualizar y eliminar grupos de entradas.

Ver la lista de grupos de entrada disponibles

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haga clic en la pestaña Grupos de entradas.

    En esta página se enumeran todos los grupos de entradas de Dataplex Universal Catalog y Data Catalog disponibles.

  3. Para ver los grupos de entradas personalizadas, haga clic en la pestaña Personalizado. En la pestaña Personalizado, la columna Fuente del catálogo muestra dónde se encuentra el recurso: Dataplex Universal Catalog o Data Catalog.

    Para ver los grupos de entradas del sistema, haz clic en la pestaña Sistema.

    Para obtener más información sobre los grupos de entradas personalizados y del sistema, consulta la sección Categorías de grupos de entradas de este documento.

  4. Opcional: Para ver la lista de grupos de entradas del proyecto seleccionado, haz clic en la pestaña Personalizado y, a continuación, en el interruptor Mostrar de todos los proyectos para desactivarlo.

    El interruptor Mostrar de todos los proyectos está activado de forma predeterminada y la lista incluye recursos de Dataplex Universal Catalog de la organización seleccionada y recursos de Data Catalog de todas las organizaciones a las que puedes acceder.

gcloud

Para ver la lista de grupos de entrada disponibles, usa el comando gcloud dataplex entry-groups list.

REST

Para ver la lista de grupos de entradas disponibles, usa el método entryGroups.list.

Ver los detalles de un grupo de entradas

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haga clic en la pestaña Grupos de entradas.

  3. Haz clic en el grupo de entradas del que quieras ver los detalles.

    Se abrirá la página de detalles del grupo de entradas. Puedes acceder a información como el nombre visible, el ID del grupo de entradas, la descripción, el ID del proyecto, la ubicación, las etiquetas, la fecha de creación y la fecha de la última modificación del grupo de entradas seleccionado.

    En el caso de los grupos de entradas de Data Catalog, puedes ver los detalles en las interfaces web de Data Catalog y Dataplex Universal Catalog. Para ello, en la página de detalles del grupo de entradas, haz clic en Data Catalog o en Dataplex Universal Catalog.

    En la sección Entradas de ejemplo se muestran 10 entradas relacionadas creadas recientemente en el grupo de entradas seleccionado.

  4. Opcional: Para ver todas las entradas relacionadas con un grupo de entrada, en la sección Entradas de ejemplo, haz clic en Mostrar todas las entradas relacionadas en la búsqueda.

gcloud

Para obtener los detalles de un grupo de entradas, usa el comando gcloud dataplex entry-groups describe.

REST

Para obtener los detalles de un grupo de entradas, utiliza el método entryGroups.get.

Actualizar un entryGroup

Puedes actualizar un grupo de entradas personalizado. Los grupos de entrada del sistema no se pueden modificar.

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haga clic en la pestaña Grupos de entrada > Personalizado.

  3. Haz clic en el grupo de entradas que quieras actualizar.

  4. En la página Detalles del grupo de entradas, haga clic en Editar.

  5. Edita el nombre visible, la descripción y las etiquetas según sea necesario.

  6. Haz clic en Guardar.

gcloud

Para actualizar un grupo de entradas, usa el comando gcloud dataplex entry-groups update.

REST

Para actualizar un grupo de entradas, usa el método entryGroups.patch.

Eliminar un grupo de entradas

Puedes eliminar un grupo de entradas personalizado. Los grupos de entradas del sistema no se pueden eliminar.

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haga clic en la pestaña Grupos de entrada > Personalizado.

  3. Haz clic en el grupo de entradas que quieras eliminar.

  4. En la página Detalles del grupo de entradas, haz clic en Eliminar. Confirma la acción cuando se te solicite.

gcloud

Para eliminar un grupo de entradas, usa el comando gcloud dataplex entry-groups delete.

REST

Para eliminar un grupo de entradas, utiliza el método entryGroups.delete.

Gestionar tipos de entradas

En esta sección se describe cómo ver la lista de grupos de entradas disponibles, ver detalles, actualizar y eliminar tipos de entradas.

Ver la lista de tipos de entrada disponibles

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haz clic en la pestaña Tipos de entrada.

  3. Para ver los tipos de entrada personalizados, haga clic en la pestaña Personalizado. Para ver los tipos de entrada del sistema, haz clic en la pestaña Sistema. Para obtener más información sobre los tipos de entrada personalizados y del sistema, consulta la sección Categorías de tipos de entrada de este documento.

  4. Opcional: Para ver la lista de tipos de entrada del proyecto seleccionado, haz clic en la pestaña Personalizado y, a continuación, en el interruptor Mostrar de todos los proyectos para desactivarlo.

    El interruptor Mostrar de todos los proyectos está activado de forma predeterminada y la lista incluye tipos de entrada de todos los proyectos.

gcloud

Para ver la lista de tipos de entrada disponibles, usa el comando gcloud dataplex entry-types list.

REST

Para ver la lista de tipos de entrada disponibles, usa el método entryTypes.list.

Ver los detalles de un tipo de entrada

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haz clic en la pestaña Tipos de entrada > Personalizado.

  3. Haga clic en el tipo de entrada del que quiera ver los detalles.

    Se abrirá la página de detalles del tipo de entrada. Puedes acceder a información como el nombre visible, el ID del tipo de entrada, la descripción, el ID del proyecto, la ubicación, la plataforma, el sistema, los alias de tipo, las etiquetas, la fecha de creación y la fecha de la última modificación del tipo de entrada seleccionado.

  4. Opcional: Para ver la lista de las 10 entradas relacionadas creadas recientemente, haz clic en la pestaña Entradas de ejemplo.

  5. Opcional: Para ver todas las entradas relacionadas con un grupo de entradas, haz clic en la pestaña Entradas de ejemplo y, a continuación, en Mostrar todas las entradas relacionadas en la búsqueda.

gcloud

Para obtener los detalles de un tipo de entrada, usa el comando gcloud dataplex entry-types describe.

REST

Para obtener los detalles de un tipo de entrada, usa el método entryTypes.get.

Actualizar un tipo de entrada

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haz clic en la pestaña Tipos de entrada > Personalizado.

  3. Haga clic en el tipo de entrada que quiera actualizar.

  4. En la página Detalles del tipo de entrada, haz clic en Editar.

  5. Edita el nombre visible, la descripción, el sistema, la plataforma, los alias de tipo y las etiquetas según sea necesario.

  6. Haz clic en Guardar.

gcloud

Para actualizar un tipo de entrada, usa el comando gcloud dataplex entry-types update.

REST

Para actualizar un tipo de entrada, usa el método entryTypes.patch.

Eliminar un tipo de entrada

Consola

  1. En la Google Cloud consola, ve a la página Catálogo de Dataplex Universal Catalog.

    Ir a Catálogo

  2. Haz clic en la pestaña Tipos de entrada > Personalizado.

  3. Haz clic en el tipo de entrada que quieras eliminar.

  4. En la página Detalles del tipo de entrada, haz clic en Eliminar. Confirma la acción cuando se te solicite.

gcloud

Para eliminar un tipo de entrada, usa el comando gcloud dataplex entry-types delete.

REST

Para eliminar un tipo de entrada, usa el método entryTypes.delete.

Siguientes pasos