Administra entradas y transfiere fuentes personalizadas

En este documento, se describe cómo crear y administrar los tipos y grupos de entradas y las entradas personalizadas para habilitar la integración de fuentes de datos personalizadas en Dataplex.

Una entrada representa un recurso para el que capturas metadatos. Un grupo de entrada es un contenedor para una o más entradas, que se usa para administrar el control de acceso y la ubicación regional. Un tipo de entrada define los metadatos necesarios para las entradas. Los tipos de entrada aportan estructura y reglas a un recurso de entrada de flujo libre y poco definido, lo que permite que las entradas sean extensibles.

Para integrar una fuente de datos personalizada en Dataplex, debes crear una entrada personalizada mediante un tipo de entrada personalizado que se encuentre en un grupo de entradas personalizado. La creación de una entrada personalizada implica los siguientes pasos de alto nivel:

1. Crea un grupo de entrada.
2. Crea un tipo de entrada.
3. Crea una entrada personalizada para el tipo de entrada dentro del grupo de entradas.

Entradas

Una entrada representa un recurso de datos para el que capturas metadatos. Cada entrada es una instancia de un tipo de entrada. Cada operación sobre aspectos de una entrada debe cumplir con los aspectos obligatorios de su tipo de entrada. Por ejemplo, cuando creas una entrada, debes proporcionar valores para todos los tipos de aspecto definidos por el tipo de entrada. No puedes borrar esos aspectos de una entrada que está marcada como required en el tipo de entrada.

Categorías de entradas

• Entradas del sistema: Dataplex crea entradas para los recursos de Google Cloud, como los conjuntos de datos o las tablas de BigQuery. Las entradas que crea Dataplex se denominan entradas del sistema. Dataplex mantiene las entradas del sistema actualizadas de forma automática mediante la sincronización continua de metadatos desde los sistemas de Google Cloud compatibles.

  No puedes modificar los metadatos que se propagan automáticamente (llamados aspectos obligatorios) para las entradas del sistema. Solo puedes agregar y modificar metadatos adicionales para entradas del sistema con aspectos opcionales. Para obtener más información, consulta Categorías de aspectos.

• Entradas personalizadas: las entradas que puedes crear y administrar para los recursos personalizados se denominan entradas personalizadas. Los recursos personalizados son los recursos en servicios que no son de Google y que están alojados en Google Cloud o de forma externa (por ejemplo, de forma local).

Grupos de entrada

Un grupo de entrada es el contenedor de una o más entradas. Puedes usar grupos de entrada para administrar el control de acceso y la ubicación regional de las entradas. Cada grupo de entrada pertenece a un proyecto.

Categorías de grupos de entrada

• Grupos de entrada del sistema: Para los recursos de Google Cloud, Dataplex crea automáticamente grupos de entrada para cada sistema en cada proyecto y ubicación donde se encuentren los recursos. Por ejemplo, @bigquery es el grupo de entrada del sistema para BigQuery.

• Grupos de entrada personalizados: Son los grupos de entrada que creas para los recursos personalizados.

Tipos de entrada

Los tipos de entrada definen los metadatos necesarios para las entradas de este tipo mediante un conjunto de tipos de aspecto obligatorios.

Puedes especificar los tipos de aspectos obligatorios solo en las entradas y no en las columnas de una entrada. Cuando creas una entrada de un tipo específico, debes proporcionar valores para todos los tipos de aspecto obligatorios que especifica el tipo de entrada.

Los tipos de aspectos obligatorios a los que se hace referencia en un tipo de entrada deben pertenecer al mismo proyecto que el tipo de entrada.

Categorías de tipos de entradas

• Tipos de entradas personalizados: Son los tipos de entradas que creas y administras. Puedes usar estos tipos de entradas para crear entradas personalizadas.

• Tipos de entradas del sistema: Dataplex proporciona estos tipos de entradas de forma predeterminada. Los tipos de entrada del sistema se clasifican aún más en reutilizables y restringidos.

  En la siguiente tabla, se describen las categorías de los tipos de entrada del sistema y la lista de tipos de entrada que Dataplex proporciona para cada una de las categorías:

  Categoría del tipo de entrada del sistema	Descripción	Tipos de entrada que proporciona Dataplex
  Tipo de entrada del sistema reutilizable	Puedes usar este tipo de entrada para crear entradas personalizadas.	generic
  Tipo de entrada de sistema restringido	Estas se reservan para el uso del sistema, como la creación de entradas para los recursos de Google Cloud. No puedes usar estos tipos de entradas para crear entradas, pero puedes editar entradas de estos tipos para agregar aspectos opcionales.	bigquery-connection bigquery-dataset bigquery-model bigquery-routine bigquery-table bigquery-view cloudsql-database cloudsql-instance cloudsql-schema cloudsql-table cloudsql-view sql-access storage storage-bucket storage-folder

Nota: Las entradas del tipo entrygroup representan grupos de entrada y se crean automáticamente cuando se crea un grupo de entrada. Puedes buscar entradas de este tipo. A diferencia de las entradas normales, no puedes borrar estas entradas. En su lugar, debes borrar el grupo de entrada.

Puedes crear un tipo de entrada personalizado en una ubicación regional específica o como un recurso global. Los tipos de entrada del sistema siempre son globales. La ubicación de un tipo de entrada afecta el alcance de su aplicabilidad. Para obtener más información, consulta Restricciones de proyectos y ubicaciones.

Antes de comenzar

Antes de administrar entradas y transferir fuentes de datos personalizadas, asegúrate de haber completado las tareas que se describen en esta sección.

Roles obligatorios

Si quieres obtener los permisos que necesitas para crear y administrar entradas, pídele a tu administrador que te otorgue los siguientes roles de IAM en el recurso:

• Conjunto completo de permisos sobre entradas, grupos y tipos de entradas: Administrador de catálogo de Dataplex (roles/dataplex.catalogAdmin)
• Crear y administrar todos los recursos de Dataplex Catalog, incluidas las entradas, los grupos y los tipos de entradas: Editor del catálogo de Dataplex (roles/dataplex.catalogEditor)
• Acceso completo a las operaciones relacionadas con entradas: Propietario de entradas de Dataplex (roles/dataplex.entryOwner)
• Visualiza entradas, grupos de entradas y tipos de entradas, y las políticas de IAM asociadas a ellas: Visualizador de catálogos de Dataplex (roles/dataplex.catalogViewer)
• Usa los tipos de aspecto para crear aspectos de esos tipos cuando crees entradas personalizadas: Usuario de tipo de aspecto de Dataplex (roles/dataplex.aspectTypeUser)
• Crea y administra grupos de entrada: Propietario del grupo de entrada de Dataplex (roles/dataplex.entryGroupOwner)
• Crea y administra tipos de entradas: Propietario de tipos de entradas de Dataplex (roles/dataplex.entryTypeOwner)
• Usa los tipos de entrada para crear y modificar entradas de esos tipos: Usuario de tipo de entrada de Dataplex (roles/dataplex.entryTypeUser)

Si quieres obtener más información para otorgar roles, consulta Administra el acceso.

Es posible que también puedas obtener los permisos necesarios a través de funciones personalizadas o, también, otras funciones predefinidas.

Nota: Cuando usas un tipo de entrada para crear y modificar entradas de ese tipo, si el tipo de entrada y la entrada están en proyectos diferentes, debes otorgar la función de IAM Usuario de tipo de entrada de Dataplex (roles/dataplex.entryTypeUser) en el proyecto en el que se encuentra el tipo de entrada.

Para obtener más información, consulta Funciones de IAM de Dataplex.

Habilita la API

Habilitar la API de Dataplex en tu proyecto de Dataplex

Habilitar la API

Crea un grupo de entrada

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Grupos de entrada > Personalizado.

3. Haz clic en Crear.

4. En la ventana Crear grupo de entrada, ingresa lo siguiente:

   • Opcional: En el campo Nombre visible (Display name), ingresa un nombre visible para tu grupo de entrada.
   • ID del grupo de entrada: Ingresa un ID único para tu grupo de entrada.
   • Opcional: En el campo Descripción, ingresa una descripción para tu grupo de entrada.
   • Ubicación: Selecciona una ubicación. No puedes modificar la ubicación después de crear el grupo de entrada.

5. Opcional: En la sección Etiquetas, agrega etiquetas arbitrarias como pares clave-valor a tus recursos:

   1. Haz clic en Agregar etiqueta.
   2. Ingresa una clave en el campo Clave.
   3. En el campo Valor, ingresa un valor para la clave.
   4. Para agregar más etiquetas, haz clic en Agregar etiqueta y repite los pasos.

6. Haz clic en Guardar.

REST

Para crear un grupo de entrada, usa el método entryGroups.Create.

Crea un tipo de entrada

Para transferir una fuente nueva, debes crear un tipo de entrada.

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Tipos de entrada > Personalizado.

3. Haz clic en Crear.

4. En la ventana Crear tipo de entrada, ingresa lo siguiente:

   1. Opcional: En el campo Nombre visible (Display name), ingresa un nombre visible para tu tipo de entrada.
   2. ID de tipo de entrada: Ingresa un ID único para tu tipo de entrada. No puedes modificar esto después de crear el tipo de entrada.
   3. Opcional: En el campo Descripción, ingresa una descripción para tu tipo de entrada.
   4. Opcional: En el campo Sistema, ingresa el sistema de origen.
   5. Opcional: En el campo Plataforma, ingresa la plataforma a la que pertenecen las entradas de este tipo. Por ejemplo, Google Cloud
   6. En el campo Ubicación, selecciona una ubicación. No puedes modificar la ubicación después de crear el tipo de entrada.

5. Opcional: En la sección Alias de tipo, define el tipo de datos para tu tipo de entrada. El tipo de datos se puede usar para consultar entradas.

   1. Haz clic en Agregar alias de tipo.
   2. En el campo Alias de tipo, selecciona un tipo de datos. Puedes agregar varios alias de tipo.

6. En la sección Tipos de aspecto obligatorios, selecciona los tipos de aspecto obligatorios para este tipo de entrada. Cada entrada que se crea según este tipo tendrá asignados estos tipos de aspectos obligatorios.

   1. Haz clic en Elegir tipo de aspecto.
   2. En la ventana Seleccionar tipos de aspecto, selecciona el tipo de aspecto.
   3. Haz clic en Seleccionar.

   No puedes borrar los aspectos obligatorios de una entrada.

7. Opcional: En la sección Etiquetas, agrega etiquetas arbitrarias como pares clave-valor a tus recursos:

   1. Haz clic en Agregar etiqueta.
   2. Ingresa una clave en el campo Clave.
   3. En el campo Valor, ingresa un valor para la clave.
   4. Para agregar más etiquetas, haz clic en Agregar etiqueta y repite los pasos.

8. Haz clic en Guardar.

REST

Para crear un tipo de entrada, usa el método entryType.create.

Crea una entrada personalizada

Antes de crear una entrada personalizada, asegúrate de haber creado un grupo de entrada y un tipo de entrada.

Console

No se admite la creación de una entrada personalizada en la consola de Google Cloud. En su lugar, usa Google Cloud CLI o la API.

REST

Para crear una entrada personalizada, usa el método entries.create.

Después de crear una entrada personalizada, puedes agregarle aspectos. Para obtener más información, consulta Agrega aspectos a una entrada.

Administrar grupos de entrada

En esta sección, se describe cómo ver la lista de grupos de entrada disponibles, ver los detalles, y actualizar y borrar grupos de entrada.

Nota: Los grupos de entrada que se provienen de Data Catalog tienen el sufijo (Data Catalog). No puedes editar ni borrar estos grupos de entradas, pero puedes administrar sus permisos.

Consulta la lista de grupos de entrada disponibles

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Grupos de entrada.

   Puedes acceder a la lista de grupos de entrada del sistema y personalizados. Para obtener más información, consulta la sección categorías de grupos de entrada de este documento.

   En la pestaña Personalizado, los grupos de entradas con el sufijo (Data Catalog) son los grupos de entradas que se originan de Data Catalog.

3. Para ver la lista de grupos de entrada en todos los proyectos, haz clic en la pestaña Personalizada y, luego, en el botón de activación Mostrar desde todos los proyectos.

   Nota: Si el botón de activación Mostrar desde todos los proyectos está activado, no puedes editar ni borrar un grupo de entrada de forma directa. En su lugar, debes hacer clic en el grupo de entrada para abrir la página de detalles del grupo de entrada y, luego, editarlo o borrarlo.

REST

Para ver la lista de grupos de entrada disponibles, usa el método entryGroups.list.

Ver detalles de un grupo de entrada

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Grupos de entrada.

3. Haz clic en el grupo de entradas del que deseas ver los detalles.

   Se abrirá la página de detalles del grupo de entrada. Puedes acceder a información como el nombre visible, el ID del grupo de entrada, la descripción, el ID del proyecto, la ubicación, las etiquetas, la fecha de creación y la fecha de la última modificación del grupo de entrada seleccionado.

4. Si el grupo de entradas proviene de Data Catalog, indicado con el sufijo (Data Catalog), puedes ver los detalles en las interfaces de Data Catalog y Dataplex Catalog. Para ello, en la página de detalles del grupo de entrada, selecciona Data Catalog o Dataplex Catalog.

5. Para ver la lista de 10 entradas relacionadas que se crearon recientemente, haz clic en la pestaña Entradas de muestra.

REST

Para recuperar los detalles de un grupo de entrada, usa el método entryGroups.get.

Actualiza un grupo de entrada

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Grupos de entrada > Personalizado.

3. Haz clic en el grupo de entradas que deseas actualizar.

4. En la página Detalles del grupo de entrada, haz clic en Editar.

5. Edita el nombre visible, la descripción y las etiquetas según sea necesario.

6. Haz clic en Guardar.

REST

Para actualizar un grupo de entrada, usa el método entryGroups.patch.

Borra un grupo de entradas

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Grupos de entrada > Personalizado.

3. Haz clic en el grupo de entradas que quieres borrar.

4. En la página Detalles del grupo de entrada, haz clic en Borrar. Confirma cuando se te solicite.

REST

Para borrar un grupo de entrada, usa el método entryGroups.delete.

Administrar tipos de entradas

En esta sección, se describe cómo ver la lista de grupos de entrada disponibles, ver los detalles, actualizar y borrar tipos de entrada.

Consulta la lista de tipos de entradas disponibles

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Tipos de entrada.

   Puedes acceder a la lista de tipos de entrada del sistema y personalizados. Para obtener más información, consulta la sección categorías de tipos de entrada de este documento.

3. Para ver la lista de tipos de entrada en todos los proyectos, haz clic en la pestaña Personalizada y, luego, en el botón de activación Mostrar desde todos los proyectos.

   Nota: Si el botón de activación Mostrar desde todos los proyectos está activado, no puedes editar ni borrar un tipo de entrada directamente. En su lugar, debes hacer clic en el tipo de entrada para abrir su página de detalles y, luego, editarla o borrarla.

REST

Para ver la lista de los tipos de entrada disponibles, usa el método entryTypes.list.

Cómo ver los detalles de un tipo de entrada

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Tipos de entrada > Personalizado.

3. Haz clic en el tipo de entrada de la que deseas ver los detalles.

   Se abrirá la página de detalles del tipo de entrada. Puedes acceder a información como el nombre visible, el ID del tipo de entrada, la descripción, el ID del proyecto, la ubicación, la plataforma, el sistema, los alias de tipo, las etiquetas, la fecha de creación y la fecha de la última modificación del tipo de entrada seleccionado.

4. Para ver la lista de 10 entradas relacionadas que se crearon recientemente, haz clic en la pestaña Entradas de muestra.

REST

Para recuperar los detalles de un tipo de entrada, usa el método entryTypes.get.

Cómo actualizar un tipo de entrada

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Tipos de entrada > Personalizado.

3. Haz clic en el tipo de entrada que quieres actualizar.

4. En la página Detalles del tipo de entrada, haz clic en Editar.

5. Edita el nombre visible, la descripción, el sistema, la plataforma, los alias de tipo y las etiquetas, según sea necesario.

6. Haz clic en Guardar.

REST

Para actualizar un tipo de entrada, usa el método entryTypes.patch.

Cómo borrar un tipo de entrada

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Tipos de entrada > Personalizado.

3. Haz clic en el tipo de entrada que quieres borrar.

4. En la página Detalles del tipo de entrada, haz clic en Borrar. Confirma cuando se te solicite.

REST

Para borrar un tipo de entrada, usa el método entryTypes.delete.

¿Qué sigue?

• Aprende a buscar recursos de datos en Dataplex Catalog.
• Obtén más información para administrar aspectos y enriquecer metadatos.
• Obtén más información sobre Dataplex Catalog.