Administra entradas y transfiere fuentes personalizadas

En este documento, se describe cómo crear y administrar tipos y grupos de entradas, y entradas personalizadas para habilitar la integración de fuentes de datos personalizados en Dataplex

Una entrada representa un recurso para el que capturas metadatos. Un grupo de entrada es un contenedor para una o más entradas, usado para administrar el control de acceso y los ubicación. Un tipo de entrada define los metadatos necesarios para las entradas. Los tipos de entrada aportan estructura y reglas a un recurso de entrada de flujo libre y definido de forma imprecisa, lo que permite que las entradas sean extensibles.

Para integrar una fuente de datos personalizada en Dataplex, crea una entrada personalizada con un tipo de entrada personalizada que se encuentra en un grupo de entrada personalizado. La creación de una entrada personalizada implica los siguientes pasos de alto nivel:

1. Crea un grupo de entrada.
2. Crea un tipo de entrada.
3. Crea una entrada personalizada para el tipo de entrada dentro del grupo de entradas.

Entradas

Una entrada representa un recurso de datos para el que capturas metadatos. Cada entrada es una instancia de un tipo de entrada. Cada operación sobre los aspectos de una entrada debe cumplan con los aspectos obligatorios de su tipo de entrada. Por ejemplo, cuando creas una entrada, debes proporcionar valores para todos los tipos de aspectos definidos por el tipo de entrada. No puedes borrar esos aspectos de una entrada que están marcados como required en el tipo de entrada.

Categorías de entradas

• Entradas del sistema: Dataplex crea entradas para recursos de Google Cloud, como conjuntos de datos o tablas de BigQuery. Las entradas que Las creaciones de Dataplex se denominan entradas del sistema. Dataplex mantiene las entradas del sistema actualizadas automáticamente mediante metadatos continuos y la sincronización desde los sistemas de Google Cloud compatibles.

  No puedes modificar los metadatos que se propagan automáticamente (llamados aspectos requeridos) para las entradas del sistema. Solo puedes agregar y modificar metadatos adicionales para las entradas del sistema mediante el uso de aspectos opcionales. Para obtener más información, consulta Categorías de aspectos.

• Entradas personalizadas: Entradas que puedes crear y administrar los recursos personalizados se llaman entradas personalizadas. Los recursos personalizados son los recursos de servicios que no son de Google que se alojan en Google Cloud o de forma externa (por ejemplo, de forma local).

Grupos de entrada

Un grupo de entrada es el contenedor de una o más entradas. Puedes usar grupos de entradas para administrar el control de acceso y la ubicación regional de las entradas. Cada grupo de entradas pertenece a un proyecto.

Categorías de grupos de entrada

• Grupos de entradas del sistema: En el caso de los recursos de Google Cloud, Dataplex crea automáticamente grupos de entradas para cada sistema en cada proyecto y ubicación donde se encuentran los recursos. Por ejemplo, @bigquery es la entrada del sistema. para BigQuery.

• Grupos de entrada personalizados: Son los grupos de entradas que creas para los recursos personalizados.

Tipos de entrada

Los tipos de entrada definen los metadatos necesarios para las entradas de este tipo con un conjunto de los tipos de aspecto requeridos.

Puedes especificar los tipos de aspecto requeridos solo en las entradas, no en el columnas de una entrada. Cuando creas una entrada de un tipo de entrada específico, debes proporcionar valores para todos los tipos de aspectos requeridos que especifique el tipo de entrada.

Los tipos de aspecto obligatorios a los que se hace referencia en un tipo de entrada deben pertenecer al mismo proyecto que el tipo de entrada.

Categorías de tipos de entradas

• Tipos de entrada personalizados: Son los tipos de entrada que creas y administras. Puedes usar estos tipos de entrada para crear entradas personalizadas.

• Tipos de entradas del sistema: Dataplex proporciona estos tipos de entradas de forma predeterminada. Los tipos de entradas del sistema se clasifican en reutilizables y restringidos.

  En la siguiente tabla, se describen las categorías de tipos de entradas del sistema y la lista de tipos de entradas que proporciona Dataplex para cada una de las categorías:

  Categoría del tipo de entrada del sistema	Descripción	Tipos de entrada que proporciona Dataplex
  Tipo de entrada del sistema reutilizable	Puedes usar este tipo de entrada para crear entradas personalizadas.	generic
  Tipo de entrada del sistema restringido	Están reservados para uso del sistema, como la creación de entradas para recursos de Google Cloud. No puedes usar estos tipos de entradas para crear entradas, pero puedes editar entradas de estos tipos de entradas para agregar aspectos opcionales.	bigquery-connection bigquery-dataset bigquery-model bigquery-routine bigquery-table bigquery-view cloudsql-database cloudsql-instance cloudsql-schema cloudsql-table cloudsql-view sql-access storage storage-bucket storage-folder

Nota: Las entradas del tipo entrygroup representan grupos de entradas y se crean automáticamente cuando se crea un grupo de entradas. Puedes buscar entradas de este tipo. A diferencia de las entradas normales, no puedes borrarlas. En su lugar, debes borrar el grupo de entrada.

Puedes crear un tipo de entrada personalizado en una ubicación regional específica o como un recurso global. Los tipos de entrada del sistema siempre son globales. Es la ubicación de una tipo de entrada afecta el alcance de su aplicabilidad. Para obtener más información, consulta Restricciones de proyectos y ubicaciones.

Antes de comenzar

Antes de administrar entradas y transferir fuentes de datos personalizadas, asegúrate de haber que completaste las tareas que se describen en esta sección.

Roles obligatorios

A fin de obtener los permisos que necesitas para crear y administrar entradas, solicita a tu administrador que te otorgue el los siguientes roles de IAM en el recurso:

• Conjunto completo de permisos sobre entradas, grupos y tipos de entradas: Administrador de catálogo de Dataplex (roles/dataplex.catalogAdmin)
• Crear y administrar todos los recursos de Dataplex Catalog, incluidas las entradas, los grupos y los tipos de entradas: Editor del catálogo de Dataplex (roles/dataplex.catalogEditor)
• Acceso completo a las operaciones relacionadas con entradas: Propietario de entradas de Dataplex (roles/dataplex.entryOwner)
• Visualiza entradas, grupos y tipos de entradas, además de las políticas de IAM asociadas con ellos: Visualizador del catálogo de Dataplex (roles/dataplex.catalogViewer)
• Usa tipos de aspectos para crear aspectos de esos tipos cuando crees entradas personalizadas: Usuario de tipo de aspecto de Dataplex (roles/dataplex.aspectTypeUser)
• Crear y administrar grupos de entradas: Propietario del grupo de entradas de Dataplex (roles/dataplex.entryGroupOwner)
• Crea y administra tipos de entradas: Propietario del tipo de entrada de Dataplex (roles/dataplex.entryTypeOwner)
• Usa los tipos de entrada para crear y modificar entradas de esos tipos: Usuario de tipo de entrada de Dataplex (roles/dataplex.entryTypeUser)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Nota: Cuando usas un tipo de entrada para crear y modificar entradas de ese tipo, si el tipo de entrada y la entrada están en proyectos diferentes, debes otorgar el rol de IAM de usuario de tipo de entrada de Dataplex (roles/dataplex.entryTypeUser) en el proyecto en el que se encuentra el tipo de entrada.

Para obtener más información, consulta Funciones de IAM de Dataplex.

Habilita la API

Habilita la API de Dataplex en tu proyecto de Dataplex.

Habilitar la API

Crea un grupo de entrada

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Grupos de entrada > Personalizado.

3. Haz clic en Crear.

4. En la ventana Create entry group, ingresa lo siguiente:

   • Opcional: En el campo Nombre visible, ingresa un nombre visible para tu grupo de entrada.
   • ID del grupo de entrada: Ingresa un ID único para tu grupo de entrada.
   • Opcional: En el campo Descripción, ingresa una descripción para tu grupo de entrada.
   • Ubicación: Selecciona una ubicación. No puedes modificar la ubicación después de crear el grupo de entrada.

5. Opcional: En la sección Etiquetas, agrega etiquetas arbitrarias como pares clave-valor a tus recursos:

   1. Haz clic en Agregar etiqueta.
   2. Ingresa una clave en el campo Clave.
   3. En el campo Valor, ingresa un valor para la clave.
   4. Para agregar más etiquetas, haz clic en Agregar etiqueta y repite los pasos.

6. Haz clic en Guardar.

REST

Para crear un grupo de entrada, usa el entryGroups.Create .

Crea un tipo de entrada

Para transferir una fuente nueva, debes crear un tipo de entrada.

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir a Catálogo

2. Haz clic en la pestaña Tipos de entrada > Personalizado.

3. Haz clic en Crear.

4. En la ventana Crear tipo de entrada, ingresa lo siguiente:

   1. Opcional: En el campo Nombre visible, ingresa un nombre visible para tu tipo de entrada.
   2. ID del tipo de entrada: Ingresa un ID único para tu tipo de entrada. No puedes modificarlo después de crear el tipo de entrada.
   3. Opcional: En el campo Descripción, ingresa una descripción para tu el tipo de entrada.
   4. Opcional: En el campo Sistema, ingresa el sistema de origen.
   5. Opcional: En el campo Plataforma, ingresa la plataforma a la que pertenecen las entradas de este tipo. Por ejemplo, Google Cloud
   6. En el campo Ubicación, selecciona una ubicación. No puedes modificar la ubicación después de crear el tipo de entrada.

5. Opcional: En la sección Tipos de alias, define el tipo de datos para tu tipo de entrada. El tipo de datos se puede usar para consultar entradas.

   1. Haz clic en Agregar alias de tipo.
   2. En el campo Alias de tipo, selecciona un tipo de datos. Puedes agregar varias alias de tipo.

6. En la sección Tipos de aspectos obligatorios, selecciona los tipos de aspectos que son obligatorios para este tipo de entrada. Cada entrada que se crea según este tipo tendrá asignados estos tipos de aspecto obligatorios.

   1. Haz clic en Elige un tipo de aspecto.
   2. En la ventana Seleccionar tipos de aspecto, selecciona el tipo de aspecto.
   3. Haz clic en Seleccionar.

   No puedes borrar los aspectos obligatorios de una entrada.

7. Opcional: En la sección Etiquetas, agrega etiquetas arbitrarias como pares clave-valor a tus recursos:

   1. Haz clic en Agregar etiqueta.
   2. Ingresa una clave en el campo Clave.
   3. En el campo Valor, ingresa un valor para la clave.
   4. Para agregar más etiquetas, haz clic en Agregar etiqueta y repite los pasos.

8. Haz clic en Guardar.

REST

Para crear un tipo de entrada, usa el método entryType.create.

Crea una entrada personalizada

Antes de crear una entrada personalizada, asegúrate de haber hayas creado un grupo de entrada tipo de entrada.

Console

No se admite la creación de una entrada personalizada en la consola de Google Cloud. En su lugar, usa la CLI de Google Cloud o la API.

REST

Para crear una entrada personalizada, usa el entries.create .

Después de crear una entrada personalizada, puedes agregarle aspectos. Para obtener más información, consulta Cómo agregar aspectos a una entrada.

Administrar grupos de entrada

En esta sección, se describe cómo ver la lista de grupos de entrada disponibles, ver detalles, actualizar y borrar grupos de entrada.

Nota: Los grupos de entrada que se originan en Data Catalog tienen el sufijo (Data Catalog) No puedes editar ni borrar estos grupos de entradas, pero puedes gestionar sus permisos.

Consulta la lista de grupos de entrada disponibles

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Grupos de entrada.

   Puedes acceder a la lista de grupos de entrada del sistema y personalizados. Para ver más consulta las categorías de grupos de entrada de este documento.

   En la pestaña Personalizado, los grupos de entradas con el sufijo (Data Catalog) son los grupos de entrada que se trasladan de Data Catalog.

3. Para ver la lista de grupos de entrada de todos los proyectos, haz clic en la pestaña Personalizado y, luego, en el botón de activación Mostrar de todos los proyectos para ponerlo en la posición de activado.

   Nota: Si el botón de activación Mostrar desde todos los proyectos está activado, no puedes editar o borrar un grupo de entrada directamente. En su lugar, debes hacer clic en el grupo de entrada para abrir la página de detalles y, luego, edita o borrarlo.

REST

Para ver la lista de grupos de entrada disponibles, usa el método entryGroups.list.

Ver detalles de un grupo de entrada

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir a Catálogo

2. Haz clic en la pestaña Grupos de entrada.

3. Haz clic en el grupo de entradas cuyos detalles deseas ver.

   Se abrirá la página de detalles del grupo de entrada. Puedes acceder a información como nombre visible, ID de grupo de entrada, descripción, ID del proyecto, ubicación, etiquetas la fecha de creación y la fecha de la última modificación del grupo de entrada seleccionado.

4. Si el grupo de entradas se transfiere desde Data Catalog, se indica con el sufijo (Data Catalog), y puedes ver sus detalles en las interfaces de Data Catalog y Dataplex Catalog. Para ello, en la página de detalles del grupo de entrada, selecciona Data Catalog o Dataplex Catalog.

5. Para ver la lista de 10 entradas relacionadas creadas recientemente, haz clic en la pestaña Sample entries.

REST

Para recuperar los detalles de un grupo de entrada, usa el entryGroups.get .

Actualiza un grupo de entrada

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir a Catálogo

2. Haz clic en la pestaña Grupos de entrada > Personalizado.

3. Haz clic en el grupo de entrada que deseas actualizar.

4. En la página Detalles del grupo de entradas, haz clic en Editar.

5. Edita el nombre visible, la descripción y las etiquetas según sea necesario.

6. Haz clic en Guardar.

REST

Para actualizar un grupo de entrada, usa el entryGroups.patch .

Borra un grupo de entradas

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Grupos de entrada > Personalizado.

3. Haz clic en el grupo de entradas que quieres borrar.

4. En la página Detalles del grupo de entrada, haz clic en Borrar. Confirmar cuándo cuando se te solicite.

REST

Para borrar un grupo de entradas, usa el método entryGroups.delete.

Administra tipos de entrada

En esta sección, se describe cómo ver la lista de grupos de entradas disponibles, ver detalles, actualizar y borrar tipos de entradas.

Consulta la lista de tipos de entrada disponibles

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir a Catálogo

2. Haz clic en la pestaña Tipos de entrada.

   Puedes acceder a la lista de tipos de entrada personalizados y del sistema. Para ver más consulta las categorías de tipos de entrada de este documento.

3. Para ver la lista de tipos de entradas de todos los proyectos, haz clic en el Personalizada y haz clic en el botón de activación Mostrar desde todos los proyectos según la posición.

   Nota: Si el botón de activación Mostrar de todos los proyectos está activado, no puedes editar ni borrar un tipo de entrada directamente. En su lugar, debes hacer clic en el tipo de entrada para abrir la página de detalles y, luego, edítalos o borrarlo.

REST

Para ver la lista de tipos de entradas disponibles, usa el entryTypes.list .

Cómo ver los detalles de un tipo de entrada

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir a Catálogo

2. Haz clic en la pestaña Tipos de entrada > Personalizado.

3. Haz clic en el tipo de entrada de la que deseas ver los detalles.

   Se abrirá la página de detalles del tipo de entrada. Puedes acceder a información como el nombre visible, el ID de tipo de entrada, la descripción, el ID de proyecto, la ubicación, la plataforma, el sistema, los alias de tipo, las etiquetas, la fecha de creación y la fecha de última modificación del tipo de entrada seleccionado.

4. Para ver la lista de las 10 entradas relacionadas que se crearon recientemente, Haz clic en la pestaña Entradas de muestra.

REST

Para recuperar los detalles de un tipo de entrada, usa el método entryTypes.get.

Cómo actualizar un tipo de entrada

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir a Catálogo

2. Haz clic en la pestaña Tipos de entrada > Personalizado.

3. Haz clic en el tipo de entrada que quieres actualizar.

4. En la página Detalles del tipo de entrada, haz clic en Editar.

5. Edita el nombre visible, la descripción, el sistema, la plataforma, los alias de tipo y las etiquetas, según sea necesario.

6. Haz clic en Guardar.

REST

Para actualizar un tipo de entrada, usa la entryTypes.patch .

Cómo borrar un tipo de entrada

Console

1. En la consola de Google Cloud, ve a la página Catálogo de Dataplex.

   Ir al catálogo

2. Haz clic en la pestaña Tipos de entrada > Personalizado.

3. Haz clic en el tipo de entrada que quieres borrar.

4. En la página Detalles del tipo de entrada, haz clic en Borrar. Confirmar cuándo cuando se te solicite.

REST

Para borrar un tipo de entrada, usa el método entryTypes.delete.

¿Qué sigue?

• Aprende a buscar recursos de datos en Dataplex Catalog.
• Obtén más información para administrar aspectos y enriquecer metadatos.
• Obtén más información para importar metadatos a Dataplex.
• Obtén más información sobre Dataplex Catalog.