En este documento, se describe cómo crear y administrar tipos de entrada, grupos de entradas y entradas personalizadas para habilitar la integración de fuentes de datos personalizadas en Dataplex.
Una entrada representa un recurso para el que capturas metadatos. Un grupo de entradas es un contenedor para una o más entradas que se usa para administrar el control de acceso y la ubicación regional. Un tipo de entrada define los metadatos obligatorios para las entradas. Los tipos de entrada aportan estructura y reglas a un recurso de entrada de flujo libre y definido de forma imprecisa, lo que permite que las entradas sean extensibles.
Para integrar una fuente de datos personalizada en Dataplex, crea una entrada personalizada con un tipo de entrada personalizada que se encuentra en un grupo de entradas personalizado. La creación de una entrada personalizada implica los siguientes pasos de alto nivel:
- Crea un grupo de entrada.
- Crea un tipo de entrada.
- Crea una entrada personalizada para el tipo de entrada dentro del grupo de entrada.
Entradas
Una entrada representa un activo de datos para el que capturas metadatos. Cada entrada es una instancia de un tipo de entrada. Cada operación en los aspectos de una entrada debe cumplir con los aspectos requeridos de su tipo de entrada. Por ejemplo, cuando creas
una entrada, debes proporcionar valores para todos los tipos de aspectos definidos por el
tipo de entrada. No puedes borrar esos aspectos de una entrada que están marcados como required en el tipo de entrada.
Categorías de entradas
Entradas del sistema: Dataplex crea entradas para Google Cloud recursos, como conjuntos de datos o tablas de BigQuery. Las entradas que crea Dataplex se denominan entradas del sistema. Dataplex mantiene automáticamente las entradas del sistema actualizadas a través de la sincronización continua de metadatos de los sistemas Google Cloud compatibles.
No puedes modificar los metadatos que se propagan automáticamente (llamados aspectos requeridos) para las entradas del sistema. Solo puedes agregar y modificar metadatos adicionales para las entradas del sistema con aspectos opcionales. Para obtener más información, consulta Categorías de aspectos.
Entradas personalizadas: Las entradas que puedes crear y administrar para los recursos personalizados se denominan entradas personalizadas. Los recursos personalizados son los recursos de servicios que no son de Google que se alojan en Google Cloud o de forma externa (por ejemplo, de forma local).
Grupos de entrada
Un grupo de entrada es un contenedor para una o más entradas. Puedes usar grupos de entradas para administrar el control de acceso y la ubicación regional de las entradas. Cada grupo de entradas pertenece a un proyecto.
Categorías de grupos de entrada
Grupos de entrada del sistema: Para los recursos de Google Cloud , Dataplex crea automáticamente grupos de entrada para cada sistema en cada proyecto y ubicación donde se encuentran los recursos. Por ejemplo,
@bigqueryes el grupo de entrada del sistema para BigQuery.Grupos de entradas personalizados: Son los grupos de entradas que creas para los recursos personalizados.
Tipos de entrada
Los tipos de entrada definen los metadatos obligatorios para las entradas de este tipo con un conjunto de tipos de aspectos obligatorios.
Puedes especificar los tipos de aspectos obligatorios solo en las entradas, no en las columnas de una entrada. Cuando creas una entrada de un tipo de entrada específico, debes proporcionar valores para todos los tipos de aspectos requeridos que especifique el tipo de entrada.
Los tipos de aspectos obligatorios a los que se hace referencia en un tipo de entrada deben pertenecer al mismo proyecto que el tipo de entrada.
Categorías de tipos de entrada
Tipos de entrada personalizados: Son los tipos de entrada que creas y administras. Puedes usar estos tipos de entrada para crear entradas personalizadas.
Tipos de entrada del sistema: Dataplex proporciona estos tipos de entrada de forma predeterminada. Los tipos de entradas del sistema se clasifican en reutilizables y restringidos.
En la siguiente tabla, se describen las categorías de tipos de entradas del sistema y la lista de tipos de entradas que proporciona Dataplex para cada una de las categorías:
Categoría del tipo de entrada del sistema Descripción Tipos de entrada que proporciona Dataplex Tipo de entrada del sistema reutilizable Puedes usar este tipo de entrada para crear entradas personalizadas. generic
Tipo de entrada del sistema restringido Se reservan para el uso del sistema, como la creación de entradas para los recursosGoogle Cloud .
No puedes usar estos tipos de entrada para crear entradas, pero puedes editar entradas de estos tipos de entrada para agregar aspectos opcionales.bigquery-connectionbigquery-datasetbigquery-modelbigquery-routinebigquery-tablebigquery-viewcloudsql-databasecloudsql-instancecloudsql-schemacloudsql-tablecloudsql-viewdataform-repositorydataform-code-assetsql-accessstoragestorage-bucketstorage-folder
Puedes crear un tipo de entrada personalizado en una ubicación regional específica o como un recurso global. Los tipos de entrada del sistema siempre son globales. La ubicación de un tipo de entrada afecta el alcance de su aplicabilidad. Para obtener más información, consulta Restricciones de proyectos y ubicaciones.
Antes de comenzar
Antes de administrar entradas y transferir fuentes de datos personalizadas, asegúrate de haber completado las tareas que se describen en esta sección.
Roles obligatorios
Para obtener los permisos que necesitas para crear y administrar entradas, pídele a tu administrador que te otorgue los siguientes roles de IAM en el recurso:
-
Conjunto completo de permisos sobre entradas, grupos de entradas y tipos de entradas:
Administrador de Catálogo de Dataplex (
roles/dataplex.catalogAdmin) -
Crea y administra todos los recursos de Dataplex Catalog, incluidas las entradas, los grupos de entradas y los tipos de entradas:
Editor de Dataplex Catalog (
roles/dataplex.catalogEditor) -
Acceso completo a las operaciones relacionadas con las entradas:
Propietario de entradas de Dataplex (
roles/dataplex.entryOwner) -
Consulta las entradas, los grupos de entradas y los tipos de entradas, así como las políticas de IAM asociadas con ellas:
Visualizador del catálogo de Dataplex (
roles/dataplex.catalogViewer) -
Usa tipos de aspectos para crear aspectos de esos tipos cuando crees entradas personalizadas:
Usuario de tipos de aspectos de Dataplex (
roles/dataplex.aspectTypeUser) -
Crear y administrar grupos de entradas:
Propietario del grupo de entradas de Dataplex (
roles/dataplex.entryGroupOwner) -
Crear y administrar tipos de entrada:
Propietario de Tipos de entrada de Dataplex (
roles/dataplex.entryTypeOwner) -
Usa tipos de entrada para crear y modificar entradas de esos tipos:
Usuario de Tipo de entrada de Dataplex (
roles/dataplex.entryTypeUser)
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Para obtener más información, consulta Roles de IAM de Dataplex.
Habilita la API
Habilita la API de Dataplex en tu proyecto de Dataplex.
Crea un grupo de entrada
Console
En la consola de Google Cloud, ve a la página Catálogo de Dataplex.
Haz clic en la pestaña Grupos de entrada > Personalizado.
Haz clic en Crear grupo de entradas (Dataplex Catalog).
En la ventana Create entry group, ingresa lo siguiente:
- Opcional: En el campo Nombre visible, ingresa un nombre visible para tu grupo de entrada.
- ID del grupo de entradas: Ingresa un ID único para tu grupo de entradas.
- Opcional: En el campo Descripción, ingresa una descripción para tu grupo de entrada.
- Ubicación: Selecciona una ubicación. No puedes modificar la ubicación después de crear el grupo de entrada.
Opcional: En la sección Etiquetas, agrega etiquetas arbitrarias como pares clave-valor a tus recursos:
- Haz clic en Agregar etiqueta.
- En el campo Clave, ingresa una clave.
- En el campo Valor, ingresa un valor para la clave.
- Para agregar más etiquetas, haz clic en Agregar etiqueta y repite los pasos.
Haz clic en Guardar.
gcloud
Para crear un grupo de entradas, usa el comando gcloud dataplex entry-groups create.
REST
Para crear un grupo de entrada, usa el método entryGroups.Create.
Crea un tipo de entrada
Para transferir una fuente nueva, debes crear un tipo de entrada.
Console
En la consola de Google Cloud, ve a la página Catálogo de Dataplex.
Haz clic en la pestaña Tipos de entrada > Personalizado.
Haz clic en Crear.
En la ventana Create entry type, ingresa lo siguiente:
- Opcional: En el campo Nombre visible, ingresa un nombre visible para tu tipo de entrada.
- ID del tipo de entrada: Ingresa un ID único para tu tipo de entrada. No puedes modificar esto después de crear el tipo de entrada.
- Opcional: En el campo Descripción, ingresa una descripción para tu tipo de entrada.
- Opcional: En el campo Sistema, ingresa el sistema de origen.
- Opcional: En el campo Plataforma, ingresa la plataforma a la que pertenecen las entradas de este tipo. Por ejemplo,
Google Cloud - En el campo Ubicación, selecciona una ubicación. No puedes modificar la ubicación después de crear el tipo de entrada.
Opcional: En la sección Tipos de alias, define el tipo de datos para tu tipo de entrada. El tipo de datos se puede usar para consultar entradas.
- Haz clic en Agregar alias de tipo.
- En el campo Alias de tipo, selecciona un tipo de datos. Puedes agregar varios alias de tipo.
En la sección Tipos de aspectos obligatorios, selecciona los tipos de aspectos que son obligatorios para este tipo de entrada. Cada entrada que se cree según este tipo tendrá asignados estos tipos de aspectos obligatorios. La lista de tipos de aspectos obligatorios no se puede modificar después de crear el tipo de entrada.
- Haz clic en Elige un tipo de aspecto.
- En la ventana Select aspect types, selecciona el tipo de aspecto.
- Haz clic en Seleccionar.
No puedes borrar los aspectos obligatorios de una entrada.
Opcional: En la sección Etiquetas, agrega etiquetas arbitrarias como pares clave-valor a tus recursos:
- Haz clic en Agregar etiqueta.
- En el campo Clave, ingresa una clave.
- En el campo Valor, ingresa un valor para la clave.
- Para agregar más etiquetas, haz clic en Agregar etiqueta y repite los pasos.
Haz clic en Guardar.
gcloud
Para crear un tipo de entrada, usa el comando gcloud dataplex entry-types create.
REST
Para crear un tipo de entrada, usa el método entryTypes.create.
Crea una entrada personalizada
Antes de crear una entrada personalizada, asegúrate de crear un grupo de entrada y un tipo de entrada.
Console
No se admite la creación de una entrada personalizada con la consola de Google Cloud. En su lugar, usa Google Cloud CLI o la API.
gcloud
Para crear una entrada personalizada, usa el comando gcloud dataplex entries create.
REST
Para crear una entrada personalizada, usa el método entries.create.
Después de crear una entrada personalizada, puedes agregarle aspectos. Para obtener más información, consulta Cómo agregar aspectos a una entrada.
Administra grupos de entrada
En esta sección, se describe cómo ver la lista de grupos de entrada disponibles, ver detalles, actualizar y borrar grupos de entrada.
Consulta la lista de grupos de entradas disponibles
Console
En la consola de Google Cloud, ve a la página Catálogo de Dataplex.
Haz clic en la pestaña Grupos de entrada.
En esta página, se enumeran todos los grupos de entrada de Dataplex Catalog y Data Catalog disponibles.
Para ver los grupos de entrada personalizados, haz clic en la pestaña Personalizado. En la pestaña Personalizada, la columna Fuente del catálogo muestra dónde reside el recurso: Dataplex Catalog o Data Catalog.
Para ver los grupos de entrada del sistema, haz clic en la pestaña Sistema.
Para obtener más información sobre los grupos de entrada personalizados y del sistema, consulta la sección Categorías de grupos de entrada de este documento.
Opcional: Para ver la lista de grupos de entrada en el proyecto seleccionado, haz clic en la pestaña Personalizado y, luego, en el botón de activación Mostrar de todos los proyectos para ponerlo en la posición de apagado.
El botón de activación Mostrar de todos los proyectos está activado de forma predeterminada, y la lista incluye los recursos de Dataplex Catalog de la organización que seleccionaste y los recursos de Data Catalog de todas las organizaciones a las que puedes acceder.
gcloud
Para ver la lista de grupos de entrada disponibles, usa el comando gcloud dataplex entry-groups list.
REST
Para ver la lista de grupos de entrada disponibles, usa el método entryGroups.list.
Cómo ver los detalles de un grupo de entrada
Console
En la consola de Google Cloud, ve a la página Catalog de Dataplex.
Haz clic en la pestaña Grupos de entrada.
Haz clic en el grupo de entradas cuyos detalles deseas ver.
Se abrirá la página de detalles del grupo de entrada. Puedes acceder a información como el nombre visible, el ID del grupo de entradas, la descripción, el ID del proyecto, la ubicación, las etiquetas, la fecha de creación y la fecha de última modificación del grupo de entradas seleccionado.
En el caso de un grupo de entradas de Data Catalog, puedes ver los detalles en las interfaces web de Data Catalog y Dataplex Catalog. Para ello, en la página de detalles del grupo de entradas, haz clic en Data Catalog o Dataplex Catalog.
En la sección Entradas de muestra, se muestran 10 entradas relacionadas creadas recientemente en el grupo de entradas seleccionado.
Opcional: Para ver todas las entradas relacionadas con un grupo de entradas, en la sección Sample entries, haz clic en Show all related entries in search.
gcloud
Para recuperar los detalles de un grupo de entradas, usa el comando gcloud dataplex entry-groups describe.
REST
Para recuperar los detalles de un grupo de entradas, usa el método entryGroups.get.
Actualiza un grupo de entradas
Puedes actualizar un grupo de entrada personalizado. Los grupos de entradas del sistema no se pueden modificar.
Console
En la consola de Google Cloud, ve a la página Catálogo de Dataplex.
Haz clic en la pestaña Grupos de entrada > Personalizado.
Haz clic en el grupo de entrada que deseas actualizar.
En la página Detalles del grupo de entradas, haz clic en Editar.
Edita el nombre visible, la descripción y las etiquetas según sea necesario.
Haz clic en Guardar.
gcloud
Para actualizar un grupo de entradas, usa el comando gcloud dataplex entry-groups update.
REST
Para actualizar un grupo de entrada, usa el método entryGroups.patch.
Cómo borrar un grupo de entradas
Puedes borrar un grupo de entradas personalizado. No se pueden borrar los grupos de entradas del sistema.
Console
En la consola de Google Cloud, ve a la página Catálogo de Dataplex.
Haz clic en la pestaña Grupos de entrada > Personalizado.
Haz clic en el grupo de entradas que quieres borrar.
En la página Detalles del grupo de entradas, haz clic en Borrar. Confirma cuando se te solicite.
gcloud
Para borrar un grupo de entrada, usa el comando gcloud dataplex entry-groups delete.
REST
Para borrar un grupo de entradas, usa el método entryGroups.delete.
Administra tipos de entrada
En esta sección, se describe cómo ver la lista de grupos de entradas disponibles, ver detalles, actualizar y borrar tipos de entradas.
Consulta la lista de tipos de entrada disponibles
Console
En la consola de Google Cloud, ve a la página Catálogo de Dataplex.
Haz clic en la pestaña Tipos de entrada.
Para ver los tipos de entrada personalizados, haz clic en la pestaña Personalizado. Para ver los tipos de entrada del sistema, haz clic en la pestaña Sistema. Para obtener más información sobre los tipos de entradas personalizadas y del sistema, consulta la sección Categorías de tipos de entradas de este documento.
Opcional: Para ver la lista de tipos de entrada en el proyecto seleccionado, haz clic en la pestaña Personalizado y, luego, en el botón de activación Mostrar de todos los proyectos para ponerlo en la posición de apagado.
El botón de activación Mostrar de todos los proyectos está activado de forma predeterminada, y la lista incluye tipos de entrada de todos los proyectos.
gcloud
Para ver la lista de tipos de entrada disponibles, usa el comando gcloud dataplex entry-types list.
REST
Para ver la lista de tipos de entrada disponibles, usa el método entryTypes.list.
Cómo ver los detalles de un tipo de entrada
Console
En la consola de Google Cloud, ve a la página Catálogo de Dataplex.
Haz clic en la pestaña Tipos de entrada > Personalizado.
Haz clic en el tipo de entrada cuyos detalles deseas ver.
Se abrirá la página de detalles del tipo de entrada. Puedes acceder a información como el nombre visible, el ID del tipo de entrada, la descripción, el ID del proyecto, la ubicación, la plataforma, el sistema, los alias de tipo, las etiquetas, la fecha de creación y la fecha de la última modificación del tipo de entrada seleccionado.
Opcional: Para ver la lista de 10 entradas relacionadas creadas recientemente, haz clic en la pestaña Sample entries.
Opcional: Para ver todas las entradas relacionadas con un grupo de entradas, haz clic en la pestaña Sample entries y, luego, en Show all related entries in search.
gcloud
Para recuperar los detalles de un tipo de entrada, usa el comando gcloud dataplex entry-types describe.
REST
Para recuperar los detalles de un tipo de entrada, usa el método entryTypes.get.
Cómo actualizar un tipo de entrada
Console
En la consola de Google Cloud, ve a la página Catálogo de Dataplex.
Haz clic en la pestaña Tipos de entrada > Personalizado.
Haz clic en el tipo de entrada que quieres actualizar.
En la página Detalles del tipo de entrada, haz clic en Editar.
Edita el nombre visible, la descripción, el sistema, la plataforma, los alias de tipo y las etiquetas según sea necesario.
Haz clic en Guardar.
gcloud
Para actualizar un tipo de entrada, usa el comando gcloud dataplex entry-types update.
REST
Para actualizar un tipo de entrada, usa el método entryTypes.patch.
Cómo borrar un tipo de entrada
Console
En la consola de Google Cloud, ve a la página Catálogo de Dataplex.
Haz clic en la pestaña Tipos de entrada > Personalizado.
Haz clic en el tipo de entrada que quieres borrar.
En la página Detalles del tipo de entrada, haz clic en Borrar. Confirma cuando se te solicite.
gcloud
Para borrar un tipo de entrada, usa el comando gcloud dataplex entry-types delete.
REST
Para borrar un tipo de entrada, usa el método entryTypes.delete.
¿Qué sigue?
- Obtén información para buscar recursos de datos en Dataplex Catalog.
- Obtén más información para administrar aspectos y enriquecer metadatos.
- Obtén más información para importar metadatos a Dataplex.
- Obtén más información sobre Dataplex Catalog.