Realiza la transición de Data Catalog a Dataplex Catalog

Si usas Data Catalog, puedes migrar tu contenido y uso de Data Catalog a Dataplex Catalog siguiendo los pasos que se describen en este documento.

Si es la primera vez que usas el catálogo, te invitamos a comenzar con Dataplex Catalog. Para ello, debes configurarlo como tu experiencia de catálogo predeterminada.

Este documento está dirigido a administradores y custodios de datos.

Dataplex Catalog tiene una nueva API y una interfaz web. La transición a Dataplex Catalog permite que tus cargas de trabajo y usuarios existentes y futuros se beneficien de sus funciones y capacidades mejoradas. Para obtener más información, consulta Descripción general de Dataplex Catalog.

Para comparar Dataplex Catalog y Data Catalog, consulta Dataplex Catalog en comparación con Data Catalog.

Antes de comenzar la transición, revisa las funciones que no se admiten en Dataplex Catalog.

Descripción general de la transición

La página Administrar la transición a Dataplex de la consola de Google Cloud proporciona un punto de acceso único para administrar la transición.

En esta sección, se describen los diversos casos de transición y se describe el proceso de transición para cada uno de ellos.

Si no tienes metadatos personalizados en Data Catalog o si nunca lo usaste

Si usas Data Catalog y no tienes metadatos personalizados, como etiquetas, plantillas de etiquetas, entradas personalizadas o grupos de entradas, o si nunca usaste Data Catalog, completa la transición configurando la experiencia de IU de catálogo predeterminada en Dataplex Catalog.

Nota: Si no tienes metadatos personalizados en Data Catalog o si nunca lo usaste, omite todas las demás tareas que se describen en este documento.

Si tienes metadatos personalizados de Data Catalog o cargas de trabajo programáticas

Si usas Data Catalog con metadatos personalizados (como etiquetas, plantillas de etiquetas, entradas personalizadas o grupos de entradas), Dataplex puede importar automáticamente estos metadatos personalizados a Dataplex Catalog como read-only. Para habilitar esta función, se requieren cambios en la configuración, como se describe en la fase preparatoria.

La segunda fase es la fase de transferencia, en la que el estado activo (read-write) de tus metadatos personalizados se traslada a Dataplex Catalog. Durante esta fase, también debes actualizar las cargas de trabajo programáticas (como la API, las bibliotecas cliente, los módulos de Terraform y los comandos de Google Cloud CLI) para interactuar con el catálogo de Dataplex.

A continuación, se proporcionan más detalles sobre cada fase del proceso de transición:

1. Fase preparatoria: Realiza las tareas de configuración necesarias para que el contenido de Data Catalog esté disponible de forma simultánea en Dataplex Catalog como read-only. Durante esta fase, Data Catalog sigue siendo la fuente autorizada para tu contenido de metadatos.

   La fase preparatoria incluye las siguientes tareas:

   1. Actualiza las plantillas de etiquetas privadas de Data Catalog a públicas.
   2. Habilita las etiquetas y plantillas de etiquetas para que los metadatos estén disponibles de forma simultánea en Dataplex Catalog.
   3. Configura los permisos de IAM de Dataplex Catalog para tus metadatos personalizados.

   Para obtener más información, consulta Fase preparatoria.

2. Fase de transferencia: Traslada el uso de tu catálogo y el estado activo (read-write) de tus metadatos personalizados a Dataplex Catalog.

   La fase de transferencia incluye las siguientes tareas:

   1. Establece la experiencia de IU de catálogo predeterminada en Dataplex Catalog.
   2. Transfiere los metadatos personalizados de Data Catalog a Dataplex Catalog.
   3. Actualiza las cargas de trabajo programáticas.

   Cuando completes la fase de transferencia, Dataplex Catalog se convertirá en la fuente autorizada de todos tus metadatos y no necesitarás usar Data Catalog.

   Para obtener más información, consulta Fase de transferencia.

Roles obligatorios

Para obtener los permisos que necesitas para realizar la transición de Data Catalog a Dataplex Catalog, otorga los siguientes roles de IAM en el recurso:

• Actualiza las plantillas de etiquetas privadas a públicas: Propietario de TagTemplate de Data Catalog (roles/datacatalog.tagTemplateOwner)

  Este rol predefinido contiene el permiso datacatalog.tagTemplates.update, que se requiere para actualizar las plantillas de etiquetas privadas a públicas.

• Habilita las etiquetas y plantillas de etiquetas públicas para obtener disponibilidad simultánea de metadatos en Dataplex Catalog: Administrador de la configuración de migración de DataCatalog (roles/datacatalog.migrationConfigAdmin).

  Este rol predefinido contiene el permiso datacatalog.migrationConfig.set, que es necesario para habilitar las plantillas y las etiquetas.

• Establece la experiencia de IU de catálogo predeterminada en Dataplex Catalog: Administrador de la configuración de migración de DataCatalog (roles/datacatalog.migrationConfigAdmin).

  Este rol predefinido contiene el permiso datacatalog.migrationConfig.set, que se requiere para configurar la experiencia predeterminada de la IU del catálogo.

• Transfiere plantillas de etiquetas públicas de Data Catalog a Dataplex Catalog: Propietario de TagTemplate de Data Catalog (roles/datacatalog.tagTemplateOwner)

  Este rol predefinido contiene el permiso datacatalog.tagTemplates.update, que se requiere para transferir plantillas de etiquetas públicas.

• Transferir grupos de entradas de Data Catalog al catálogo de Dataplex: Propietario de DataCatalog EntryGroup (roles/datacatalog.entryGroupOwner)

  Este rol predefinido contiene el permiso datacatalog.entryGroups.update, que se requiere para transferir grupos de entradas.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios con roles personalizados o cualquier otro rol predefinido.

Fase preparatoria

Nota: Realiza las tareas que se describen en esta sección solo si tienes metadatos personalizados de Data Catalog o cargas de trabajo programáticas.

Esta fase incluye tareas para que el contenido de metadatos de Data Catalog esté disponible de forma simultánea en Dataplex Catalog, en el modo read-only.

Los siguientes son los puntos clave que debes recordar durante la fase preparatoria:

• Data Catalog sigue siendo la fuente autorizada para tus metadatos personalizados.
• La página Búsqueda de Dataplex dirige a la búsqueda de Data Catalog de forma predeterminada, que solo incluye metadatos de Data Catalog y no de Dataplex Catalog.
• Es posible que la búsqueda de Dataplex Catalog no incluya todas las plantillas de etiquetas y etiquetas públicas de Data Catalog hasta que completes la fase preparatoria.

Más información sobre la disponibilidad simultánea de los metadatos de Data Catalog en Dataplex Catalog

Los grupos de entradas personalizados de Data Catalog y sus entradas ya están disponibles de forma simultánea en Dataplex Catalog como read-only. Cuando habilitas las etiquetas y plantillas de etiquetas públicas en la fase preparatoria, su contenido estará disponible de forma simultánea en Dataplex Catalog como read-only.

En la siguiente tabla, se muestra la asignación entre los recursos de Data Catalog y Dataplex Catalog cuando los recursos de Data Catalog están disponibles de forma simultánea en Dataplex Catalog:

Asignación entre Data Catalog y Dataplex Catalog

Recurso de Data Catalog	Recurso correspondiente de Dataplex Catalog	Descripción
Plantilla de etiqueta	Tipo de aspecto (global)	Las plantillas de etiquetas de Data Catalog son recursos regionales. Cuando habilitas las plantillas de etiquetas, su contenido está disponible de forma simultánea como tipos de aspecto globales en Dataplex Catalog. Esto se hace para preservar las referencias entre regiones entre las etiquetas y las plantillas de etiquetas. Las definiciones de los tipos de aspecto globales se replican en todas las regiones de Google Cloud . Los conceptos estándar, como Schema, se representan con tipos de aspectos del sistema, que proporciona Dataplex. Para obtener más información, consulta Categorías de tipos de aspectos.
Etiqueta	Aspecto opcional	Cuando habilitas las plantillas de etiquetas, sus etiquetas están disponibles de forma simultánea como aspectos opcionales en Dataplex Catalog. Para obtener más información, consulta Categorías de aspectos.
Grupo de entradas	Grupo de entradas	Los grupos de entradas para las entradas del sistema se establecen por proyecto y por región en Dataplex Catalog. Los grupos de entradas creados en Data Catalog están disponibles de forma simultánea en Dataplex Catalog.
Entrada personalizada	Entrada personalizada	Todas las entradas personalizadas de Data Catalog están disponibles de forma simultánea como entradas de GenericEntryType en Dataplex Catalog. Para obtener más información, consulta Categorías de tipos de entrada.
Entrada del sistema (Google Cloud)	Aspecto obligatorio de entrada del sistema	Los metadatos que describen las entradas del sistema, como Schema para las tablas de BigQuery, se capturan en los aspectos obligatorios de los tipos de aspectos definidos por el sistema.

Nota: Por lo general, las actualizaciones del contenido de Data Catalog se propagan a Dataplex Catalog en un plazo de 10 minutos. En algunos casos, puede tardar más. Para garantizar la coherencia de los datos, te recomendamos que detengas todas las operaciones de escritura en Data Catalog y verifiques los recursos de Dataplex Catalog en comparación con los recursos de Data Catalog o el sistema de origen original antes de usarlos.

Actualiza las plantillas de etiquetas privadas de Data Catalog a públicas

Nota: Realiza esta tarea solo si usas plantillas de etiquetas y etiquetas privadas en Data Catalog.
Los administradores de datos o los administradores de datos deben realizar esta tarea.

Dataplex Catalog no admite el concepto de aspectos privados (equivalentes a las etiquetas privadas). Por lo tanto, las etiquetas y plantillas de etiquetas privadas no están disponibles de forma simultánea en Dataplex Catalog. Para propagarlas en Dataplex Catalog, debes actualizarlas a públicas.

Antes de continuar, revisa la estructura de las plantillas de etiquetas privadas para asegurarte de que su estructura y metadatos sean coherentes con la visibilidad de las etiquetas públicas.

Para actualizar las plantillas de etiquetas privadas y las etiquetas a públicas, sigue estos pasos:

Console

1. En la consola de Google Cloud , ve a la página Catalog de Dataplex.

   Ir a Catálogo

2. Haz clic en Administrar la transición a Dataplex.

3. Haz clic en la pestaña Plantillas de etiquetas privadas.

4. Haz clic en Administrar plantillas de etiquetas.

5. En la página Plantillas de etiquetas, haz clic en la plantilla de etiqueta privada que deseas actualizar.

6. En la página Detalles de la plantilla, haz clic en Editar.

7. En la sección Visibilidad, selecciona Público.

8. Haz clic en Actualizar.

REST

Para actualizar las plantillas de etiquetas privadas a públicas, usa el método tagTemplates.patch.

Habilita las etiquetas y plantillas de etiquetas públicas para que los metadatos estén disponibles de forma simultánea en Dataplex Catalog

Nota: Realiza esta tarea solo si tienes etiquetas y plantillas de etiquetas públicas en Data Catalog.
Si tienes una organización de Google Cloud , el administrador de la organización debe configurar este parámetro de configuración a nivel de la organización, y se aplica a todas las plantillas de etiquetas de la organización.
En el caso de los proyectos sin una organización, el administrador del proyecto debe configurar este parámetro de configuración para proyectos individuales, y se aplica a todas las plantillas de etiquetas del proyecto.

Cuando proporciones la habilitación, el contenido de las etiquetas y plantillas de etiquetas públicas de Data Catalog se propaga de forma automática y continua a Dataplex Catalog en tu organización o proyecto de Google Cloud (sin una organización). Las etiquetas y plantillas de etiquetas públicas de Data Catalog se propagan a Dataplex Catalog como tipos de aspectos y aspectos públicos, respectivamente. Las definiciones de los tipos de aspectos globales se replican en todas las regiones de Google Cloud .

Para habilitar las etiquetas y plantillas de etiquetas públicas, sigue estos pasos:

Console

1. En la consola de Google Cloud , ve a la página Catalog de Dataplex.

   Ir a Catálogo

2. Haz clic en Administrar la transición a Dataplex.

3. Haz clic en la pestaña Habilitar.

4. Haz clic en Proporcionar la habilitación.

5. En el cuadro de diálogo de confirmación, ingresa el texto que se muestra y haz clic en Confirmar.

REST

Para habilitar las plantillas de etiquetas y las etiquetas, usa el método setConfig.

Para las organizaciones de Google Cloud y para los proyectos sin una organización, puedes hacer clic en Revoke opt-in para revocar la habilitación proporcionada originalmente. Cuando revocas la habilitación, se detiene el proceso de propagación de las etiquetas y plantillas de etiquetas de Data Catalog a Dataplex Catalog. Se borrarán los tipos de aspectos y aspectos de Dataplex Catalog que se creen a través del proceso de habilitación, pero que no se transfieran a Dataplex Catalog. El proceso de eliminación puede tardar hasta 12 horas.

Configura los permisos de IAM de Dataplex Catalog para tus metadatos personalizados

Los tipos de aspectos y los grupos de entradas personalizados de Dataplex Catalog que representan plantillas de etiquetas y grupos de entradas de Data Catalog no heredan los permisos de IAM originales de Data Catalog. Debes configurar manualmente los permisos de IAM de Dataplex para esos tipos de aspectos y grupos de entradas personalizados.

Por ejemplo, si deseas crear aspectos con un tipo de aspecto propagado (que representa una plantilla de etiqueta de Data Catalog), debes configurar los permisos de IAM necesarios para ese tipo de aspecto. Del mismo modo, cuando transfieres metadatos personalizados, para crear entradas personalizadas dentro de un grupo de entradas personalizado propagado, debes configurar los permisos de IAM necesarios para ese grupo de entradas.

Para obtener más información sobre cómo los permisos de IAM de Data Catalog corresponden a los de Dataplex Catalog, consulta Asignación de permisos de IAM entre Data Catalog y Dataplex Catalog.

Para configurar los permisos de IAM de Dataplex necesarios para los tipos de aspectos y los grupos de entradas personalizados, sigue estos pasos:

Console

1. En la consola de Google Cloud , ve a la página Catalog de Dataplex.

   Ir a Catálogo

2. Haz clic en Administrar la transición a Dataplex.

3. Haz clic en la pestaña Permisos de Dataplex.

4. Para configurar los permisos de IAM de Dataplex para los tipos de aspectos, haz clic en Tipos de aspectos y plantillas de etiquetas.

   1. En el caso de la plantilla de etiqueta propagada desde Data Catalog, haz clic en > Permisos.

   2. Haz clic en Agregar principales.

   3. Agrega un principal nuevo y asígnale los roles requeridos.

   4. Haz clic en Guardar.

5. Para configurar los permisos de IAM de Dataplex para los grupos de entradas, haz clic en Grupos de entradas.

   1. En el grupo de entradas propagado desde Data Catalog, haz clic en > Permisos.

   2. Haz clic en Agregar principales.

   3. Agrega un principal nuevo y asígnale los roles requeridos.

   4. Haz clic en Guardar.

REST

Para configurar los permisos de IAM de Dataplex para los tipos de aspectos, usa el método aspectTypes.setIamPolicy.

Para configurar los permisos de IAM de Dataplex para los grupos de entradas, usa el método entryGroups.setIamPolicy.

Fase de transferencia

Nota: Realiza las tareas que se describen en esta sección solo si tienes metadatos personalizados de Data Catalog o cargas de trabajo programáticas.

Esta fase incluye tareas para mover el estado activo (read-write) de tus metadatos personalizados de Data Catalog a Dataplex Catalog.

Los siguientes son los puntos clave que debes recordar durante la fase de transferencia:

• La página Búsqueda de Dataplex dirige a la búsqueda de Dataplex Catalog de forma predeterminada.
• Puedes descubrir y leer los metadatos de Data Catalog y de Dataplex Catalog en Dataplex Catalog.
• Para actualizar los metadatos en la consola de Google Cloud , se te redireccionará a su fuente. Por ejemplo, si actualizas las plantillas de etiquetas de Data Catalog, se te redireccionará a la página de plantillas de etiquetas en Data Catalog.

Establecer la experiencia de IU de Catalog predeterminada en Dataplex Catalog

Nota: En el caso de una organización de Google Cloud , el administrador de la organización debe configurar este parámetro a nivel de la organización. En el caso de los proyectos sin una organización, el administrador del proyecto debe configurar este parámetro de configuración para proyectos individuales.

Si estableces la experiencia de IU de catálogo predeterminada en Dataplex Catalog, ocurrirá lo siguiente:

• Cuando vayas a la página Búsqueda de Dataplex en la consola de Google Cloud , la búsqueda de Dataplex Catalog se mostrará de forma predeterminada. La búsqueda de Dataplex Catalog opera en Dataplex Catalog y encuentra todo tu contenido de metadatos, incluido el contenido creado en Dataplex Catalog y el contenido que se importó desde Data Catalog.

  La búsqueda de Data Catalog solo encuentra contenido de Data Catalog, no de Dataplex Catalog. Por lo tanto, te recomendamos que uses la búsqueda de Dataplex Catalog.

• La interfaz web te recomienda crear recursos nuevos en Dataplex Catalog. Por ejemplo, de forma predeterminada, se usa Crear tipos de aspectos en lugar de Crear plantillas de etiquetas y Crear grupo de entradas (Dataplex Catalog) en lugar de Crear grupo de entradas (Data Catalog).

• Establecer la experiencia de IU de catálogo predeterminada en Dataplex Catalog suele ser una operación unidireccional. Sin embargo, Dataplex te permite revertir los cambios en casos excepcionales, por ejemplo, cuando deseas volver a cambiar la experiencia predeterminada de la IU de Catalog a Data Catalog. Si reviertes los cambios, no podrás acceder a ningún contenido creado en Dataplex Catalog, en la interfaz web de Data Catalog.

Para establecer la experiencia de IU de catálogo predeterminada en Dataplex Catalog, sigue estos pasos:

Console

1. En la consola de Google Cloud , ve a la página Catalog de Dataplex.

   Ir a Catálogo

2. Haz clic en Administrar la transición a Dataplex.

3. Haz clic en la pestaña Búsqueda de Dataplex.

4. Haz clic en Establecer la experiencia de IU de Catalog predeterminada en Dataplex Catalog.

REST

Para establecer la experiencia de IU de catálogo predeterminada en Dataplex Catalog, usa el método setConfig.

Transfiere metadatos personalizados de Data Catalog a Dataplex Catalog

Nota: Los administradores de datos, los administradores de datos o los ingenieros de datos deben realizar esta tarea.

Puedes transferir las plantillas de etiquetas públicas de Data Catalog (que habilitaste) y los grupos de entradas personalizados a Dataplex Catalog. Asegúrate de transferir cada plantilla de etiqueta y grupo de entradas personalizado por separado.

Advertencia: La acción de transferir es irreversible. Después de transferir tus plantillas de etiquetas y grupos de entradas existentes de Data Catalog a Dataplex Catalog, no podrás actualizarlas en Data Catalog. Sin embargo, puedes borrarlos en Data Catalog porque no tienen ningún impacto en la versión transferida a Dataplex Catalog.

A continuación, se resume el proceso de transferencia:

• Efecto

  • Transfiere el estado activo de los recursos de Data Catalog a Dataplex Catalog. Después de la transferencia, para modificar el recurso o acceder a su estado actual, debes usar Dataplex Catalog.

• Cambios en el contenido y el flujo de datos

  • Marca el recurso como read-only en Data Catalog.
  • Marca el recurso como read-write en Dataplex Catalog.
  • Detiene la disponibilidad simultánea de este recurso.

• Dependencias

  • Si transfieres una plantilla de etiqueta, también se transferirán todas las etiquetas que la usen.
  • Cuando se transfieren grupos de entradas, también se transfieren todas las entradas que contienen.
  • La transferencia de entradas no afecta el estado de transferencia de sus etiquetas y sus respectivas plantillas de etiquetas.

Antes de la transferencia, para modificar el contexto comercial de una entrada (por ejemplo, overview, contacts), puedes usar las APIs de Data Catalog y Dataplex. Después de la transferencia, debes usar solo la API de Dataplex.

A continuación, se describen las operaciones permitidas para una entrada personalizada de Data Catalog que está etiquetada, según el estado de transferencia del grupo de entradas personalizado y la plantilla de etiquetas relacionados:

• Cuando una plantilla de etiqueta está activa en Data Catalog, puedes usarla para crear etiquetas. Después de transferir la plantilla de etiqueta a Dataplex Catalog, no podrás usarla para crear etiquetas en Data Catalog.
• Puedes crear aspectos con tipos de aspectos que se propagan desde las plantillas de etiquetas de Data Catalog solo después de transferir las plantillas de etiquetas.

Para transferir las plantillas de etiquetas y los grupos de entradas personalizados de Data Catalog a Dataplex Catalog, sigue estos pasos:

Console

1. En la consola de Google Cloud , ve a la página Catalog de Dataplex.

   Ir a Catálogo

2. Haz clic en Administrar la transición a Dataplex.

3. Haz clic en la pestaña Transferir a Dataplex.

4. Para transferir plantillas de etiquetas de Data Catalog a Dataplex Catalog, haz clic en Ver tipos de aspecto y plantillas de etiquetas.

   1. Selecciona las plantillas de etiquetas que deseas transferir.

   2. Haz clic en Transferir.

   3. En el cuadro de diálogo Confirmación, haz clic en Confirmar.

5. Para transferir grupos de entradas personalizados de Data Catalog a Dataplex Catalog, haz clic en Ver grupos de entradas.

   1. Selecciona los grupos de entrada que deseas transferir.

   2. Haz clic en Transferir.

   3. En el cuadro de diálogo Confirmación, haz clic en Confirmar.

REST

Para transferir plantillas de etiquetas y grupos de entradas personalizados de Data Catalog a Dataplex Catalog, usa el metodo tagTemplates.patch.

Cuando completes la fase de transferencia, Dataplex Catalog se convertirá en la fuente autorizada para todos tus metadatos, y no necesitarás usar Data Catalog.

Nota: Puede haber una breve demora después de la transferencia, antes de que todos los cambios de Data Catalog se reflejen en Dataplex Catalog. Para garantizar la coherencia de los datos en las cargas de trabajo urgentes, te recomendamos que verifiques los recursos de Dataplex Catalog con los recursos de Data Catalog o el sistema de origen original antes de usarlos.

Actualiza las cargas de trabajo programáticas

El catálogo de Dataplex incluye una nueva API, bibliotecas cliente, módulos de Terraform y comandos de Google Cloud CLI. Por lo tanto, debes actualizar las cargas de trabajo existentes con el uso programático de Data Catalog a Dataplex Catalog. Consulta las muestras de código de Dataplex.

Asegúrate de alinear la actualización de las cargas de trabajo programáticas con la transferencia de los recursos dependientes, como las plantillas de etiquetas y los grupos de entradas personalizados. Esto es necesario porque la transferencia mueve el estado activo (read-write) de un recurso de Data Catalog a Dataplex Catalog.

La siguiente es una secuencia de ejemplo para actualizar cargas de trabajo programáticas para interactuar con Dataplex Catalog, coordinada con la transferencia de los recursos dependientes:

1. Si tus cargas de trabajo pueden tolerar la coherencia eventual, mueve las operaciones read de las cargas de trabajo a Dataplex Catalog.

2. Mueve las cargas de trabajo que realizan operaciones de etiquetado write a Dataplex Catalog de forma coordinada con la transferencia de sus plantillas de etiquetas correspondientes.

3. Mueve las cargas de trabajo que realizan operaciones de transferencia write personalizadas a Dataplex Catalog de forma coordinada con la transferencia de los correspondientes grupos de entradas personalizados.

Si necesitas desacoplar las cargas de trabajo de actualización y transferir los recursos correspondientes, considera implementar la lógica dentro de las cargas de trabajo para enrutar read-write a Data Catalog o Dataplex Catalog según el estado de transferencia de recursos. Por lo tanto, las cargas de trabajo operarán independientemente del estado de transferencia del recurso relacionado.

Nota: Dataplex Catalog no admite la administración de entradas y aspectos personalizados con Terraform. Para administrar aspectos de las entradas personalizadas, usa bulk entry import. No puedes administrar aspectos de las entradas del sistema (que Dataplex crea automáticamente para tus recursos de Google Cloud) con bulk entry import.

¿Qué sigue?

• Obtén más información sobre Dataplex Catalog.
• Obtén información para buscar recursos en Dataplex Catalog.
• Obtén información para administrar aspectos y enriquecer metadatos en Dataplex Catalog.
• Obtén información para administrar entradas y transferir fuentes personalizadas en Dataplex Catalog.
• Consulta la referencia de la API de Dataplex Catalog.