Crea una malla de datos


Puedes usar Dataplex para crear una arquitectura de malla de datos. En esta guía, se muestra cómo usar funciones de Dataplex, como un lake, zonas y recursos, para compilar una malla de datos.

Una malla de datos es un enfoque organizacional y técnico que descentraliza la propiedad de los datos entre los propietarios de datos de dominios. Estos propietarios proporcionan los datos como un producto de forma estándar y facilitan la comunicación entre diferentes partes de la organización para distribuir conjuntos de datos en diferentes ubicaciones. Obtén más información sobre las arquitecturas de malla de datos.

Objetivos

En esta guía, usarás las entidades de Dataplex para compilar una arquitectura de malla de datos:

  • Crea un lake de Dataplex que actúe como el dominio de tu malla de datos.
  • Agrega zonas a tu lake que representen equipos individuales dentro de cada dominio y proporciona contratos de datos administrados.
  • Adjunta recursos que se asignan a datos almacenados en Cloud Storage.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Cuando finalices las tareas que se describen en este documento, puedes borrar los recursos que creaste para evitar que continúe la facturación. Para obtener más información, consulta Cómo realizar una limpieza.

Antes de comenzar

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Habilita la API de Dataplex.

    Habilitar la API de Dataplex

  4. Crea un servicio de Dataproc Metastore.

Cree un bucket de Cloud Storage

Necesitas un bucket de Cloud Storage para almacenar los recursos de datos de tu malla de datos.

Para crear un bucket de Cloud Storage, sigue las instrucciones en Crea un bucket de Cloud Storage. Cuando lo hagas, ten en cuenta lo siguiente:

  • Asigna un nombre a tu bucket.
  • En Tipo de ubicación, elige Región y selecciona us-central1 (Iowa) en el menú.

Crea un dominio

  1. En la consola de Google Cloud, ve a la página de Dataplex.

    Ir a Dataplex

  2. Navega a la vista Administrar.

  3. Haz clic en Crear para crear un lake nuevo, que actuará como tu malla de datos.

  4. En el campo Nombre visible, escribe My data mesh

  5. En Región, selecciona us-central1.

  6. Selecciona el servicio de Dataproc Metastore que creaste y configuraste antes como el metastore asociado.

  7. Haz clic en Crear.

Crea zonas en tu lake

Después de crear un dominio a partir de un lago de Dataplex, puedes alojar contratos de datos administrados y equipos individuales dentro del dominio con zonas. Existen dos tipos de zonas:

  • Por lo general, las zonas sin procesar se usan para almacenar datos en cualquier formato desde fuentes externas en Cloud Storage. Las zonas sin procesar son útiles para los datos que requieren procesamiento adicional antes de estar listos para el consumo.

  • Las zonas seleccionadas se usan para datos estructurados en Cloud Storage que deben cumplir con ciertos formatos de archivo y se organizan en un diseño de directorio compatible con Hive. Son más útiles para los datos que están listos para el consumo y el análisis.

Cada dominio (por ejemplo, sales, customers, products) debe tener al menos una zona sin procesar y una zona seleccionada.

Las zonas adicionales se usan para administrar contratos de datos entre equipos o para proporcionar un desglose más detallado de los equipos dentro de un dominio determinado. Por ejemplo, la administración de inventario dentro del dominio del producto. Los propietarios de los datos pueden administrar los datos dentro de su dominio y acceder a ellos.

  1. En la consola de Google Cloud, navega a la vista Administrar de Dataplex.

  2. Haz clic en el nombre del lake (My data mesh) al que deseas agregar una zona.

  3. En la pestaña Zonas, haz clic en Agregar zona.

  4. En el campo Nombre visible, escribe My sub domain Dataplex genera automáticamente un ID para tu zona.

  5. En Tipo, selecciona Zona sin procesar.

  6. Haz clic en Crear.

Cómo conectar recursos a tus zonas

Adjunta recursos de datos a tu zona. Un activo de datos, los recursos de almacenamiento que contienen tus datos, puede ser un bucket de Cloud Storage o un conjunto de datos de BigQuery. Este es el último paso para crear tu arquitectura de malla de datos.

  1. En la vista Administrar de Dataplex, haz clic en el lake que creaste (My data mesh).

  2. En la pestaña Zonas, haz clic en la zona (My sub domain) a la que deseas agregar el recurso.

  3. En la pestaña Recursos, haz clic en Agregar recursos.

  4. Haz clic en Agregar un recurso.

  5. En Tipo, selecciona Bucket de Cloud Storage.

  6. En el campo Nombre visible , ingresa Data mesh asset. Dataplex genera automáticamente un ID de activo por ti.

  7. En el campo Bucket, haz clic en Explorar.

    1. Selecciona tu bucket de la lista.
    2. Haz clic en Seleccionar.
  8. Haz clic en Listo y, luego, en Continuar.

  9. Haz clic en Continuar para aceptar la Configuración avanzada predeterminada.

  10. Haz clic en Enviar.

Limpia

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Borra el proyecto

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Cómo borrar tu arquitectura de malla de datos

  1. En la consola de Google Cloud, navega a la vista Administrar de Dataplex.

  2. En el lago que deseas borrar, haz clic en Ver más y, luego, en Borrar.

  3. Para confirmar la acción, ingresa delete y haz clic en Borrar lake.

¿Qué sigue?