Guía de inicio rápido: crear y configurar un lago

Guía de inicio rápido: crear y configurar un lago

En esta guía de inicio rápido se explica cómo empezar a usar Dataplex Universal Catalog en laGoogle Cloud consola. Para ello, se te guiará por el proceso de creación de un lago, la adición de una zona y la vinculación de un recurso.

Antes de empezar

Nota: En los casos prácticos de Dataplex Universal Catalog, no cree ni use un lake con el ID goog-dataproc-default-lake, ya que se trata del lake predeterminado diseñado exclusivamente para los espacios de trabajo de Dataproc.

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Enable the Dataplex, Dataproc, Dataproc Metastore, BigQuery, and Cloud Storage APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.
Enable the APIs
Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Ir a IAM
2. Selecciona el proyecto.
3. Haz clic en Conceder acceso.

4. En el campo Nuevos principales, introduce tu identificador de usuario. Normalmente, se trata de la dirección de correo de una cuenta de Google.

5. En la lista Selecciona un rol, elige un rol.
6. Para conceder más roles, haz clic en Añadir otro rol y añade cada rol adicional.
7. Haz clic en Guardar.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex, Dataproc, Dataproc Metastore, BigQuery, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Ir a IAM
2. Selecciona el proyecto.
3. Haz clic en Conceder acceso.

4. En el campo Nuevos principales, introduce tu identificador de usuario. Normalmente, se trata de la dirección de correo de una cuenta de Google.

5. En la lista Selecciona un rol, elige un rol.
6. Para conceder más roles, haz clic en Añadir otro rol y añade cada rol adicional.
7. Haz clic en Guardar.
Crea un segmento de Cloud Storage:
1. In the Google Cloud console, go to the Cloud Storage Buckets page.

   Go to Buckets

2. Click Create.
3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
   1. For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
   2. In the Choose where to store your data section, do the following:
      1. Select a Location type.
      2. Choose a location where your bucket's data is permanently stored from the Location type drop-down menu.
         • If you select the dual-region location type, you can also choose to enable turbo replication by using the relevant checkbox.
      3. To set up cross-bucket replication, select Add cross-bucket replication via Storage Transfer Service and follow these steps:

         Set up cross-bucket replication

         1. In the Bucket menu, select a bucket.

         2. In the Replication settings section, click Configure to configure settings for the replication job.

            The Configure cross-bucket replication pane appears.

            • To filter objects to replicate by object name prefix, enter a prefix that you want to include or exclude objects from, then click Add a prefix.
            • To set a storage class for the replicated objects, select a storage class from the Storage class menu. If you skip this step, the replicated objects will use the destination bucket's storage class by default.
            • Click Done.
   3. In the Choose how to store your data section, do the following:
      1. In the Set a default class section, select the following: Standard.
      2. To enable hierarchical namespace, in the Optimize storage for data-intensive workloads section, select Enable hierarchical namespace on this bucket.
         Note: You cannot enable hierarchical namespace in existing buckets.
   4. In the Choose how to control access to objects section, select whether or not your bucket enforces public access prevention, and select an access control method for your bucket's objects.
      Note: You cannot change the Prevent public access setting if this setting is enforced at an organization policy.
   5. In the Choose how to protect object data section, do the following:
      • Select any of the options under Data protection that you want to set for your bucket.
        • To enable soft delete, click the Soft delete policy (For data recovery) checkbox, and specify the number of days you want to retain objects after deletion.
        • To set Object Versioning, click the Object versioning (For version control) checkbox, and specify the maximum number of versions per object and the number of days after which the noncurrent versions expire.
        • To enable the retention policy on objects and buckets, click the Retention (For compliance) checkbox, and then do the following:
          • To enable Object Retention Lock, click the Enable object retention checkbox.
          • To enable Bucket Lock, click the Set bucket retention policy checkbox, and choose a unit of time and a length of time for your retention period.
      • To choose how your object data will be encrypted, expand the Data encryption section (), and select a Data encryption method.
4. Click Create.

Crear un lago

Un lago es una estructura lógica que representa un dominio de datos o una unidad de negocio. Por ejemplo, si necesitas organizar los datos en función del uso de los grupos, crearías un lago para cada departamento (por ejemplo, ventas, finanzas y comercio).

En los pasos siguientes se explica cómo crear un lago con la consola de Google Cloud .

1. En la Google Cloud consola, ve a la página Lagos de Dataplex Universal Catalog.

   Ir a Lagos

2. Haz clic en Crear.

3. Introduce un nombre visible.

4. El ID del lago se genera automáticamente.

5. Especifique la región en la que se creará el lake.

   En los lagos creados en una región determinada (por ejemplo, us-central1), se pueden adjuntar datos de una sola región (us-central1) y de varias regiones (us multi-region), en función de la configuración de la zona.

6. Haz clic en Crear.

Añadir una zona a un lago

Una vez que hayas creado el lago, podrás añadirle zonas. Las zonas son agrupaciones lógicas dentro de un lake que resultan útiles para categorizar datos estructurados y sin estructurar.

1. En la vista Gestionar, haz clic en el nombre del lake al que quieras añadir una zona.

2. Haz clic en Añadir zona.

3. Introduzca un nombre visible para la zona.

   Nota: El ID de zona se genera automáticamente. Si lo necesitas, puedes proporcionar tu propio documento de identificación.

4. Haga clic en el desplegable Tipo. Elige Zona sin procesar o Zona seleccionada. Más información sobre los tipos de zonas

5. En Ubicaciones de datos, selecciona Regional o Multirregional. No podrás cambiar tu elección más adelante. Los datos de una sola región y de varias regiones no se pueden mezclar en la misma zona.

   Nota: La función de descubrimiento está habilitada de forma predeterminada. Haz clic para desplegar Configuración de Discovery y comprueba que la opción Habilitar Discovery de metadatos esté seleccionada. Más información sobre Discovery

6. Haz clic en Crear.

La creación de la zona puede tardar unos minutos.

Adjuntar un recurso

Los datos se pueden almacenar en cubos de Cloud Storage o en conjuntos de datos de BigQuery, y se pueden adjuntar como recursos a zonas de datos de un lago de Universal Catalog de Dataplex.

Para adjuntar tu contenedor de Cloud Storage como recurso, sigue estos pasos:

1. En la vista Gestionar, haga clic en el nombre del lago al que quiera adjuntar un segmento de Cloud Storage.

2. En la pestaña Zonas, haga clic en la zona a la que quiera añadir el recurso.

3. En la pestaña Recursos, haga clic en Añadir recursos.

4. Haz clic en Añadir un recurso.

5. En Type (Tipo), selecciona Storage bucket (Contenedor de almacenamiento).

6. En Nombre visible, escribe un nombre para el recurso.

   Nota: El ID del recurso se genera automáticamente. Si lo necesitas, puedes proporcionar tu propio documento de identificación.

7. En el campo Bucket (Contenedor), haz clic en Browse (Explorar). Si tienes un segmento de Cloud Storage, búscalo y haz clic en Seleccionar. Si no tienes un contenedor de Cloud Storage, puedes crear uno haciendo clic en el botón .

   1. Introduce un nombre único para el segmento. Haz clic en Continuar.

   2. Elige un Tipo de ubicación. Haz clic en Continuar.

   3. Elige una clase de almacenamiento predeterminada para tus datos. Haz clic en Continuar.

   4. Elige un nivel de control de acceso. Haz clic en Continuar.

   5. Elige una opción de protección de datos o Ninguna. Haz clic en Continuar.

   6. Haz clic en Crear.

   7. Haz clic en Select (Seleccionar).

8. Haz clic en Listo.

9. Haz clic en Continuar.

10. En Ajustes de descubrimiento, selecciona Heredar para heredar los ajustes de descubrimiento del nivel de zona.

11. Haz clic en Continuar.

12. En Añadir recursos, haga clic en Enviar.

Espera a que termine de crearse el recurso.

Para usar tu lake, consulta la sección Pasos siguientes. De lo contrario, elimina los recursos que hayas creado siguiendo los pasos de la sección Limpieza.

Limpieza

Para evitar que se apliquen cargos en tu cuenta de Google Cloud por los recursos utilizados en esta página, sigue estos pasos.

Precaución: Eliminar un proyecto tiene los siguientes efectos:

• Se elimina todo el contenido del proyecto. Si has usado un proyecto que ya existía para las tareas de este documento, cuando lo elimines, también se eliminará cualquier otro trabajo que hayas realizado en él.
• Se pierden los IDs de proyecto personalizados. Cuando creaste este proyecto, es posible que hayas creado un ID de proyecto personalizado que quieras usar en el futuro. Para conservar las URLs que usan el ID del proyecto, como una URL appspot.com, elimina los recursos seleccionados dentro del proyecto en lugar de eliminar todo el proyecto.

Si tienes previsto consultar varias arquitecturas, tutoriales o guías de inicio rápido, reutilizar los proyectos puede ayudarte a no superar los límites de cuota de proyectos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

También puedes eliminar los recursos utilizados en este tutorial. Un lago no se elimina hasta que se eliminan todos sus recursos de zona de datos. Del mismo modo, una zona de datos no se elimina a menos que elimine todos sus recursos de activos.

Desasociar el segmento de almacenamiento

Para separar el recurso de Universal Catalog de Dataplex que has creado, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Lagos de Dataplex Universal Catalog.

   Ir a Lagos

2. Haz clic en el nombre del lago que has creado.

3. En la pestaña Zonas, haga clic en el nombre de la zona que ha creado.

4. En la pestaña Recursos, seleccione el recurso que quiera desvincular marcando la casilla situada a la izquierda del nombre del contenedor.

5. Haz clic en Eliminar recurso.

6. Haz clic en Eliminar para confirmar la acción.

Eliminar la zona

Para eliminar la zona de Universal Catalog de Dataplex que has creado, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Lagos de Dataplex Universal Catalog.

   Ir a Lagos

2. Haz clic en el lago que has creado.

3. En la pestaña Zonas, seleccione la zona que quiera eliminar marcando la casilla situada a la izquierda del nombre de la zona de datos.

4. Haz clic en Eliminar zona.

5. Haz clic en Eliminar para confirmar la acción.

Eliminar el lago

En los siguientes pasos se muestra cómo eliminar el lago de Universal Catalog de Dataplex que has creado.

1. En la Google Cloud consola, ve a la página Lagos de Dataplex Universal Catalog.

   Ir a Lagos

2. Haz clic en el lago que has creado.

3. En la parte superior de la página, haz clic en Eliminar.

4. Para confirmar la eliminación, escribe "delete" en el campo.

5. Haz clic en Eliminar lago para confirmar la eliminación.

Siguientes pasos

• Organiza tus datos en lagos y zonas.
• Protege tu lago.
• Consulta los metadatos detectados mediante la Google Cloud consola.
• Consulta los metadatos detectados mediante la API.