Administra recursos de datos en un lake

En esta página, se explica cómo agregar, actualizar y quitar buckets de Cloud Storage y conjuntos de datos de BigQuery como recursos en zonas de Dataplex existentes.

Descripción general

Un recurso se asigna a los datos almacenados en Cloud Storage o BigQuery. Tú puedes asignar como recursos los datos almacenados en proyectos separados de Google Cloud dentro de un lake. Puedes conectar buckets de Cloud Storage o conjuntos de datos de BigQuery existentes para que se administren desde el lake.

Nota: Otra zona de datos o lake no puede administrar los recursos adjuntos.

Antes de comenzar

• Si aún no lo hiciste, crea un lake y una zona en él.

• La mayoría de los comandos gcloud lakes requiere una ubicación. Puedes especificar la ubicación mediante la marca --location.

Control de acceso

• Para quitar recursos, otorga los roles de IAM que contengan los permisos dataplex.lakes.delete, dataplex.zones.delete o dataplex.assets.delete de IAM. Los roles específicos de roles/dataplex.admin y roles/dataplex.editor de Dataplex se pueden usar para otorgar estos permisos.

• Para agregar recursos, otorga los roles de IAM que contengan los permisos create, dataplex.lakes.create, dataplex.zones.create o dataplex.assets.create. Los roles roles/dataplex.admin y roles/dataplex.editor contienen lo siguiente: permisos.

• También puedes otorgar permisos a usuarios o grupos mediante los roles heredados roles/owner y roles/editor.

• Debes autorizar el servicio de Dataplex en los recursos que se se conecta al lake de Dataplex. La autorización se crea se otorga de manera implícita a los recursos del proyecto en el que se crea el lake. Para otros proyectos, autoriza el servicio de Dataplex en los recursos de forma explícita.

Para obtener más información, consulta IAM y control de acceso de Dataplex.

Otorga roles para los buckets de Cloud Storage

Para conectar un bucket de Cloud Storage de otro proyecto a tu lake, debes otorgar acceso a la cuenta de servicio de Dataplex ([e-mail], recuperado de la página de detalles del lake en la consola) Dataplex rol de cuenta de servicio (roles/dataplex.serviceAgent) en el proyecto que que contiene el bucket. Este rol proporciona al servicio de Dataplex el rol de administrador a nivel del bucket para que se puedan establecer permisos en el bucket.

Otorga roles para conjuntos de datos de BigQuery

Para conectar un conjunto de datos de BigQuery de otro proyecto a tu lake, debes otorgar a la cuenta de servicio de Dataplex, Rol de administrador de BigQuery en el conjunto de datos.

Consideraciones de los Controles del servicio de VPC

Dataplex no infringe los perímetros de los Controles del servicio de VPC. Antes de añadir un activo al lago, asegúrate de que el bucket o el conjunto de datos subyacentes se encuentren en la misma red de Controles del servicio de VPC que el lago.

Para obtener más información, consulta Controles del servicio de VPC con Dataplex.

Agrega un recurso

Puedes agregar un bucket de Cloud Storage o un conjunto de datos de BigQuery recurso con la emisión de un método de la API de Dataplex lakes.zones.assets.create o agregar un bucket o un conjunto de datos en la página Zona de datos abierta en un navegador local.

Nota: Puedes crear varios recursos en una zona de datos de forma simultánea. Puedes seguir usando la zona de datos mientras se agrega el recurso.

Si no hay superposición entre la región del lake de Dataplex y una de las regiones de los buckets de Cloud Storage, no puedes agregar el bucket a una zona de tu lake.

Para obtener más información sobre la ubicación de la región de un activo de Cloud Storage y cómo Dataplex controla la ubicación de un bucket cuando se crea el conjunto de datos de publicación, consulta Recursos regionales.

Console

1. En la consola de Google Cloud, abre la página Dataplex:

   Abre Dataplex en Consola de Google Cloud

2. En la página Administrar, haz clic en el lake al que deseas agregar un bucket de Cloud Storage o un conjunto de datos de BigQuery. Se abrirá la página del lake.

   

3. En la pestaña Zonas, haz clic en el nombre de la zona de datos a la que en la que deseas agregar el recurso. La página Zona de datos de esa zona de datos se abre.

4. En la pestaña Recursos, haz clic en + Agregar recursos. Se abrirá la página Agregar recursos.

5. Haz clic en Agregar un recurso.

6. En el campo Tipo, selecciona Conjunto de datos de BigQuery o Bucket de Cloud Storage.

7. En el campo Display name, ingresa un nombre para el recurso nuevo.

8. En el campo ID, ingresa un ID único para el activo.

9. Ingresa una Descripción (opcional).

10. En el campo Conjunto de datos o Bucket (según el tipo de tu recurso), haz lo siguiente: haz clic en Explorar para buscar y seleccionar tu bucket de Cloud Storage. conjunto de datos de BigQuery.

11. Opcional: Si el tipo de activo es Bucket de Cloud Storage y quieres que Dataplex lo administre, selecciona la casilla de verificación Upgrade to Managed. Si eliges esta opción, no necesitarás actualizar el activo por separado. Esta opción no está disponible para los conjuntos de datos de BigQuery.

12. Haga clic en Continuar.

13. Elige el resto de los valores de los parámetros. Para obtener más información sobre la configuración de seguridad, consulta Seguridad de Lake.

14. Haz clic en Enviar para agregar el recurso.

15. Verifica que hayas regresado a la página de la zona de datos y que tu nueva el recurso aparece en la lista de recursos.

REST

Sigue las instrucciones de la API para agregar un bucket. con el Explorador de APIs.

Cuando la adición se realiza correctamente, la zona de datos ingresa automáticamente al estado activo. Si falla, la zona de datos se revierte a su estado correcto anterior.

Actualiza un activo de bucket de Cloud Storage

Cuando agregas un activo de tipo bucket de Cloud Storage, Dataplex publica automáticamente las tablas externas de BigQuery para las tablas alojadas en el activo.

Cuando actualizas un recurso de bucket de Cloud Storage, Dataplex quita las tablas externas adjuntas y crea Tablas de BigLake. Las tablas de BigLake admiten una mejor seguridad detallada, incluido el enmascaramiento de datos dinámico, a nivel de fila y de columna.

Nota: Los datos no estructurados de tipo Fileset en los buckets de Cloud Storage, que están marcados como Managed, se publican como tablas de objetos de BigQuery.

Puedes actualizar un recurso de bucket de Cloud Storage en la consola de Google Cloud o emitiendo el método de la API de Dataplex Parche.

Console

1. En la consola de Google Cloud, abre la página de Dataplex:

   Ir a Dataplex

2. En la página Administrar, haz clic en el nombre del lake. Se abrirá la página del lago.

3. En la pestaña Zonas, haz clic en el nombre de la zona de datos. El se abrirá la página de la zona de datos.

4. En la pestaña Recursos, haz clic en el nombre del recurso que deseas actualizar.

5. Haz clic en Actualizar a administrado.

REST

Sigue las instrucciones de la API para actualizar un recurso de bucket. con el explorador de Cloud.

Cómo cambiar un recurso de bucket de Cloud Storage a una versión inferior

Cuando rebajas la versión de un activo de bucket de Cloud Storage, Dataplex quita las tablas de BigLake adjuntas y crea tablas externas.

Puedes cambiar a una versión inferior un activo de bucket de Cloud Storage en la consola de Google Cloud o mediante el método Patch de la API de Dataplex, con el campo readAccessMode establecido en DIRECT en ResourceSpec.

Console

1. En la consola de Google Cloud, abre la página Dataplex:

   Ir a Dataplex

2. En la página Administrar, haz clic en el nombre del lake. Se abrirá la página del lago.

3. En la pestaña Zonas, haz clic en el nombre de la zona de datos. El se abrirá la página de la zona de datos.

4. En la pestaña Recursos, haz clic en el nombre del activo que quieres agregar. actualización.

5. Haz clic en Cambiar a una versión inferior de Managed.

REST

Sigue las instrucciones de la API para reducir la versión de un activo de bucket con el Explorador de Cloud. Asegúrate de configurar readAccessMode a DIRECT en ResourceSpec

Cómo quitar un recurso

Puedes quitar un bucket de Cloud Storage o un activo de conjunto de datos de BigQuery en la consola de Google Cloud o emitiendo el método lakes.zones.assets.delete de la API de Dataplex. Quita el recurso de la zona de datos o del lake antes de conectarlo a un una diferente.

Nota: El bucket de Cloud Storage no se borra cuando lo quitas de tu zona de datos o lake. Si lo deseas, debes borrarlo de forma explícita.

En las siguientes instrucciones, se muestra cómo quitar un Dataplex recurso con la consola de Google Cloud o la API de Dataplex.

Console

1. En la consola de Google Cloud, abre la página de Dataplex:

   Abre Dataplex en la consola de Google Cloud

2. En la página Administrar, haz clic en el lake desde el cual quieres quitar un bucket de Cloud Storage o conjunto de datos de BigQuery. Se abrirá la página del lago correspondiente.

   

3. En la pestaña Zonas, haz clic en el nombre de la zona de datos que quieres quitar el bucket de Cloud Storage o BigQuery del conjunto de datos. Se abrirá la página de zona de datos de esa zona.

4. En la pestaña Recursos, marca la casilla a la izquierda del nombre del activo para seleccionarlo.

5. Haz clic en Borrar activo para quitarlo.

6. En el cuadro de diálogo, haz clic en Borrar para confirmar la desvinculación.

REST

Sigue las instrucciones de la API para quitar un bucket. con el explorador de Cloud.

Próximos pasos

• Obtén más información sobre cómo descubrir datos.
• Obtén más información sobre cómo crear un lake.
• Obtén más información sobre Cloud Audit Logs.