En esta página, se explica cómo agregar, actualizar y quitar buckets de Cloud Storage y conjuntos de datos de BigQuery como recursos en zonas de Dataplex existentes.
Descripción general
Un recurso se asigna a los datos almacenados en Cloud Storage o BigQuery. Tú puedes asignar como recursos los datos almacenados en proyectos separados de Google Cloud dentro de un lake. Puedes conectar buckets de Cloud Storage o conjuntos de datos de BigQuery existentes para que se administren desde el lake.
Antes de comenzar
Si aún no lo hiciste, crea un lake y una zona en él.
La mayoría de los comandos
gcloud lakesrequiere una ubicación. Puedes especificar la ubicación mediante la marca--location.
Control de acceso
Para quitar recursos, otorga los roles de IAM que contengan los permisos
dataplex.lakes.delete,dataplex.zones.deleteodataplex.assets.deletede IAM. Los roles específicos deroles/dataplex.adminyroles/dataplex.editorde Dataplex se pueden usar para otorgar estos permisos.Para agregar recursos, otorga los roles de IAM que contengan los permisos
create,dataplex.lakes.create,dataplex.zones.createodataplex.assets.create. Los rolesroles/dataplex.adminyroles/dataplex.editorcontienen lo siguiente: permisos.También puedes otorgar permisos a usuarios o grupos mediante los roles heredados
roles/owneryroles/editor.Debes autorizar el servicio de Dataplex en los recursos que se se conecta al lake de Dataplex. La autorización se crea se otorga de manera implícita a los recursos del proyecto en el que se crea el lake. Para otros proyectos, autoriza el servicio de Dataplex en los recursos de forma explícita.
Para obtener más información, consulta IAM y control de acceso de Dataplex.
Otorga roles para los buckets de Cloud Storage
Para conectar un bucket de Cloud Storage de otro proyecto a tu lake,
debes otorgar acceso a la cuenta de servicio de Dataplex
(service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com,
recuperado de la página de detalles del lake en la consola) Dataplex
rol de cuenta de servicio (roles/dataplex.serviceAgent) en el proyecto que
que contiene el bucket. Este rol proporciona al servicio de Dataplex el rol de administrador a nivel del bucket para que se puedan establecer permisos en el bucket.
Otorga roles para conjuntos de datos de BigQuery
Para conectar un conjunto de datos de BigQuery de otro proyecto a tu lake, debes otorgar a la cuenta de servicio de Dataplex, Rol de administrador de BigQuery en el conjunto de datos.
Consideraciones de los Controles del servicio de VPC
Dataplex no infringe los perímetros de los Controles del servicio de VPC. Antes de añadir un activo al lago, asegúrate de que el bucket o el conjunto de datos subyacentes se encuentren en la misma red de Controles del servicio de VPC que el lago.
Para obtener más información, consulta Controles del servicio de VPC con Dataplex.
Agrega un recurso
Puedes agregar un bucket de Cloud Storage o un conjunto de datos de BigQuery
recurso con la emisión de un método de la API de Dataplex
lakes.zones.assets.create
o agregar un bucket o un conjunto de datos en la página Zona de datos abierta en un navegador local.
Si no hay superposición entre la región del lake de Dataplex y una de las regiones de los buckets de Cloud Storage, no puedes agregar el bucket a una zona de tu lake.
Para obtener más información sobre la ubicación de la región de un activo de Cloud Storage y cómo Dataplex controla la ubicación de un bucket cuando se crea el conjunto de datos de publicación, consulta Recursos regionales.
Console
En la consola de Google Cloud, abre la página Dataplex:
En la página Administrar, haz clic en el lake al que deseas agregar un bucket de Cloud Storage o un conjunto de datos de BigQuery. Se abrirá la página del lake.
En la pestaña Zonas, haz clic en el nombre de la zona de datos a la que en la que deseas agregar el recurso. La página Zona de datos de esa zona de datos se abre.
En la pestaña Recursos, haz clic en + Agregar recursos. Se abrirá la página Agregar recursos.
Haz clic en Agregar un recurso.
En el campo Tipo, selecciona Conjunto de datos de BigQuery o Bucket de Cloud Storage.
En el campo Display name, ingresa un nombre para el recurso nuevo.
En el campo ID, ingresa un ID único para el activo.
Ingresa una Descripción (opcional).
En el campo Conjunto de datos o Bucket (según el tipo de tu recurso), haz lo siguiente: haz clic en Explorar para buscar y seleccionar tu bucket de Cloud Storage. conjunto de datos de BigQuery.
Opcional: Si el tipo de activo es Bucket de Cloud Storage y quieres que Dataplex lo administre, selecciona la casilla de verificación Upgrade to Managed. Si eliges esta opción, no necesitarás actualizar el activo por separado. Esta opción no está disponible para los conjuntos de datos de BigQuery.
Haga clic en Continuar.
Elige el resto de los valores de los parámetros. Para obtener más información sobre la configuración de seguridad, consulta Seguridad de Lake.
Haz clic en Enviar para agregar el recurso.
Verifica que hayas regresado a la página de la zona de datos y que tu nueva el recurso aparece en la lista de recursos.
REST
Sigue las instrucciones de la API para agregar un bucket. con el Explorador de APIs.
Cuando la adición se realiza correctamente, la zona de datos ingresa automáticamente al estado activo. Si falla, la zona de datos se revierte a su estado correcto anterior.
Actualiza un activo de bucket de Cloud Storage
Cuando agregas un activo de tipo bucket de Cloud Storage, Dataplex publica automáticamente las tablas externas de BigQuery para las tablas alojadas en el activo.
Cuando actualizas un recurso de bucket de Cloud Storage, Dataplex quita las tablas externas adjuntas y crea Tablas de BigLake. Las tablas de BigLake admiten una mejor seguridad detallada, incluido el enmascaramiento de datos dinámico, a nivel de fila y de columna.
Puedes actualizar un recurso de bucket de Cloud Storage en la consola de Google Cloud o emitiendo el método de la API de Dataplex Parche.
Console
En la consola de Google Cloud, abre la página de Dataplex:
En la página Administrar, haz clic en el nombre del lake. Se abrirá la página del lago.
En la pestaña Zonas, haz clic en el nombre de la zona de datos. El se abrirá la página de la zona de datos.
En la pestaña Recursos, haz clic en el nombre del recurso que deseas actualizar.
Haz clic en Actualizar a administrado.
REST
Sigue las instrucciones de la API para actualizar un recurso de bucket. con el explorador de Cloud.
Cómo cambiar un recurso de bucket de Cloud Storage a una versión inferior
Cuando rebajas la versión de un activo de bucket de Cloud Storage, Dataplex quita las tablas de BigLake adjuntas y crea tablas externas.
Puedes cambiar a una versión inferior un activo de bucket de Cloud Storage en la consola de Google Cloud o mediante el método Patch de la API de Dataplex, con el campo readAccessMode establecido en DIRECT en ResourceSpec.
Console
En la consola de Google Cloud, abre la página Dataplex:
En la página Administrar, haz clic en el nombre del lake. Se abrirá la página del lago.
En la pestaña Zonas, haz clic en el nombre de la zona de datos. El se abrirá la página de la zona de datos.
En la pestaña Recursos, haz clic en el nombre del activo que quieres agregar. actualización.
Haz clic en Cambiar a una versión inferior de Managed.
REST
Sigue las instrucciones de la API para reducir la versión de un activo de bucket con el Explorador de Cloud. Asegúrate de configurar readAccessMode
a DIRECT en
ResourceSpec
Cómo quitar un recurso
Puedes quitar un bucket de Cloud Storage o un activo de conjunto de datos de BigQuery en la consola de Google Cloud o emitiendo el método lakes.zones.assets.delete de la API de Dataplex.
Quita el recurso de la zona de datos o del lake antes de conectarlo a un
una diferente.
En las siguientes instrucciones, se muestra cómo quitar un Dataplex recurso con la consola de Google Cloud o la API de Dataplex.
Console
En la consola de Google Cloud, abre la página de Dataplex:
En la página Administrar, haz clic en el lake desde el cual quieres quitar un bucket de Cloud Storage o conjunto de datos de BigQuery. Se abrirá la página del lago correspondiente.
En la pestaña Zonas, haz clic en el nombre de la zona de datos que quieres quitar el bucket de Cloud Storage o BigQuery del conjunto de datos. Se abrirá la página de zona de datos de esa zona.
En la pestaña Recursos, marca la casilla a la izquierda del nombre del activo para seleccionarlo.
Haz clic en Borrar activo para quitarlo.
En el cuadro de diálogo, haz clic en Borrar para confirmar la desvinculación.
REST
Sigue las instrucciones de la API para quitar un bucket. con el explorador de Cloud.
Próximos pasos
- Obtén más información sobre cómo descubrir datos.
- Obtén más información sobre cómo crear un lake.
- Obtén más información sobre Cloud Audit Logs.