Este documento ofrece orientación y prácticas recomendadas para usar Dataplex
Elige un proyecto para tu lake
Cuando selecciones el proyecto en el que alojarás tu lago, ten en cuenta los siguientes factores:
El proyecto debe pertenecer a la misma Perímetro de los Controles del servicio de VPC que los datos destinados a estar dentro del lake.
La cuenta de servicio del lake requiere permisos de administrador en la buckets de Cloud Storage o conjuntos de datos de BigQuery. Dataplex crea tablas externas en BigQuery para las tablas descubiertas en Cloud Storage. Dataplex también pone a disposición los metadatos de las tablas de BigQuery y las tablas descubiertas en el bucket de Cloud Storage en un Metastore de Dataproc. El Dataproc Metastore se encuentra dentro del proyecto de data lake.
Configuración y limitaciones de Cloud Storage
Región: Dataplex admite una sola región y buckets multirregionales en algunas regiones de Google Cloud.
Clase de almacenamiento: Se admiten los buckets de Cloud Storage de todas las clases de almacenamiento (Standard, Nearline, Coldline y Archive). Es posible que se apliquen costos adicionales de recuperación de datos por acceder a datos de Nearline, Coldline o Archive, o por escanearlos.
LCA de bucket: Dataplex solo admite buckets de Cloud Storage con controles de acceso uniformes. No se admiten controles de acceso detallados.
Pagos del solicitante: Los buckets de Cloud Storage con la función de pagos del solicitante habilitada no son compatibles.
Orientación sobre seguridad y permisos
Dataplex requiere agregar Dataplex cuentas de servicio como una cuenta de servicio administrativa en buckets y conjuntos de datos administrados.
Dataplex permite a los analistas acceder a buckets de Cloud Storage y conjuntos de datos de BigQuery en muchos proyectos. Para habilitar este acceso, Dataplex requiere agregar el servicio de Dataplex con controles administrativos para estos proyectos.
Para Discovery, Dataplex agrega la cuenta de servicio de Dataproc Metastore a los buckets de Cloud Storage. Si tienes tu propio clúster de Dataproc Metastore, te recomendamos que hagas que el lago de Dataplex use tu servicio de Dataproc Metastore, que es una opción cuando creas tu lago.
Si decides agregar un bucket de Cloud Storage con acceso preciso a un lake Dataplex proporcionará acceso completo a ese bucket a través del lake. porque los permisos de Dataplex se propagan a todos los objetos bucket. Si necesitas un acceso detallado, se recomienda dividir los datos en varios buckets.