Gestionar recursos de Dataplex Universal Catalog con restricciones personalizadas

En esta página se explica cómo usar las restricciones personalizadas del servicio de políticas de organización para restringir operaciones específicas en los siguientes recursos: Google Cloud

  • dataplex.googleapis.com/AspectType
  • dataplex.googleapis.com/EntryType
  • dataplex.googleapis.com/EntryGroup
  • dataplex.googleapis.com/DataScan
  • dataplex.googleapis.com/MetadataJob

Para obtener más información sobre la política de organización, consulta Políticas de organización personalizadas.

Acerca de las políticas y las restricciones de organización

El Google Cloud servicio de políticas de organización te permite controlar los recursos de tu organización de forma centralizada y programática. Como administrador de políticas de organización, puedes definir una política de organización, que es un conjunto de restricciones llamadas restricciones que se aplican a losGoogle Cloud recursos y a los elementos descendientes de esos recursos en la Google Cloud jerarquía de recursos. Puedes aplicar políticas de organización a nivel de organización, carpeta o proyecto.

La política de la organización proporciona restricciones gestionadas integradas para varios servicios de Google Cloud . Sin embargo, si quieres tener un control más granular y personalizable sobre los campos específicos que están restringidos en las políticas de tu organización, también puedes crear restricciones personalizadas y usarlas en una política de la organización.

Herencia de políticas

De forma predeterminada, las políticas de organización se heredan de los descendientes de los recursos en los que se aplican. Por ejemplo, si aplicas una política a una carpeta, Google Cloud se aplicará a todos los proyectos de la carpeta. Para obtener más información sobre este comportamiento y cómo cambiarlo, consulta las reglas de evaluación de la jerarquía.

Limitaciones

Las restricciones personalizadas y las políticas de organización no se admiten en los siguientes recursos:

  • dataplex.googleapis.com/Lake
  • dataplex.googleapis.com/Zone
  • dataplex.googleapis.com/Task
  • dataplex.googleapis.com/Asset
  • dataplex.googleapis.com/Environment

Antes de empezar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

  6. Para inicializar gcloud CLI, ejecuta el siguiente comando:

    gcloud init
  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  8. Verify that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.

  10. Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

  11. Para inicializar gcloud CLI, ejecuta el siguiente comando:

    gcloud init
  12. Asegúrate de que conoces el ID de tu organización.
  13. Roles obligatorios

    Para obtener los permisos que necesitas para gestionar políticas de organización personalizadas, pide a tu administrador que te conceda el rol de gestión de identidades y accesos Administrador de políticas de organización (roles/orgpolicy.policyAdmin) en el recurso de la organización. Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

    También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.

    Crear una restricción personalizada

    Una restricción personalizada se define en un archivo YAML mediante los recursos, los métodos, las condiciones y las acciones que admite el servicio en el que se aplica la política de la organización. Las condiciones de tus restricciones personalizadas se definen mediante el lenguaje de expresión común (CEL). Para obtener más información sobre cómo crear condiciones en restricciones personalizadas con CEL, consulta la sección sobre CEL del artículo Crear y gestionar restricciones personalizadas.

    Para crear una restricción personalizada, crea un archivo YAML con el siguiente formato:

    name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
    resourceTypes:
    - RESOURCE_NAME
    methodTypes:
    - CREATE
    - UPDATE
    condition: "CONDITION"
    actionType: ACTION
    displayName: DISPLAY_NAME
    description: DESCRIPTION
    

    Haz los cambios siguientes:

    • ORGANIZATION_ID: el ID de tu organización, como 123456789.

    • CONSTRAINT_NAME: el nombre que quieras asignar a la nueva restricción personalizada. Una restricción personalizada debe empezar por custom. y solo puede incluir letras mayúsculas, letras minúsculas o números. Por ejemplo, custom.denyDataplexEntryGroup. La longitud máxima de este campo es de 70 caracteres.

    • RESOURCE_NAME: nombre completo del recursoGoogle Cloud que contiene el objeto y el campo que quieres restringir. Por ejemplo, dataplex.googleapis.com/dataplex.googleapis.com/EntryGroup.

    • CONDITION: una condición CEL que se escribe en una representación de un recurso de servicio compatible. Este campo tiene una longitud máxima de 1000 caracteres. Consulta los recursos admitidos para obtener más información sobre los recursos con los que puedes escribir condiciones. Por ejemplo, "resource.description.contains('invalid_name')".

    • ACTION: la acción que se debe llevar a cabo si se cumple la condición condition. Los valores posibles son ALLOW y DENY.

    • DISPLAY_NAME: nombre descriptivo de la restricción. Este campo tiene una longitud máxima de 200 caracteres.

    • DESCRIPTION: descripción de la restricción que se mostrará como mensaje de error cuando se infrinja la política. Este campo tiene una longitud máxima de 2000 caracteres.

    Para obtener más información sobre cómo crear una restricción personalizada, consulta Definir restricciones personalizadas.

    Configurar una restricción personalizada

    Una vez que hayas creado el archivo YAML de una nueva restricción personalizada, debes configurarla para que esté disponible en las políticas de organización de tu organización. Para configurar una restricción personalizada, usa el comando gcloud org-policies set-custom-constraint:
    gcloud org-policies set-custom-constraint CONSTRAINT_PATH
    Sustituye CONSTRAINT_PATH por la ruta completa a tu archivo de restricciones personalizadas. Por ejemplo, /home/user/customconstraint.yaml. Una vez completado el proceso, las restricciones personalizadas estarán disponibles como políticas de organización en la lista de Google Cloud políticas de organización. Para verificar que la restricción personalizada existe, usa el comando gcloud org-policies list-custom-constraints:
    gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
    Sustituye ORGANIZATION_ID por el ID del recurso de tu organización. Para obtener más información, consulta Ver políticas de la organización.

    Aplicar una política de organización personalizada

    Para aplicar una restricción, crea una política de organización que haga referencia a ella y, a continuación, aplica esa política de organización a un Google Cloud recurso.

    Consola

    1. En la Google Cloud consola, ve a la página Políticas de la organización.

      Ir a Políticas de organización

    2. En el selector de proyectos, elige el proyecto para el que quieras definir la política de organización.
    3. En la lista de la página Políticas de organización, selecciona la restricción para ver la página Detalles de la política correspondiente.
    4. Para configurar la política de la organización de este recurso, haz clic en Gestionar política.
    5. En la página Editar política, selecciona Anular política del recurso superior.
    6. Haz clic en Añadir regla.
    7. En la sección Aplicación, selecciona si quieres activar o desactivar la aplicación de esta política de la organización.
    8. Opcional: Para que la política de la organización dependa de una etiqueta, haz clic en Añadir condición. Ten en cuenta que, si añades una regla condicional a una política de organización, debes añadir al menos una regla incondicional o la política no se podrá guardar. Para obtener más información, consulta Configurar una política de organización con etiquetas.
    9. Haz clic en Probar cambios para simular el efecto de la política de la organización. La simulación de políticas no está disponible para las restricciones gestionadas antiguas. Para obtener más información, consulta el artículo Probar los cambios en las políticas de la organización con el simulador de políticas.
    10. Para finalizar y aplicar la política de organización, haz clic en Definir política. La política tarda hasta 15 minutos en aplicarse.

    gcloud

    Para crear una política de organización con reglas booleanas, crea un archivo YAML de política que haga referencia a la restricción:

          name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
          spec:
            rules:
            - enforce: true
        

    Haz los cambios siguientes:

    • PROJECT_ID: el proyecto en el que quieras aplicar la restricción.
    • CONSTRAINT_NAME: el nombre que has definido para tu restricción personalizada. Por ejemplo, custom.denyDataplexEntryGroup.

    Para aplicar la política de la organización que contiene la restricción, ejecuta el siguiente comando:

        gcloud org-policies set-policy POLICY_PATH
        

    Sustituye POLICY_PATH por la ruta completa al archivo YAML de la política de tu organización. La política tarda hasta 15 minutos en aplicarse.

    Probar la política de organización personalizada

    En el siguiente ejemplo, se crea una restricción y una política personalizadas que impiden que los usuarios creen grupos de entradas en un proyecto específico en el que la descripción del grupo de entradas contenga el texto invalid_name.

    Antes de empezar, debes saber lo siguiente:

    • ID de tu organización
    • Un ID de proyecto

    Crear la restricción

    1. Guarda el siguiente archivo como constraint-valid-entry-groups.yaml:

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyDataplexEntryGroup
      resourceTypes:
      - dataplex.googleapis.com/EntryGroup
      methodTypes:
      - CREATE
      condition: "resource.description.contains('invalid_name')"
      actionType: DENY
      displayName: Validate entry group description
      description: All new entry groups have valid descriptions.
      

      Define una restricción por la que, en cada grupo de entradas nuevo, si la descripción contiene el texto invalid_name, se deniega la operación.

    2. Aplica la restricción:

      gcloud org-policies set-custom-constraint ~/constraint-valid-entry-groups.yaml
      
    3. Verifica que la restricción exista:

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
      

      El resultado debería ser similar al siguiente:

      CUSTOM_CONSTRAINT                           ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                       DISPLAY_NAME
      custom.denyDataplexEntryGroup               DENY         CREATE         dataplex.googleapis.com/EntryGroup   Validate Entry Group description
      ...
      

    Crear la política

    1. Guarda el siguiente archivo como policy-deny-entry-group.yaml:

      name: projects/PROJECT_ID/policies/custom.denyDataplexEntryGroup
      spec:
        rules:
        - enforce: true
      

      Sustituye PROJECT_ID por el ID del proyecto.

    2. Aplica la política:

      gcloud org-policies set-policy ~/policy-deny-entry-group.yaml
      
    3. Comprueba que la política exista:

      gcloud org-policies list --project=PROJECT_ID
      

      El resultado debería ser similar al siguiente:

      CONSTRAINT                      LIST_POLICY    BOOLEAN_POLICY    ETAG
      custom.denyDataplexEntryGroup   -              SET               COCsm5QGENiXi2E=
      

    Después de aplicar la política, espera unos 15 minutos para que Google Cloud empiece a aplicarla.

    Probar la política

    Intenta crear un grupo de entradas en el proyecto:

    gcloud dataplex entry-groups create org-policy-test \
        --project=PROJECT_ID \
        --location=LOCATION \
        --display-name=DISPLAY_NAME \
        --description='invalid_name'
    

    Se ha denegado la operación. El resultado es el siguiente:

    Operation denied by custom org policy on resource 'projects/PROJECT_ID/locations/LOCATION/entryGroups/org-policy-test': ["customConstraints/custom.denyDataplexEntryGroup"]
    

    Ejemplos de políticas de organización personalizadas para casos prácticos habituales

    En esta tabla se muestran ejemplos de sintaxis de algunas restricciones personalizadas habituales.

    Descripción Sintaxis de las restricciones
    Requerir un tipo de aspecto específico para los tipos de entrada
        name: organizations/ORGANIZATION_ID/customConstraints/custom.requireAspectTypeForEntryType
        resourceTypes:
        - dataplex.googleapis.com/EntryType
        methodTypes:
        - CREATE
        - UPDATE
        condition: "resource.requiredAspects.exists(value, value.type =="projects/PROJECT_ID/locations/LOCATION/aspectTypes/exampleAspectType")
        actionType: DENY
        displayName: All entry types require aspect type exampleAspectType
        description: All entry types require the aspect type exampleAspectType
        
    Exigir una frecuencia de muestreo mínima para los análisis de creación de perfiles de datos
        name: organizations/ORGANIZATION_ID/customConstraints/custom.minimumSamplingDataScans
        resourceTypes:
        - dataplex.googleapis.com/DataScan
        methodTypes:
        - CREATE
        - UPDATE
        condition: "resource.dataProfileSpec.samplingPercent >= 20.0"
        actionType: ALLOW
        displayName: Require minimum sampling for data profiling scans
        description: All data profiling scans need at least 20% sampling rate
        

    Recursos admitidos en Dataplex Universal Catalog

    En la siguiente tabla se enumeran los recursos de Universal Catalog de Dataplex a los que puede hacer referencia en las restricciones personalizadas.

    Recurso Campo
    dataplex.googleapis.com/AspectType resource.authorization.alternateUsePermission
    resource.description
    resource.displayName
    resource.metadataTemplate.annotations.deprecated
    resource.metadataTemplate.annotations.description
    resource.metadataTemplate.annotations.displayName
    resource.metadataTemplate.annotations.displayOrder
    resource.metadataTemplate.annotations.stringType
    resource.metadataTemplate.annotations.stringValues
    resource.metadataTemplate.constraints.required
    resource.metadataTemplate.enumValues.deprecated
    resource.metadataTemplate.enumValues.index
    resource.metadataTemplate.enumValues.name
    resource.metadataTemplate.index
    resource.metadataTemplate.name
    resource.metadataTemplate.type
    resource.metadataTemplate.typeId
    resource.metadataTemplate.typeRef
    dataplex.googleapis.com/DataScan resource.data.entity
    resource.data.resource
    resource.dataDiscoverySpec.bigqueryPublishingConfig.connection
    resource.dataDiscoverySpec.bigqueryPublishingConfig.location
    resource.dataDiscoverySpec.bigqueryPublishingConfig.tableType
    resource.dataDiscoverySpec.storageConfig.csvOptions.delimiter
    resource.dataDiscoverySpec.storageConfig.csvOptions.encoding
    resource.dataDiscoverySpec.storageConfig.csvOptions.headerRows
    resource.dataDiscoverySpec.storageConfig.csvOptions.quote
    resource.dataDiscoverySpec.storageConfig.csvOptions.typeInferenceDisabled
    resource.dataDiscoverySpec.storageConfig.excludePatterns
    resource.dataDiscoverySpec.storageConfig.includePatterns
    resource.dataDiscoverySpec.storageConfig.jsonOptions.encoding
    resource.dataDiscoverySpec.storageConfig.jsonOptions.typeInferenceDisabled
    resource.dataProfileSpec.excludeFields.fieldNames
    resource.dataProfileSpec.includeFields.fieldNames
    resource.dataProfileSpec.postScanActions.bigqueryExport.resultsTable
    resource.dataProfileSpec.rowFilter
    resource.dataProfileSpec.samplingPercent
    resource.dataQualitySpec.postScanActions.bigqueryExport.resultsTable
    resource.dataQualitySpec.postScanActions.notificationReport.recipients.emails
    resource.dataQualitySpec.postScanActions.notificationReport.scoreThresholdTrigger.scoreThreshold
    resource.dataQualitySpec.rowFilter
    resource.dataQualitySpec.rules.column
    resource.dataQualitySpec.rules.description
    resource.dataQualitySpec.rules.dimension
    resource.dataQualitySpec.rules.ignoreNull
    resource.dataQualitySpec.rules.name
    resource.dataQualitySpec.rules.rangeExpectation.maxValue
    resource.dataQualitySpec.rules.rangeExpectation.minValue
    resource.dataQualitySpec.rules.rangeExpectation.strictMaxEnabled
    resource.dataQualitySpec.rules.rangeExpectation.strictMinEnabled
    resource.dataQualitySpec.rules.regexExpectation.regex
    resource.dataQualitySpec.rules.rowConditionExpectation.sqlExpression
    resource.dataQualitySpec.rules.setExpectation.values
    resource.dataQualitySpec.rules.sqlAssertion.sqlStatement
    resource.dataQualitySpec.rules.statisticRangeExpectation.maxValue
    resource.dataQualitySpec.rules.statisticRangeExpectation.minValue
    resource.dataQualitySpec.rules.statisticRangeExpectation.statistic
    resource.dataQualitySpec.rules.statisticRangeExpectation.strictMaxEnabled
    resource.dataQualitySpec.rules.statisticRangeExpectation.strictMinEnabled
    resource.dataQualitySpec.rules.suspended
    resource.dataQualitySpec.rules.tableConditionExpectation.sqlExpression
    resource.dataQualitySpec.rules.threshold
    resource.dataQualitySpec.samplingPercent
    resource.description
    resource.displayName
    resource.executionSpec.field
    resource.executionSpec.trigger.schedule.cron
    dataplex.googleapis.com/EntryGroup resource.description
    resource.displayName
    dataplex.googleapis.com/EntryType resource.authorization.alternateUsePermission
    resource.description
    resource.displayName
    resource.platform
    resource.requiredAspects.type
    resource.system
    resource.typeAliases
    dataplex.googleapis.com/MetadataJob resource.exportSpec.outputPath
    resource.exportSpec.scope.aspectTypes
    resource.exportSpec.scope.entryGroups
    resource.exportSpec.scope.entryTypes
    resource.exportSpec.scope.organizationLevel
    resource.exportSpec.scope.projects
    resource.importSpec.aspectSyncMode
    resource.importSpec.entrySyncMode
    resource.importSpec.logLevel
    resource.importSpec.scope.aspectTypes
    resource.importSpec.scope.entryGroups
    resource.importSpec.scope.entryTypes
    resource.importSpec.sourceCreateTime
    resource.importSpec.sourceStorageUri
    resource.type

    Siguientes pasos