Usa restricciones personalizadas

La Política de la Organización de Google Cloud te brinda un control centralizado y programático sobre los recursos de tu organización. Como administrador de políticas de la organización, puedes definir una política de la organización, que es un conjunto de limitaciones llamadas restricciones que se aplican a los recursos de Google Cloud y a sus descendientes en la jerarquía de recursos de Google Cloud. Puedes aplicar políticas de la organización a nivel de la organización, carpeta o proyecto.

La política de la organización proporciona restricciones predefinidas para varios servicios de Google Cloud. Sin embargo, si deseas un control más detallado y personalizable sobre los campos específicos que están restringidos en las políticas de tu organización, también puedes crear restricciones personalizadas y usarlas en una política de la organización.

Ventajas

Puedes usar una política de la organización personalizada para permitir o denegar operaciones específicas en lotes de Dataproc Serverless. Por ejemplo, si una solicitud para crear una carga de trabajo por lotes no cumple con la validación de restricciones personalizadas establecida por la política de la organización, la solicitud fallará y se mostrará un error al emisor.

Herencia de políticas

De forma predeterminada, las políticas de la organización se heredan según los subordinados de los recursos en los que se aplica la política. Por ejemplo, si aplicas una política en una carpeta, Google Cloud aplica la política en todos los proyectos de la carpeta. Para obtener más información sobre este comportamiento y cómo cambiarlo, consulta Reglas de evaluación de la jerarquía.

Precios

El Servicio de Políticas de la Organización, que incluye las restricciones predefinidas y personalizadas, se ofrece sin cargo.

Antes de comenzar

  1. Configura tu proyecto
    1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    3. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

    4. Habilita la API de Dataproc Serverless.

      Habilita la API

    5. Instala Google Cloud CLI.

    6. Para inicializar la CLI de gcloud, ejecuta el siguiente comando: 

      gcloud init
      7.

    7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    8. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

    9. Habilita la API de Dataproc Serverless.

      Habilita la API

    10. Instala Google Cloud CLI.

    11. Para inicializar la CLI de gcloud, ejecuta el siguiente comando: 

      gcloud init
      12.
    12. Asegúrate de conocer tu ID de la organización.

Funciones obligatorias

Si quieres obtener los permisos que necesitas para administrar las políticas de la organización, pídele a tu administrador que te otorgue el rol de IAM Administrador de políticas de la organización (roles/orgpolicy.policyAdmin) en el recurso de la organización. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

Este rol predefinido contiene los permisos necesarios para administrar las políticas de la organización. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para administrar las políticas de la organización:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Es posible que también puedas obtener estos permisos con funciones personalizadas o con otras funciones predefinidas.

Crea una restricción personalizada

Una restricción personalizada se define en un archivo YAML mediante los recursos, métodos, condiciones y acciones a las que se aplica. Dataproc Serverless admite restricciones personalizadas que se aplican al método CREATE del recurso BATCH (consulta Restricciones sin servidores de Dataproc para recursos y operaciones).

Si deseas crear un archivo YAML para una restricción personalizada de Dataproc Serverless, haz lo siguiente:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Batch
methodTypes:
- CREATE
condition: CONDITION
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Reemplaza lo siguiente:

  • ORGANIZATION_ID: el ID de la organización, como 123456789.

  • CONSTRAINT_NAME: el nombre que deseas para tu nueva restricción personalizada. Una restricción personalizada debe comenzar con custom. y solo puede incluir letras mayúsculas, minúsculas o números, por ejemplo, custom.batchMustHaveSpecifiedCategoryLabel. La longitud máxima de este campo es de 70 caracteres (sin contar el prefijo), por ejemplo, organizations/123456789/customConstraints/custom.

  • CONDITION: una condición de CEL que se escribe en una representación de un recurso de servicio compatible. La longitud máxima de este campo es 1000 caracteres. Consulta la sección Recursos admitidos para obtener más información sobre los recursos disponibles con los que se pueden escribir condiciones. Condición de muestra: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']).

  • ACTION: Es la acción que se realiza si se cumple la condición. Puede ser ALLOW o DENY.

  • DISPLAY_NAME: un nombre descriptivo para la restricción. Nombre visible de muestra: “Aplicar el requisito de etiqueta de “categoría” por lotes” La longitud máxima de este campo es 200 caracteres.

  • DESCRIPTION: una descripción fácil de usar de la restricción que se mostrará como un mensaje de error cuando se infringe la política. La longitud máxima de este campo es 2000 caracteres. Descripción de muestra: “Solo permite la creación por lotes de Dataproc si tiene una etiqueta de “categoría” con un valor de “venta minorista”, “anuncios” o “servicio”.

Para obtener más información sobre cómo crear una restricción personalizada, consulta Define restricciones personalizadas.

Configura una restricción personalizada

Después de crear una nueva restricción personalizada mediante Google Cloud CLI, debes configurarla a fin de que esté disponible para las políticas de la organización de tu organización. Para configurar una restricción personalizada, usa el comando gcloud org-policies set-custom-constraint: 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
Reemplaza CONSTRAINT_PATH por la ruta de acceso completa al archivo de restricción personalizado. Por ejemplo, /home/user/customconstraint.yaml Una vez completadas, encontrarás tus restricciones personalizadas como políticas de organización disponibles en tu lista de políticas de la organización de Google Cloud. Para verificar que la restricción personalizada exista, usa el comando gcloud org-policies list-custom-constraints: 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
Reemplaza ORGANIZATION_ID por el ID del recurso de tu organización. Para obtener más información, consulta Visualiza las políticas de la organización.

Aplica una restricción personalizada

Puedes aplicar una restricción booleana si creas una política de la organización que haga referencia a ella y si aplicas esa política a un recurso de Google Cloud.

Console

Para aplicar una restricción booleana, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Políticas de la organización.

    Ir a Políticas de la organización

  2. Selecciona el selector de proyectos en la parte superior de la página.
  3. En el selector de proyectos, selecciona el proyecto para el que deseas configurar la política de la organización.
  4. Selecciona tu restricción de la lista en la página de las políticas de la organización. Debería aparecer la página Detalles de la política para esa restricción.
  5. Si deseas configurar las políticas de la organización para este recurso, haz clic en Administrar política.
  6. En la página Editar política, selecciona Anular política del superior.
  7. Haz clic en Agregar una regla.
  8. En Aplicación, selecciona si la aplicación de esta política de la organización debe estar activada o desactivada.
  9. De manera opcional, haz clic en Agregar condición para que la política de la organización sea condicional en una etiqueta. Ten en cuenta que si agregas una regla condicional a una política de la organización, debes agregar al menos una regla sin condición o la política no se puede guardar. Para obtener más información, consulta Configura una política de la organización con etiquetas.
  10. Si se trata de una restricción personalizada, puedes hacer clic en Probar cambios para simular el efecto de esta política de la organización. Para obtener más información, consulta Prueba los cambios en las políticas de la organización con Policy Simulator.
  11. Para finalizar y aplicar la política de la organización, haz clic en Establecer política. La política tardará hasta 15 minutos en aplicarse.

gcloud

Para crear una política de la organización que aplique una restricción booleana, crea un archivo de política en formato YAML que haga referencia a la restricción: 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Reemplaza lo siguiente:

  • PROJECT_ID: el proyecto en el que deseas aplicar tu restricción.
  • CONSTRAINT_NAME: el nombre que definiste para tu restricción personalizada. Por ejemplo: custom.batchMustHaveSpecifiedCategoryLabel

Para aplicar la política de la organización que contiene la restricción, ejecuta el siguiente comando: 

    gcloud org-policies set-policy POLICY_PATH

Reemplaza POLICY_PATH por la ruta de acceso completa al archivo YAML de la política de la organización. La política tardará hasta 15 minutos en aplicarse.

Prueba la restricción personalizada

En el siguiente ejemplo de creación por lotes, se supone que se creó y aplicó una restricción personalizada en la creación por lotes para requerir que el lote tenga una etiqueta de “categoría” adjunta con un valor de “venta minorista”, “anuncios” o “servicio: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])”. Ten en cuenta que la etiqueta "category" del ejemplo no tiene uno de los valores obligatorios.

gcloud dataproc batches submit spark \
  --region us-west1
  --jars file:///usr/lib/spark/examples/jars/spark-examples.jar \
  --class org.apache.spark.examples.SparkPi  \
  --network default \
  --labels category=foo \
  -- 100

Resultado de muestra:

Operation denied by custom org policies: ["customConstraints/custom.batchMustHaveSpecifiedCategoryLabel": ""Only allow Dataproc batch creation if it has a 'category' label with
  a 'retail', 'ads', or 'service' value""]

Restricciones de Dataproc Serverless en recursos y operaciones

Las siguientes restricciones personalizadas sin servidores de Dataproc están disponibles para usarse cuando creas (envías) una carga de trabajo por lotes.

General

  • resource.labels

RuntimeConfig

  • resource.runtimeConfig.version
  • resource.runtimeConfig.containerImage
  • resource.runtimeConfig.properties

ExecutionConfig

  • resource.environmentConfig.executionConfig.serviceAccount
  • resource.environmentConfig.executionConfig.networkTags
  • resource.environmentConfig.executionConfig.kmsKey
  • resource.environmentConfig.executionConfig.stagingBucket

PeripheralsConfig

  • resource.environmentConfig.peripheralsConfig.metastoreService
  • resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster

Restricciones personalizadas de ejemplo para casos de uso comunes

En la siguiente tabla, se proporcionan ejemplos de restricciones personalizadas por lotes de Dataproc Serverless:

Descripción Sintaxis de la restricción
El lote debe adjuntar una etiqueta de “categoría” con valores permitidos. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustHaveSpecifiedCategoryLabel
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])
    actionType: ALLOW
    displayName: Enforce batch "category" label requirement.
    description: Only allow batch creation if it attaches a "category" label with an allowable value.
Batch debe establecer una versión permitida del entorno de ejecución. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseAllowedVersion
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"])
    actionType: ALLOW
    displayName: Enforce batch runtime version.
    description: Only allow batch creation if it sets an allowable runtime version.
El lote no puede configurar más de 20 ejecutores iniciales de Spark. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchInitialExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties)
     && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20)
    actionType: DENY
    displayName: Enforce maximum number of batch Spark executor instances.
    description: Deny batch creation if it specifies more than 20 Spark executor instances.
El lote no puede configurar más de 20 ejecutores iniciales de asignación dinámica de Spark. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationInitialExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties)
     && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20)
    actionType: DENY
    displayName: Enforce maximum number of batch dynamic allocation initial executors.
    description: Deny batch creation if it specifies more than 20 Spark dynamic allocation initial executors.
El lote no debe permitir más de 20 ejecutores de asignación dinámica. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationMaxExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: (resource.runtimeConfig.properties['spark.dynamicAllocation.enabled']=='false') || (('spark.dynamicAllocation.maxExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.maxExecutors'])<=20))
    actionType: ALLOW
    displayName: Enforce batch maximum number of dynamic allocation executors.
    description:  Only allow batch creation if dynamic allocation is disabled or
    the maximum number of dynamic allocation executors is set to less than or equal to 20.
Batch debe establecer la clave de KMS en un patrón permitido. 

    name: organizations/ORGANIZATION_ID/custom.batchKmsPattern
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$')
    actionType: ALLOW
    displayName: Enforce batch KMS Key pattern.
    description: Only allow batch creation if it sets the KMS key to an allowable pattern.
El lote debe establecer el prefijo del bucket de etapa de pruebas en un valor permitido. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchStagingBucketPrefix
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  resource.environmentConfig.executionConfig.stagingBucket.startsWith(ALLOWED_PREFIX)
    actionType: ALLOW
    displayName: Enforce batch staging bucket prefix.
    description: Only allow batch creation if it sets the staging bucket prefix to ALLOWED_PREFIX.

¿Qué sigue?