Usar restricciones personalizadas
Google Cloud La política de organización te ofrece un control centralizado y programático sobre los recursos de tu organización. Como administrador de políticas de la organización, puedes definir una política de la organización, que es un conjunto de restricciones llamadas "restricciones" que se aplican a losGoogle Cloud recursos y a los elementos descendientes de esos recursos en la Google Cloud jerarquía de recursos. Puedes aplicar políticas de organización a nivel de organización, carpeta o proyecto.
La política de organización proporciona restricciones predefinidas para varios servicios deGoogle Cloud . Sin embargo, si quieres tener un control más detallado y personalizable sobre los campos específicos que están restringidos en las políticas de tu organización, también puedes crear restricciones personalizadas y usarlas en una política de la organización.
Ventajas
Puedes usar una política de organización personalizada para permitir o denegar operaciones específicas en lotes y sesiones de Serverless para Apache Spark. Por ejemplo, si una solicitud para crear una carga de trabajo por lotes no cumple la validación de restricciones personalizadas definida en la política de tu organización, la solicitud fallará y se devolverá un error a la persona que la haya llamado.
Herencia de políticas
De forma predeterminada, las políticas de organización se heredan de los descendientes de los recursos en los que se aplican. Por ejemplo, si aplicas una política a una carpeta, Google Cloud se aplicará a todos los proyectos de la carpeta. Para obtener más información sobre este comportamiento y cómo cambiarlo, consulta las reglas de evaluación de la jerarquía.
Precios
El servicio de políticas de la organización, incluidas las restricciones predefinidas y personalizadas, se ofrece sin coste adicional.
Antes de empezar
- Configurar un proyecto
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator
(
roles/resourcemanager.projectCreator
), which contains theresourcemanager.projects.create
permission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Serverless for Apache Spark API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin
), which contains theserviceusage.services.enable
permission. Learn how to grant roles. -
Install the Google Cloud CLI.
-
Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.
-
Para inicializar gcloud CLI, ejecuta el siguiente comando:
gcloud init
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator
(
roles/resourcemanager.projectCreator
), which contains theresourcemanager.projects.create
permission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Serverless for Apache Spark API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin
), which contains theserviceusage.services.enable
permission. Learn how to grant roles. -
Install the Google Cloud CLI.
-
Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.
-
Para inicializar gcloud CLI, ejecuta el siguiente comando:
gcloud init
- Asegúrate de que conoces el ID de tu organización.
-
orgpolicy.constraints.list
-
orgpolicy.policies.create
-
orgpolicy.policies.delete
-
orgpolicy.policies.list
-
orgpolicy.policies.update
-
orgpolicy.policy.get
-
orgpolicy.policy.set
ORGANIZATION_ID
: el ID de tu organización, como123456789
.CONSTRAINT_NAME
: el nombre que quieras asignar a la nueva restricción personalizada. Una restricción personalizada debe empezar porcustom.
y solo puede incluir letras mayúsculas, letras minúsculas o números. Por ejemplo,custom.batchMustHaveSpecifiedCategoryLabel
. La longitud máxima de este campo es de 70 caracteres, sin contar el prefijo. Por ejemplo,organizations/123456789/customConstraints/custom
.CONDITION
: una condición CEL que se escribe en una representación de un recurso de servicio compatible. Este campo tiene una longitud máxima de 1000 caracteres. Para obtener más información sobre los recursos con los que se pueden escribir condiciones, consulta Restricciones de Dataproc Serverless en recursos y operaciones. Condición de ejemplo:("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])
.ACTION
: la acción que se debe llevar a cabo si se cumple la condición. Puede serALLOW
oDENY
.DISPLAY_NAME
: nombre descriptivo de la restricción. Nombre visible de ejemplo: "Enforce batch 'category' label requirement". Este campo tiene una longitud máxima de 200 caracteres.DESCRIPTION
: descripción de la restricción que se mostrará como mensaje de error cuando se infrinja la política. Este campo tiene una longitud máxima de 2000 caracteres. Descripción de ejemplo: "Solo permite la creación de lotes de Dataproc si tienen una etiqueta "category" con el valor "retail", "ads" o "service"."ORGANIZATION_ID
: el ID de tu organización, como123456789
.CONSTRAINT_NAME
: el nombre que quieras asignar a la nueva restricción personalizada. Una restricción personalizada debe empezar porcustom.
y solo puede incluir letras mayúsculas, letras minúsculas o números. Por ejemplo,custom.SessionNameMustStartWithTeamName
. La longitud máxima de este campo es de 70 caracteres, sin contar el prefijoorganizations/123456789/customConstraints/
. Por ejemplo,organizations/123456789/customConstraints/custom
.CONDITION
: una condición CEL que se escribe en una representación de un recurso de servicio compatible. Este campo tiene una longitud máxima de 1000 caracteres. Para obtener más información sobre los recursos disponibles para escribir condiciones, consulta Restricciones de Dataproc Serverless en recursos y operaciones. Condición de ejemplo:(resource.name.startsWith("dataproc")
.ACTION
: la acción que se debe llevar a cabo si se cumple la condición. Puede serALLOW
oDENY
.DISPLAY_NAME
: nombre descriptivo de la restricción. Nombre visible de ejemplo: "Enforce session must have a ttl < 2 hours". Este campo tiene una longitud máxima de 200 caracteres.DESCRIPTION
: descripción de la restricción que se mostrará como mensaje de error cuando se infrinja la política. Este campo tiene una longitud máxima de 2000 caracteres. Descripción de ejemplo: "Solo permitir la creación de sesiones si se establece un TTL permitido".- En la Google Cloud consola, ve a la página Políticas de la organización.
- En el selector de proyectos, elige el proyecto para el que quieras definir la política de organización.
- En la lista de la página Políticas de organización, selecciona la restricción para ver la página Detalles de la política correspondiente.
- Para configurar la política de la organización de este recurso, haz clic en Gestionar política.
- En la página Editar política, selecciona Anular política del recurso superior.
- Haz clic en Añadir regla.
- En la sección Aplicación, selecciona si quieres activar o desactivar la aplicación de esta política de la organización.
- Opcional: Para que la política de la organización dependa de una etiqueta, haz clic en Añadir condición. Ten en cuenta que, si añades una regla condicional a una política de organización, debes añadir al menos una regla incondicional o la política no se podrá guardar. Para obtener más información, consulta Configurar una política de organización con etiquetas.
- Haz clic en Probar cambios para simular el efecto de la política de la organización. La simulación de políticas no está disponible para las restricciones gestionadas antiguas. Para obtener más información, consulta el artículo Probar los cambios en las políticas de la organización con el simulador de políticas.
- Para finalizar y aplicar la política de organización, haz clic en Definir política. La política tarda hasta 15 minutos en aplicarse.
-
PROJECT_ID
: el proyecto en el que quieras aplicar la restricción. -
CONSTRAINT_NAME
: el nombre que has definido para tu restricción personalizada. Por ejemplo,
.custom.batchMustHaveSpecifiedCategoryLabel
resource.labels
resource.pysparkBatch.mainPythonFileUri
resource.pysparkBatch.args
resource.pysparkBatch.pythonFileUris
resource.pysparkBatch.jarFileUris
resource.pysparkBatch.fileUris
resource.pysparkBatch.archiveUris
resource.sparkBatch.mainJarFileUri
resource.sparkBatch.mainClass
resource.sparkBatch.args
resource.sparkBatch.jarFileUris
resource.sparkBatch.fileUris
resource.sparkBatch.archiveUris
resource.sparkRBatch.mainRFileUri
resource.sparkRBatch.args
resource.sparkRBatch.fileUris
resource.sparkRBatch.archiveUris
resource.sparkSqlBatch.queryFileUri
resource.sparkSqlBatch.queryVariables
resource.sparkSqlBatch.jarFileUris
resource.runtimeConfig.version
resource.runtimeConfig.containerImage
resource.runtimeConfig.properties
resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
resource.runtimeConfig.autotuningConfig.scenarios
resource.runtimeConfig.cohort
resource.environmentConfig.executionConfig.serviceAccount
resource.environmentConfig.executionConfig.networkUri
resource.environmentConfig.executionConfig.subnetworkUri
resource.environmentConfig.executionConfig.networkTags
resource.environmentConfig.executionConfig.kmsKey
resource.environmentConfig.executionConfig.idleTtl
resource.environmentConfig.executionConfig.ttl
resource.environmentConfig.executionConfig.stagingBucket
resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType
resource.environmentConfig.peripheralsConfig.metastoreService
resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster
resource.name
resource.sparkConnectSession
resource.user
resource.sessionTemplate
resource.jupyterSession.kernel
resource.jupyterSession.displayName
resource.runtimeConfig.version
resource.runtimeConfig.containerImage
resource.runtimeConfig.properties
resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
resource.runtimeConfig.autotuningConfig.scenarios
resource.runtimeConfig.cohort
resource.environmentConfig.executionConfig.serviceAccount
resource.environmentConfig.executionConfig.networkUri
resource.environmentConfig.executionConfig.subnetworkUri
resource.environmentConfig.executionConfig.networkTags
resource.environmentConfig.executionConfig.kmsKey
resource.environmentConfig.executionConfig.idleTtl
resource.environmentConfig.executionConfig.ttl
resource.environmentConfig.executionConfig.stagingBucket
resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType
resource.environmentConfig.peripheralsConfig.metastoreService
resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster
- Para obtener más información sobre las políticas de organización, consulta la introducción al servicio de políticas de organización.
- Más información sobre cómo crear y gestionar políticas de organización
- Consulta la lista completa de restricciones de las políticas de organización predefinidas.
Roles obligatorios
Para obtener los permisos que necesitas para gestionar las políticas de la organización, pide a tu administrador que te conceda el rol de gestión de identidades y accesos administrador de políticas de la organización (
roles/orgpolicy.policyAdmin
) en el recurso de la organización. Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.Este rol predefinido contiene los permisos necesarios para gestionar las políticas de la organización. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:
Permisos obligatorios
Para gestionar las políticas de la organización, se necesitan los siguientes permisos:
También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.
Crear una restricción personalizada
Una restricción personalizada se define en un archivo YAML por los recursos, los métodos, las condiciones y las acciones a los que se aplica. La opción sin servidor para Apache Spark admite restricciones personalizadas que se aplican al método
CREATE
de los recursos de lote y de sesión.Para obtener más información sobre cómo crear una restricción personalizada, consulta Definir restricciones personalizadas.
Crear una restricción personalizada para un recurso por lotes
Para crear un archivo YAML de una restricción personalizada de Serverless para Apache Spark para un recurso de lote, utiliza el siguiente formato:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: CONDITION actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION
Haz los cambios siguientes:
Crear una restricción personalizada para un recurso de sesión
Para crear un archivo YAML de una restricción personalizada de Serverless para Apache Spark para un recurso de sesión, usa el siguiente formato:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: CONDITION actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION
Haz los cambios siguientes:
Configurar una restricción personalizada
Una vez que hayas creado el archivo YAML de una nueva restricción personalizada, debes configurarla para que esté disponible en las políticas de organización de tu organización. Para configurar una restricción personalizada, usa el comandogcloud org-policies set-custom-constraint
: Sustituyegcloud org-policies set-custom-constraint CONSTRAINT_PATH
CONSTRAINT_PATH
por la ruta completa a tu archivo de restricciones personalizadas. Por ejemplo,/home/user/customconstraint.yaml
. Una vez completado el proceso, las restricciones personalizadas estarán disponibles como políticas de organización en la lista de Google Cloud políticas de organización. Para verificar que la restricción personalizada existe, usa el comandogcloud org-policies list-custom-constraints
: Sustituyegcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
ORGANIZATION_ID
por el ID del recurso de tu organización. Para obtener más información, consulta Ver políticas de la organización.Aplicar una restricción personalizada
Para aplicar una restricción, crea una política de organización que haga referencia a ella y, a continuación, aplica esa política de organización a un Google Cloud recurso.Consola
gcloud
Para crear una política de organización con reglas booleanas, crea un archivo YAML de política que haga referencia a la restricción:
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true
Haz los cambios siguientes:
Para aplicar la política de la organización que contiene la restricción, ejecuta el siguiente comando:
gcloud org-policies set-policy POLICY_PATH
Sustituye
POLICY_PATH
por la ruta completa al archivo YAML de la política de tu organización. La política tarda hasta 15 minutos en aplicarse.Probar la restricción personalizada
En esta sección se describe cómo probar las restricciones personalizadas de los recursos de lote y de sesión.
Probar la restricción personalizada de un recurso por lotes
En el siguiente ejemplo de creación por lotes se da por supuesto que se ha creado y aplicado una restricción personalizada en la creación por lotes para exigir que el lote tenga una etiqueta "category" (categoría) con el valor "retail" (venta), "ads" (anuncios) o "service" (servicio):
("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])
.gcloud dataproc batches submit spark \ --region us-west1 --jars file:///usr/lib/spark/examples/jars/spark-examples.jar \ --class org.apache.spark.examples.SparkPi \ --network default \ --labels category=foo \ --100
Ejemplo de salida:
Operation denied by custom org policies: ["customConstraints/
custom.batchMustHaveSpecifiedCategoryLabel
": ""Only allow Dataproc batch creation if it has a 'category' label with a 'retail', 'ads', or 'service' value""]Probar la restricción personalizada de un recurso de sesión
En el siguiente ejemplo de creación de una sesión, se da por supuesto que se ha creado una restricción personalizada y que se ha aplicado en la creación de la sesión para que esta tenga un
name
que empiece pororgName
.gcloud beta dataproc sessions create spark test-session --location us-central1
Ejemplo de salida:
Operation denied by custom org policy: ["customConstraints/custom.denySessionNameNotStartingWithOrgName": "Deny session creation if its name does not start with 'orgName'"]
Restricciones de recursos y operaciones de Apache Spark sin servidor
En esta sección se enumeran las restricciones personalizadas de Google Cloud sin servidor para Apache Spark disponibles para los recursos de lote y de sesión.
Restricciones de los trabajos por lotes de Google Cloud Serverless para Apache Spark
Puedes usar las siguientes restricciones personalizadas de Serverless para Apache Spark al crear (enviar) una carga de trabajo por lotes:
General
PySparkBatch
SparkBatch
SparRBatch
SparkSqlBatch
RuntimeConfig
ExecutionConfig
PeripheralsConfig
Restricciones de sesión de Google Cloud Serverless para Apache Spark
Los siguientes atributos de sesión de Google Cloud sin servidor para Apache Spark se pueden usar al crear restricciones personalizadas en sesiones sin servidor:
General
JupyterSession
RuntimeConfig
ExecutionConfig
PeripheralsConfig
Ejemplos de restricciones personalizadas para casos prácticos habituales
En esta sección se incluyen ejemplos de restricciones personalizadas para casos prácticos habituales de recursos de lote y de sesión.
Ejemplo de restricciones personalizadas de un recurso por lotes
En la siguiente tabla se muestran ejemplos de restricciones personalizadas por lotes de Serverless para Apache Spark:
Descripción Sintaxis de las restricciones El lote debe incluir una etiqueta "category" con los valores permitidos. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustHaveSpecifiedCategoryLabel resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']) actionType: ALLOW displayName: Enforce batch "category" label requirement. description: Only allow batch creation if it attaches a "category" label with an allowable value.
Batch debe definir una versión de tiempo de ejecución permitida. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseAllowedVersion resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"]) actionType: ALLOW displayName: Enforce batch runtime version. description: Only allow batch creation if it sets an allowable runtime version.
Debe usar SparkSQL. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseSparkSQL resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.sparkSqlBatch)) actionType: ALLOW displayName: Enforce batch only use SparkSQL Batch. description: Only allow creation of SparkSQL Batch.
El lote debe definir un TTL inferior a 2 horas. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustSetLessThan2hTtl resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.environmentConfig.executionConfig.ttl)) && (resource.environmentConfig.executionConfig.ttl <= duration('2h')) actionType: ALLOW displayName: Enforce batch TTL. description: Only allow batch creation if it sets an allowable TTL.
Batch no puede definir más de 20 ejecutores iniciales de Spark. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20) actionType: DENY displayName: Enforce maximum number of batch Spark executor instances. description: Deny batch creation if it specifies more than 20 Spark executor instances.
Batch no puede definir más de 20 ejecutores iniciales de asignación dinámica de Spark. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20) actionType: DENY displayName: Enforce maximum number of batch dynamic allocation initial executors. description: Deny batch creation if it specifies more than 20 Spark dynamic allocation initial executors.
Batch no debe permitir más de 20 ejecutores de asignación dinámica. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationMaxExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (resource.runtimeConfig.properties['spark.dynamicAllocation.enabled']=='false') || (('spark.dynamicAllocation.maxExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.maxExecutors'])<=20)) actionType: ALLOW displayName: Enforce batch maximum number of dynamic allocation executors. description: Only allow batch creation if dynamic allocation is disabled or the maximum number of dynamic allocation executors is set to less than or equal to 20.
Batch debe definir la clave de KMS con un patrón permitido. name: organizations/ORGANIZATION_ID/custom.batchKmsPattern resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$') actionType: ALLOW displayName: Enforce batch KMS Key pattern. description: Only allow batch creation if it sets the KMS key to an allowable pattern.
El lote debe asignar al prefijo del segmento de almacenamiento provisional un valor permitido. name: organizations/ORGANIZATION_ID/customConstraints/custom.batchStagingBucketPrefix resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith(
ALLOWED_PREFIX
) actionType: ALLOW displayName: Enforce batch staging bucket prefix. description: Only allow batch creation if it sets the staging bucket prefix to ALLOWED_PREFIX.El ajuste de memoria del ejecutor de lote debe terminar con el sufijo m
y ser inferior a 20.000 m.name: organizations/ORGANIZATION_ID/customConstraints/custom.batchExecutorMemoryMax resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: ('spark.executor.memory' in resource.runtimeConfig.properties) && (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) && (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000) actionType: ALLOW displayName: Enforce batch executor maximum memory. description: Only allow batch creation if the executor memory setting ends with a suffix 'm' and is less than 20000 m.
Ejemplo de restricciones personalizadas de un recurso de sesión
En la siguiente tabla se muestran ejemplos de restricciones personalizadas de sesiones de Serverless para Apache Spark:
Descripción Sintaxis de las restricciones La sesión debe definir sessionTemplate
como una cadena vacía.name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateMustBeEmpty resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.sessionTemplate == "" actionType: ALLOW displayName: Enforce empty session templates. description: Only allow session creation if session template is empty string.
sessionTemplate
debe ser igual a los IDs de plantilla aprobados.name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateIdMustBeApproved resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.sessionTemplate.startsWith("https://www.googleapis.com/compute/v1/projects/") && resource.sessionTemplate.contains("/locations/") && resource.sessionTemplate.contains("/sessionTemplates/") && ( resource.sessionTemplate.endsWith("/1") || resource.sessionTemplate.endsWith("/2") || resource.sessionTemplate.endsWith("/13") ) actionType: ALLOW displayName: Enforce templateId must be 1, 2, or 13. description: Only allow session creation if session template ID is in the approved list, that is, 1, 2 and 13.
La sesión debe usar las credenciales del usuario final para autenticar la carga de trabajo. name: organizations/ORGANIZATION_ID/customConstraints/custom.AllowEUCSessions resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType=="END_USER_CREDENTIALS" actionType: ALLOW displayName: Require end user credential authenticated sessions. description: Allow session creation only if the workload is authenticated using end-user credentials.
La sesión debe definir una versión de tiempo de ejecución permitida. name: organizations/ORGANIZATION_ID/custom.sessionMustUseAllowedVersion resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"]) actionType: ALLOW displayName: Enforce session runtime version. description: Only allow session creation if it sets an allowable runtime version.
La sesión debe definir un TTL inferior a 2 horas. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionMustSetLessThan2hTtl resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.environmentConfig.executionConfig.ttl)) && (resource.environmentConfig.executionConfig.ttl <= duration('2h')) actionType: ALLOW displayName: Enforce session TTL. description: Only allow session creation if it sets an allowable TTL.
La sesión no puede definir más de 20 ejecutores iniciales de Spark. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20) actionType: DENY displayName: Enforce maximum number of session Spark executor instances. description: Deny session creation if it specifies more than 20 Spark executor instances.
La sesión no puede definir más de 20 ejecutores iniciales de asignación dinámica de Spark. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionDynamicAllocationInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20) actionType: DENY displayName: Enforce maximum number of session dynamic allocation initial executors. description: Deny session creation if it specifies more than 20 Spark dynamic allocation initial executors.
La sesión debe definir la clave de KMS con un patrón permitido. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionKmsPattern resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$') actionType: ALLOW displayName: Enforce session KMS Key pattern. description: Only allow session creation if it sets the KMS key to an allowable pattern.
La sesión debe asignar al prefijo del bucket de almacenamiento provisional un valor permitido. name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionStagingBucketPrefix resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith(ALLOWED_PREFIX) actionType: ALLOW displayName: Enforce session staging bucket prefix. description: Only allow batch creation if it sets the staging bucket prefix to ALLOWED_PREFIX.
El ajuste de memoria del ejecutor de sesiones debe terminar con el sufijo m
y ser inferior a 20.000 m.name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionExecutorMemoryMax resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: ('spark.executor.memory' in resource.runtimeConfig.properties) && (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) && (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000) actionType: ALLOW displayName: Enforce session executor maximum memory. description: Only allow session creation if the executor memory setting ends with a suffix 'm' and is less than 20000 m.
Siguientes pasos