Se usó la API de Cloud Translation para traducir esta página.

Administra recursos de Dataproc con restricciones personalizadas

La Política de la Organización de Google Cloud te brinda un control centralizado y programático sobre los recursos de tu organización. Como administrador de políticas de la organización, puedes definir una política de la organización, que es un conjunto de limitaciones llamadas restricciones que se aplican a los recursos de Google Cloud y a sus descendientes en la jerarquía de recursos de Google Cloud. Puedes aplicar políticas de la organización a nivel de la organización, carpeta o proyecto.

La política de la organización proporciona restricciones predefinidas para varios servicios de Google Cloud. Sin embargo, si deseas un control más detallado y personalizable sobre los campos específicos que están restringidos en las políticas de tu organización, también puedes crear restricciones personalizadas y usarlas en una política personalizada de la organización.

Ventajas

Puedes usar una política de la organización personalizada para permitir o rechazar operaciones específicas en clústeres de Dataproc. Por ejemplo, si una solicitud para crear o actualizar un clúster no cumple con la validación de restricciones personalizadas establecida por la política de la organización, la solicitud fallará y se mostrará un error al emisor.

Herencia de políticas

De forma predeterminada, las políticas de la organización se heredan según los subordinados de los recursos en los que se aplica la política. Por ejemplo, si aplicas una política en una carpeta, Google Cloud aplica la política en todos los proyectos de la carpeta. Para obtener más información sobre este comportamiento y cómo cambiarlo, consulta Reglas de evaluación de la jerarquía.

Precios

El Servicio de políticas de la organización, que incluye las políticas de la organización predefinidas y personalizadas, se ofrece sin cargo.

Antes de comenzar

Configura tu proyecto
1. Asegúrate de conocer tu ID de la organización.

Funciones obligatorias

Si quieres obtener los permisos que necesitas para administrar las políticas de la organización, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Administrador de políticas de la organización (roles/orgpolicy.policyAdmin) en el recurso de la organización
Para crear o actualizar un clúster de Dataproc, haz lo siguiente: Administrador de Dataproc o Editor de Dataproc (roles/dataproc.admin o roles/dataproc.editor) en el recurso del proyecto

Si quieres obtener más información para otorgar roles, consulta Administra el acceso.

Estos roles predefinidos contienen los permisos necesarios para administrar las políticas de la organización. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para administrar las políticas de la organización:

orgpolicy.constraints.list
orgpolicy.policies.create
orgpolicy.policies.delete
orgpolicy.policies.list
orgpolicy.policies.update
orgpolicy.policy.get
orgpolicy.policy.set

Es posible que también puedas obtener estos permisos con funciones personalizadas o con otras funciones predefinidas.

Crea una restricción personalizada

Una restricción personalizada se define en un archivo YAML mediante los recursos, métodos, condiciones y acciones a las que se aplica. Dataproc admite restricciones personalizadas que se aplican a los métodos CREATE y UPDATE del recurso CLUSTER (consulta Restricciones de Dataproc en recursos y operaciones).

Si deseas crear un archivo YAML para una restricción personalizada de Dataproc, haz lo siguiente:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes:
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Reemplaza lo siguiente:

ORGANIZATION_ID: el ID de la organización, como 123456789.
CONSTRAINT_NAME: el nombre que deseas para tu nueva restricción personalizada. Una restricción personalizada debe comenzar con custom. y solo puede incluir letras mayúsculas, minúsculas o números, por ejemplo, custom.dataprocEnableComponentGateway. La longitud máxima de este campo es de 70 caracteres (sin contar el prefijo), por ejemplo, organizations/123456789/customConstraints/custom.

METHOD: Cuando creas una restricción de creación de clúster, especifica CREATE. Cuando crees una restricción UPDATE de clúster, especifica ambos de la siguiente manera:
```
methodTypes:
- CREATE
- UPDATE
```
CONDITION: una condición de CEL que se escribe en una representación de un recurso de servicio compatible. La longitud máxima de este campo es 1000 caracteres. Consulta la sección Recursos admitidos para obtener más información sobre los recursos disponibles con los que se pueden escribir condiciones. Por ejemplo, "resource.config.endpointConfig.enableHttpPortAccess==true".
ACTION: la acción que se realiza si se cumple condition. Puede ser ALLOW o DENY.
DISPLAY_NAME: Es un nombre fácil de usar para la restricción, por ejemplo, “Aplicar la habilitación de la puerta de enlace de componentes de Dataproc”. La longitud máxima de este campo es 200 caracteres.
DESCRIPTION: Es una descripción sencilla de la restricción que se muestra como un mensaje de error cuando se infringe la política. Por ejemplo, “Solo permitir la creación de clústeres de Dataproc si la puerta de enlace de componentes está habilitada”. La longitud máxima de este campo es 2000 caracteres.

Para obtener más información sobre cómo crear una restricción personalizada, consulta Define restricciones personalizadas.

Configura una restricción personalizada

Después de crear una nueva restricción personalizada mediante Google Cloud CLI, debes configurarla a fin de que esté disponible para las políticas de la organización de tu organización. Para configurar una restricción personalizada, usa el comando gcloud org-policies set-custom-constraint:

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

Reemplaza CONSTRAINT_PATH por la ruta de acceso completa al archivo de restricción personalizado. Por ejemplo, /home/user/customconstraint.yaml Una vez completadas, encontrarás tus restricciones personalizadas como políticas de organización disponibles en tu lista de políticas de la organización de Google Cloud. Para verificar que la restricción personalizada exista, usa el comando gcloud org-policies list-custom-constraints:

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Reemplaza ORGANIZATION_ID por el ID del recurso de tu organización. Para obtener más información, consulta Visualiza las políticas de la organización.

Aplica una restricción personalizada

Puedes aplicar una restricción booleana si creas una política de la organización que haga referencia a ella y si aplicas esa política a un recurso de Google Cloud.

Console

Para aplicar una restricción booleana, sigue estos pasos:

En la consola de Google Cloud, ve a la página Políticas de la organización.
Ir a Políticas de la organización
Selecciona el selector de proyectos en la parte superior de la página.
En el selector de proyectos, selecciona el proyecto para el que deseas configurar la política de la organización.
Selecciona tu restricción de la lista en la página de las políticas de la organización. Debería aparecer la página Detalles de la política para esa restricción.
Si deseas configurar las políticas de la organización para este recurso, haz clic en Administrar política.
En la página Editar política, selecciona Anular política del superior.
Haz clic en Agregar una regla.
En Aplicación, selecciona si la aplicación de esta política de la organización debe estar activada o desactivada.
De manera opcional, haz clic en Agregar condición para que la política de la organización sea condicional en una etiqueta. Ten en cuenta que si agregas una regla condicional a una política de la organización, debes agregar al menos una regla sin condición o la política no se puede guardar. Para obtener más información, consulta Configura una política de la organización con etiquetas.
Si se trata de una restricción personalizada, puedes hacer clic en Probar cambios para simular el efecto de esta política de la organización. Para obtener más información, consulta Prueba los cambios en las políticas de la organización con Policy Simulator.
Para finalizar y aplicar la política de la organización, haz clic en Establecer política. La política tardará hasta 15 minutos en aplicarse.

gcloud

Para crear una política de la organización que aplique una restricción booleana, crea un archivo de política en formato YAML que haga referencia a la restricción:

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Reemplaza lo siguiente:

PROJECT_ID: el proyecto en el que deseas aplicar tu restricción.
CONSTRAINT_NAME: el nombre que definiste para tu restricción personalizada. Por ejemplo: custom.dataprocEnableComponentGateway

Para aplicar la política de la organización que contiene la restricción, ejecuta el siguiente comando:

    gcloud org-policies set-policy POLICY_PATH

Reemplaza POLICY_PATH por la ruta de acceso completa al archivo YAML de la política de la organización. La política tardará hasta 15 minutos en aplicarse.

Prueba la restricción personalizada

En el siguiente ejemplo de creación de clústeres, se supone que se creó una política de la organización personalizada y se aplicó en la creación del clúster para requerir que se habilite la puerta de enlace de componentes (resource.config.endpointConfig.enableHttpPortAccess==true).

gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

Resultado de muestra (de forma predeterminada, la puerta de enlace de componentes no está habilitada cuando se crea un clúster de Dataproc):

Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

Restricciones de Dataproc en recursos y operaciones

Los siguientes campos de restricciones personalizadas de Dataproc están disponibles para usarse cuando creas o actualizas un clúster de Dataproc. Ten en cuenta que, cuando actualizas un clúster, solo se admiten las restricciones relacionadas con parámetros de clúster editables (consulta Actualiza un clúster).

Configuración de red de Compute Engine (networkUri, internalIpOnly, serviceAccount y metadatos)
- resource.config.gceClusterConfig.networkUri
- resource.config.gceClusterConfig.internalIpOnly
- resource.config.gceClusterConfig.serviceAccount
- resource.config.gceClusterConfig.metadata
Configuración del grupo de instancias de Compute Engine (imageUri y machineTypeUri)
- resource.config.masterConfig.imageUri
- resource.config.masterConfig.machineTypeUri
- resource.config.workerConfig.imageUri
- resource.config.workerConfig.machineTypeUri
- resource.config.secondaryWorkerConfig.imageUri
- resource.config.secondaryWorkerConfig.machineTypeUri
Initialization actions (executableFile)
- resource.config.initializationActions.executableFile
Configuración de software (imageVersion, propiedades yoptionalComponents)
- resource.config.softwareConfig.imageVersion
- resource.config.softwareConfig.properties
- resource.config.softwareConfig.optionalComponents
Configuración de Kerberos (habilitarKerberos y crossRealmTrustKdc)
- resource.config.securityConfig.kerberosConfig.enableKerberos
- resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
Puerta de enlace del componente (enableHttpPortAccess)
- resource.config.endpointConfig.enableHttpPortAccess
Configuración de Metastore (dataprocMetastoreService)
- resource.config.metastoreConfig.dataprocMetastoreService
CMEK de Persistent Disk (gcePdKmsKeyName)
- resource.config.encryptionConfig.gcePdKmsKeyName
Etiquetas de clúster
- resource.labels
Tamaño del clúster
- resource.config.masterConfig.numInstances
- resource.config.workerConfig.numInstances
- resource.config.secondaryWorkerConfig.numInstances
Ajuste de escala automático
- resource.config.autoscalingConfig.policyUri

Restricciones personalizadas de ejemplo para casos de uso comunes

En la siguiente tabla, se proporcionan ejemplos de restricciones personalizadas:

Descripción	Sintaxis de la restricción
Restringe la cantidad de instancias de trabajadores de Dataproc a 10 o menos cuando se crea o actualiza un clúster.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocNoMoreThan10Workers resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10" actionType: DENY displayName: Total number of worker instances cannot be larger than 10 description: Cluster cannot have more than 10 workers, including primary and secondary workers.
Evita que la aplicación principal se ejecute en los trabajadores interrumpibles del clúster de Dataproc.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocAmPrimaryOnlyEnforced resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)" actionType: ALLOW displayName: Application master cannot run on preemptible workers description: Property "dataproc:am.primary_only" must be "true".
No permitir las propiedades personalizadas de Hive en los clústeres de Dataproc	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocNoCustomHiveProperties resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))" actionType: ALLOW displayName: Cluster cannot have custom Hive properties description: Only allow Dataproc cluster creation if no property starts with Hive prefix "hive:".
No permite el uso del tipo de máquina `n1-standard-2` para las instancias principales de Dataproc.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocMasterMachineType resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')" actionType: DENY displayName: Master cannot use the n1-standard-2 machine type description: Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
Aplica el uso de una secuencia de comandos de acción de inicialización especificada.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocInitActionScript resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')" actionType: ALLOW displayName: Initialization action script "gs://some/init-action.sh" must be used description: Only allow Dataproc cluster creation if the "gs://some/init-action.sh". initialization action script is used.
Aplicar de manera forzosa el uso de una clave de encriptación de disco persistente especificada.	name: organizations/`ORGANIZATION_ID`/custom.dataprocPdCmek resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'" actionType: ALLOW displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
Aplica restricciones de etiquetas de clúster.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocEnvLabel resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "('env' in resource.labels) && (resource.labels.env=='test')" actionType: DENY displayName: Cluster cannot have the "env=test" label description: Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
Aplicar de manera forzosa el uso de una red no predeterminada	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocNoDefaultNetwork resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.gceClusterConfig.networkUri.contains('networks/default')" actionType: DENY displayName: Cluster cannot be created in the default network description: Deny Dataproc cluster creation if the cluster will be created in the default network.

¿Qué sigue?

Consulta Introducción al Servicio de las Políticas de la Organización para obtener más información sobre las políticas de la organización.
Obtén más información para crear y administrar políticas de la organización.
Consulta la lista completa de Restricciones de políticas de la organización predefinidas.