Gestionar recursos de Dataflow con restricciones personalizadas

Google Cloud La política de organización te ofrece un control centralizado y programático sobre los recursos de tu organización. Como administrador de políticas de la organización, puedes definir una política de la organización, que es un conjunto de restricciones llamadas restricciones que se aplican a losGoogle Cloud recursos y a los elementos descendientes de esos recursos en la jerarquía de recursos de Google Cloud Platform. Puedes aplicar políticas de organización a nivel de organización, carpeta o proyecto.

La política de organización proporciona restricciones predefinidas para varios servicios deGoogle Cloud . Sin embargo, si quieres tener un control más granular y personalizable sobre los campos específicos que están restringidos en las políticas de tu organización, también puedes crear políticas de organización personalizadas.

Ventajas

Puedes usar una política de organización personalizada para permitir o denegar la creación de trabajos de Dataflow con condiciones basadas en atributos de recursos admitidos, como el nombre, el tipo y las opciones de servicio del trabajo.

Herencia de políticas

De forma predeterminada, las políticas de organización se heredan de los descendientes de los recursos en los que se aplican. Por ejemplo, si aplicas una política a una carpeta, Google Cloud se aplicará a todos los proyectos de la carpeta. Para obtener más información sobre este comportamiento y cómo cambiarlo, consulta las reglas de evaluación de la jerarquía.

Precios

El servicio de políticas de organización, incluidas las políticas de organización predefinidas y personalizadas, se ofrece sin coste económico.

Limitaciones

  • Las restricciones personalizadas de los recursos de Dataflow Job solo se pueden configurar mediante la consola Google Cloud o la CLI de Google Cloud.

  • Las restricciones personalizadas solo se pueden aplicar al método CREATE de los recursos de Dataflow Job.

  • Las restricciones personalizadas que se aplican recientemente no se aplican a los recursos que ya existen.

Antes de empezar

Para obtener más información sobre qué son las políticas y las restricciones de la organización y cómo funcionan, consulta la introducción al servicio de políticas de la organización.

Roles obligatorios

Para obtener los permisos que necesitas para gestionar las políticas de la organización, pide a tu administrador que te conceda el rol de gestión de identidades y accesos Administrador de políticas de la organización (roles/orgpolicy.policyAdmin) en la organización. Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para gestionar las políticas de la organización. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

Permisos obligatorios

Para gestionar las políticas de la organización, se necesitan los siguientes permisos:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Crear una restricción personalizada

Una restricción personalizada se define en un archivo YAML mediante los recursos, los métodos, las condiciones y las acciones que admite el servicio en el que se aplica la política de la organización. Las condiciones de tus restricciones personalizadas se definen mediante el lenguaje de expresión común (CEL). Para obtener más información sobre cómo crear condiciones en restricciones personalizadas con CEL, consulta la sección sobre CEL del artículo Crear y gestionar restricciones personalizadas.

Para crear un archivo YAML de una restricción personalizada, sigue estos pasos:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Haz los cambios siguientes:

  • ORGANIZATION_ID: el ID de tu organización, como 123456789.

  • CONSTRAINT_NAME: el nombre que quieras asignar a la nueva restricción personalizada. Una restricción personalizada debe empezar por custom. y solo puede incluir letras mayúsculas, letras minúsculas o números. Por ejemplo, custom.denyPrimeJobs. La longitud máxima de este campo es de 70 caracteres, sin contar el prefijo. Por ejemplo, organizations/123456789/customConstraints/custom.

  • RESOURCE_NAME: el nombre (no el URI) del recurso REST de la API Dataflow que contiene el objeto y el campo que quieres restringir. Por ejemplo, Job.

  • CONDITION: una condición CEL que se escribe en una representación de un recurso de servicio compatible. Este campo tiene una longitud máxima de 1000 caracteres. Consulta los recursos admitidos para obtener más información sobre los recursos con los que puedes escribir condiciones. Por ejemplo, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

  • ACTION: la acción que se debe llevar a cabo si se cumple la condición condition. Los valores posibles son ALLOW y DENY.

  • DISPLAY_NAME: nombre descriptivo de la restricción. Este campo tiene una longitud máxima de 200 caracteres.

  • DESCRIPTION: descripción de la restricción que se mostrará como mensaje de error cuando se infrinja la política. Este campo tiene una longitud máxima de 2000 caracteres.

Para obtener más información sobre cómo crear una restricción personalizada, consulta Definir restricciones personalizadas.

Configurar una restricción personalizada

Una vez que hayas creado el archivo YAML de una nueva restricción personalizada, debes configurarla para que esté disponible en las políticas de organización de tu organización. Para configurar una restricción personalizada, usa el comando gcloud org-policies set-custom-constraint: 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
 Sustituye CONSTRAINT_PATH por la ruta completa a tu archivo de restricciones personalizadas. Por ejemplo, /home/user/customconstraint.yaml. Una vez completado el proceso, tus restricciones personalizadas estarán disponibles como políticas de organización en tu lista de políticas de organización de Google Cloud Platform. Para verificar que la restricción personalizada existe, usa el comando gcloud org-policies list-custom-constraints: 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
 Sustituye ORGANIZATION_ID por el ID del recurso de tu organización. Para obtener más información, consulta Ver políticas de la organización.

Aplicar una política de organización personalizada

Para aplicar una restricción, crea una política de organización que haga referencia a ella y, a continuación, aplica esa política de organización a un recurso de Google Cloud Platform.

Consola

  1. En la Google Cloud consola, ve a la página Políticas de la organización.

    Ir a Políticas de organización

  2. En el selector de proyectos, elige el proyecto para el que quieras definir la política de organización.
  3. En la lista de la página Políticas de organización, selecciona la restricción para ver la página Detalles de la política correspondiente.
  4. Para configurar la política de la organización de este recurso, haz clic en Gestionar política.
  5. En la página Editar política, selecciona Anular política del recurso superior.
  6. Haz clic en Añadir regla.
  7. En la sección Aplicación, selecciona si quieres activar o desactivar la aplicación de esta política de la organización.
  8. Opcional: Para que la política de la organización dependa de una etiqueta, haz clic en Añadir condición. Ten en cuenta que, si añades una regla condicional a una política de organización, debes añadir al menos una regla incondicional o la política no se podrá guardar. Para obtener más información, consulta Configurar una política de organización con etiquetas.
  9. Haz clic en Probar cambios para simular el efecto de la política de la organización. La simulación de políticas no está disponible para las restricciones gestionadas antiguas. Para obtener más información, consulta el artículo Probar los cambios en las políticas de la organización con el simulador de políticas.
  10. Para finalizar y aplicar la política de organización, haz clic en Definir política. La política tarda hasta 15 minutos en aplicarse.

gcloud

Para crear una política de organización con reglas booleanas, crea un archivo YAML de política que haga referencia a la restricción: 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Haz los cambios siguientes:

  • PROJECT_ID: el proyecto en el que quieras aplicar la restricción.
  • CONSTRAINT_NAME: el nombre que has definido para tu restricción personalizada. Por ejemplo, custom.denyPrimeJobs.

Para aplicar la política de la organización que contiene la restricción, ejecuta el siguiente comando: 

    gcloud org-policies set-policy POLICY_PATH

Sustituye POLICY_PATH por la ruta completa al archivo YAML de la política de tu organización. La política tarda hasta 15 minutos en aplicarse.

Ejemplo: Crear una restricción para denegar la creación de una tarea con Prime habilitado

gcloud

  1. Crea un archivo de restricciones denyPrimeJobs.yaml con la siguiente información. Sustituye ORGANIZATION_ID por el ID de tu organización.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
resource_types: dataflow.googleapis.com/Job
condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
action_type: DENY
method_types: CREATE
display_name: Restrict creation of job with prime enabled
description: Deny creation of jobs with prime enabled.

  2. Define la restricción personalizada.

    gcloud org-policies set-custom-constraint denyPrimeJobs.yaml

  3. Crea un archivo de política enforce-policy-denyPrimeJobs.yaml con la siguiente información. En este ejemplo, la restricción se aplica a nivel de proyecto. También puedes definir esta restricción a nivel de organización o carpeta. Sustituye PROJECT_ID por el ID de tu proyecto.

          name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
      spec:
        rules:
        – enforce: true

  4. Aplica la política ejecutando el siguiente comando. 

    gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml

  5. Para probar la restricción, intenta crear una tarea de Dataflow con la opción enable_prime. Sigue la guía de inicio rápido Crear un flujo de procesamiento de Dataflow con Java para crear una tarea WordCount.

    mvn -Pdataflow-runner compile \
exec:java \
-Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--project=PROJECT_ID \
--gcpTempLocation=gs://BUCKET_NAME/temp/ \
--output=gs://BUCKET_NAME/output \
--runner=DataflowRunner \
--region=us-central1 \
--dataflowServiceOptions=enable_prime" \
-Pdataflow-runner

    La salida es similar al siguiente ejemplo:

    "details" : [ {
  "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
  "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
}]

    En el registro de auditoría se deben mostrar los detalles de la infracción, como los siguientes: 

      policyViolationInfo: {
    orgPolicyViolationInfo: {
    violationInfo: [
    0: {
      constraint: "customConstraints/custom.denyPrimeJobs"
      errorMessage: "Restrict creation of job with prime enabled"
      policyType: "CUSTOM_CONSTRAINT"
    }]}}

Campos de expresión de las condiciones

En la siguiente tabla se incluyen los campos de expresión que puedes usar para crear condiciones. Las condiciones se escriben en lenguaje de expresión común (CEL). En el valor de los campos de expresión se distingue entre mayúsculas y minúsculas.

Para ver las descripciones de los siguientes campos de expresión y los valores que puedes especificar, consulta la representación JSON de Job Dataflow.

Campo de expresión Tipo de valor
name string
type string
transformNameMapping map
location string
environment message
environment.serviceOptions list of string
environment.serviceKmsKeyName string
environment.serviceAccountEmail string
environment.workerRegion string
environment.workerZone string
environment.streamingMode string
environment.debugOptions message
environment.debugOptions.enableHotKeyLogging bool

Ejemplos de casos prácticos

En la siguiente tabla se muestran algunos ejemplos de casos prácticos.

Caso práctico Acción Restricción personalizada
No permitir el uso de prime job DENY resource.environment.serviceOptions.exists(value, value=='enable_prime')
Impide que las VMs acepten claves SSH almacenadas en los metadatos del proyecto. DENY !resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
No permitir trabajos sin definir el número máximo de segundos que pueden ejecutarse DENY !resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

Siguientes pasos