Administra recursos de Dataflow con restricciones personalizadas

La Política de la Organización de Google Cloud te brinda un control centralizado y programático sobre los recursos de tu organización. Como administrador de políticas de la organización, puedes definir una política de la organización, que es un conjunto de limitaciones llamadas restricciones que se aplican a los recursos de Google Cloud y a sus descendientes en la jerarquía de recursos de Google Cloud. Puedes aplicar políticas de la organización a nivel de la organización, carpeta o proyecto.

La política de la organización proporciona restricciones predefinidas para varios servicios de Google Cloud. Sin embargo, si deseas un control más detallado y personalizable sobre los campos específicos que están restringidos en las políticas de tu organización, también puedes crear políticas de la organización personalizadas.

Beneficios

Puedes usar una política de organización personalizada para permitir o denegar la creación de trabajos de Dataflow con condiciones basadas en atributos de recursos compatibles, como el nombre, el tipo y las opciones de servicio del trabajo.

Herencia de políticas

De forma predeterminada, las políticas de la organización se heredan según los subordinados de los recursos en los que se aplica la política. Por ejemplo, si aplicas una política en una carpeta, Google Cloud aplica la política en todos los proyectos de la carpeta. Para obtener más información sobre este comportamiento y cómo cambiarlo, consulta Reglas de evaluación de jerarquía.

Precios

El Servicio de políticas de la organización, que incluye las políticas de la organización predefinidas y personalizadas, se ofrece sin cargo.

Limitaciones

  • Las restricciones personalizadas para los recursos Job de Dataflow solo se pueden configurar mediante la consola de Google Cloud o Google Cloud CLI.

  • Las restricciones personalizadas solo se pueden aplicar en el método CREATE para los recursos Job de Dataflow.

  • Las restricciones personalizadas recién aplicadas no se aplican de forma automática a los recursos existentes.

Antes de comenzar

Para obtener más información sobre qué son las políticas y restricciones de la organización y cómo funcionan, consulta la Introducción al servicio de políticas de la organización.

Roles obligatorios

Para obtener los permisos que necesitas a fin de administrar las políticas de la organización, pídele a tu administrador que te otorgue el rol de IAM de administrador de políticas de la organización (roles/orgpolicy.policyAdmin) en la organización. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para administrar las políticas de la organización. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para administrar las políticas de la organización:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Crea una restricción personalizada

Una restricción personalizada se define en un archivo YAML mediante los recursos, los métodos, las condiciones y las acciones que son compatibles con el servicio en el que aplicas la política de la organización. Las condiciones para tus restricciones personalizadas se definen con Common Expression Language (CEL). Si deseas obtener más información para compilar condiciones en restricciones personalizadas mediante CEL, consulta la sección CEL de Crea y administra restricciones personalizadas.

Para crear un archivo YAML para una restricción personalizada, haz lo siguiente:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Reemplaza lo siguiente:

  • ORGANIZATION_ID: el ID de la organización, como 123456789.

  • CONSTRAINT_NAME: el nombre que deseas para tu nueva restricción personalizada. Una restricción personalizada debe comenzar con custom. y solo puede incluir letras mayúsculas, minúsculas o números, por ejemplo, custom.denyPrimeJobs. La longitud máxima de este campo es de 70 caracteres, sin contar el prefijo, por ejemplo, organizations/123456789/customConstraints/custom.

  • RESOURCE_NAME: el nombre (no el URI) del recurso REST de la API de Dataflow que contiene el objeto y el campo que deseas restringir. Por ejemplo, Job

  • CONDITION: una condición de CEL que se escribe en una representación de un recurso de servicio compatible. La longitud máxima de este campo es 1000 caracteres. Consulta Recursos compatibles con el fin de obtener más información sobre los recursos disponibles para escribir condiciones. Por ejemplo, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

  • ACTION: la acción que se realiza si se cumple condition. Los valores admitidos son ALLOW y DENY.

  • DISPLAY_NAME: un nombre descriptivo para la restricción. La longitud máxima de este campo es 200 caracteres.

  • DESCRIPTION: una descripción fácil de usar de la restricción que se mostrará como un mensaje de error cuando se infringe la política. La longitud máxima de este campo es 2000 caracteres.

Para obtener más información sobre cómo crear una restricción personalizada, consulta Define restricciones personalizadas.

Configura una restricción personalizada

Después de crear el archivo YAML para una nueva restricción personalizada, debes configurarla para que esté disponible para las políticas de la organización de tu organización. Para configurar una restricción personalizada, usa el comando gcloud org-policies set-custom-constraint: 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
 Reemplaza CONSTRAINT_PATH por la ruta de acceso completa al archivo de restricción personalizado. Por ejemplo, /home/user/customconstraint.yaml. Una vez completadas, tus restricciones personalizadas estarán disponibles como políticas de la organización en tu lista de políticas de la organización de Google Cloud. Para verificar que la restricción personalizada exista, usa el comando gcloud org-policies list-custom-constraints: 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
 Reemplaza ORGANIZATION_ID por el ID del recurso de tu organización. Para obtener más información, consulta Visualiza las políticas de la organización.

Aplica de manera forzosa una política de la organización personalizada

Puedes aplicar una restricción booleana si creas una política de la organización que haga referencia a ella y si aplicas esa política a un recurso de Google Cloud.

Console

  1. En la consola de Google Cloud, ve a la página Políticas de la organización.

    Ir a Políticas de la organización

  2. En el selector de proyectos, selecciona el proyecto para el que deseas configurar la política de la organización.
  3. En la lista de la página Políticas de la organización, selecciona tu restricción para ver la página Detalles de la política de esa restricción.
  4. Si deseas configurar las políticas de la organización para este recurso, haz clic en Administrar política.
  5. En la página Editar política, selecciona Anular la política del elemento superior.
  6. Haz clic en Agregar una regla.
  7. En la sección Aplicación, selecciona si la aplicación de esta política de la organización está activada o desactivada.
  8. Opcional: haz clic en Agregar condición para que la política de la organización sea condicional en una etiqueta. Ten en cuenta que si agregas una regla condicional a una política de la organización, debes agregar al menos una regla sin condición o la política no se puede guardar. Para obtener más información, consulta Configura una política de la organización con etiquetas.
  9. Si se trata de una restricción personalizada, puedes hacer clic en Probar cambios para simular el efecto de esta política de la organización. Para obtener más información, consulta Prueba los cambios en las políticas de la organización con Policy Simulator.
  10. Para finalizar y aplicar la política de la organización, haz clic en Establecer política. La política tarda hasta 15 minutos en aplicarse.

gcloud

Para crear una política de la organización que aplique una restricción booleana, crea un archivo de política en formato YAML que haga referencia a la restricción: 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Reemplaza lo siguiente:

  • PROJECT_ID: el proyecto en el que deseas aplicar tu restricción.
  • CONSTRAINT_NAME: el nombre que definiste para tu restricción personalizada. Por ejemplo: custom.denyPrimeJobs

Para aplicar la política de la organización que contiene la restricción, ejecuta el siguiente comando: 

    gcloud org-policies set-policy POLICY_PATH

Reemplaza POLICY_PATH por la ruta de acceso completa al archivo YAML de la política de la organización. La política tarda hasta 15 minutos en aplicarse.

Ejemplo: Crea una restricción para denegar la creación de un trabajo con Prime habilitado

gcloud

  1. Crea un archivo de restricción denyPrimeJobs.yaml con la siguiente información: Reemplaza ORGANIZATION_ID por el ID de tu organización.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
resource_types: dataflow.googleapis.com/Job
condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
action_type: DENY
method_types: CREATE
display_name: Restrict creation of job with prime enabled
description: Deny creation of jobs with prime enabled.

  2. Establece la restricción personalizada.

    gcloud org-policies set-custom-constraint denyPrimeJobs.yaml

  3. Crea un archivo de política enforce-policy-denyPrimeJobs.yaml con la siguiente información. En este ejemplo, la restricción se aplica a nivel del proyecto. También puedes establecer esta restricción a nivel de la organización o de la carpeta. Reemplaza PROJECT_ID por el ID del proyecto.

          name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
      spec:
        rules:
        – enforce: true

  4. Ejecuta el siguiente comando para aplicar la política. 

    gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml

  5. Para probar la restricción, intenta crear un trabajo de Dataflow con la opción enable_prime. Sigue la guía de inicio rápido Crea una canalización de Dataflow con Java para crear un trabajo de WordCount.

    mvn -Pdataflow-runner compile \
exec:java \
-Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--project=PROJECT_ID \
--gcpTempLocation=gs://BUCKET_NAME/temp/ \
--output=gs://BUCKET_NAME/output \
--runner=DataflowRunner \
--region=us-central1 \
--dataflowServiceOptions=enable_prime" \
-Pdataflow-runner

    El resultado es similar al siguiente ejemplo.

    "details" : [ {
  "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
  "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
}]

    El registro de auditoría debe mostrar los detalles del incumplimiento de la siguiente manera: 

      policyViolationInfo: {
    orgPolicyViolationInfo: {
    violationInfo: [
    0: {
      constraint: "customConstraints/custom.denyPrimeJobs"
      errorMessage: "Restrict creation of job with prime enabled"
      policyType: "CUSTOM_CONSTRAINT"
    }]}}

Campos de expresión para las condiciones

La siguiente tabla contiene los campos de expresión que puedes usar para crear condiciones. Las condiciones se escriben en Common Expression Language (CEL). El valor de los campos de expresión distingue mayúsculas de minúsculas.

Para obtener descripciones de los siguientes campos de expresión y los valores que puedes especificar, consulta la representación JSON de Job de flujo de datos.

Campo de expresión Tipo de valor
name string
type string
transformNameMapping map
location string
environment message
environment.serviceOptions list of string
environment.serviceKmsKeyName string
environment.serviceAccountEmail string
environment.workerRegion string
environment.workerZone string
environment.streamingMode string
environment.debugOptions message
environment.debugOptions.enableHotKeyLogging bool

Ejemplos de casos de uso

En la siguiente tabla, se muestran algunos ejemplos de casos de uso.

Caso de uso Acción Restricción personalizada
No permitir el uso de trabajos principales DENY resource.environment.serviceOptions.exists(value, value=='enable_prime')
Evita que las VMs acepten claves SSH almacenadas en metadatos del proyecto. DENY !resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
No permitir trabajos sin establecer la cantidad máxima de segundos que puede ejecutarse DENY !resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

¿Qué sigue?