Multiusuario entre proyectos para Knative serving

En esta guía, se explica cómo configurar Knative serving para permitir que uno o más proyectos de Google Cloud ejecuten y administren las cargas de trabajo que se ejecutan en un clúster de GKE en un proyecto de Google Cloud diferente.

Un modelo operativo común con Knative serving consiste en que un equipo de desarrolladores de aplicaciones use su proyecto de Google Cloud para implementar y administrar servicios que se ejecutan en clústeres diversos de GKE en proyectos de Google Cloud de otros equipos. Esta capacidad, que se llama multiusuario, te permite, como operador de la plataforma, adaptar el acceso de los equipos de desarrollo solo a sus servicios que se ejecutan en tus organizaciones en varios entornos (por ejemplo, producción frente a etapa de pruebas).

Knative serving admite de forma específica multiusuarios empresariales. Este tipo de multiusuario permite un proyecto de Google Cloud de clúster para habilitar el acceso a recursos específicos del clúster de GKE. El proyecto de Google Cloud al que se le otorga acceso al proyecto de Google Cloud de clúster es el proyecto de Google Cloud de usuario. Los usuarios del proyecto de Google Cloud del clúster pueden usar Knative serving para acceder a esos servicios y recursos a los que se les otorga acceso, operar en ellos y poseerlos.

En teoría, existen cuatro pasos para configurar el multiusuario empresarial con Knative serving:

  1. Configurar el acceso de usuarios al proyecto de Google Cloud de clúster mediante un Grupo de Google e Identity and Access Management.
  2. Asigna cada proyecto de Google Cloud del usuario al proyecto de Google Cloud del clúster.
  3. Enrutar los datos del registro del proyecto de Google Cloud de clústeres a los proyectos de Google Cloud de usuarios mediante receptores y buckets de registros
  4. Definir los permisos del clúster para usuarios mediante el control de acceso basado en funciones

Antes de comenzar

El operador de la plataforma que es responsable de la configuración de multiusuario debe conocer y cumplir los siguientes requisitos:

Define las variables de entorno local

Para simplificar los comandos que se usan en este proceso, define las variables de entorno local para el proyecto de Google Cloud de clúster y de usuario:

  1. Reemplaza YOUR_CLUSTER_PROJECT_ID por el ID del proyecto de Google Cloud del clúster y, luego, ejecuta el siguiente comando:

    export CLUSTER_PROJECT_ID=YOUR_CLUSTER_PROJECT_ID

  2. Reemplaza YOUR_TENANT_PROJECT_ID por el ID del proyecto de Google Cloud del usuario y, luego, ejecuta el siguiente comando:

    export TENANT_PROJECT_ID=$YOUR_TENANT_PROJECT_ID

  3. Ejecuta los siguientes comandos para verificar las variables de entorno local:

    echo "cluster Google Cloud project is:" $CLUSTER_PROJECT_ID
echo "tenant Google Cloud project is:" $TENANT_PROJECT_ID

El ID del proyecto de Google Cloud de clúster y el ID del proyecto de Google Cloud de usuario ahora se usan en todos los comandos siguientes, en los que se especifican $CLUSTER_PROJECT_ID y $TENANT_PROJECT_ID.

Verifica los permisos de IAM

Ejecuta los siguientes comandos testIamPermissions para validar que tienes los permisos de IAM necesarios para acceder a los recursos en el proyecto de Google Cloud de clúster y en los proyectos de Google Cloud de usuario.

Ejecuta el siguiente comando para validar los permisos en el proyecto de Google Cloud del clúster:

curl -X POST \
  -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
  --header "Content-Type: application/json" \
  --data '{"permissions":["logging.sinks.create", "logging.sinks.get", "resourcemanager.projects.setIamPolicy"]}' \
  https://cloudresourcemanager.googleapis.com/v1/projects/$CLUSTER_PROJECT_ID:testIamPermissions

Resultados esperados para el proyecto de Google Cloud de clúster:

{
  "permissions": [
    "logging.sinks.create",
    "logging.sinks.get",
    "resourcemanager.projects.setIamPolicy"
  ]
}

Ejecuta el siguiente comando para validar los permisos en cada proyecto de Google Cloud de usuario:

curl -X POST \
  -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
  --header "Content-Type: application/json" \
  --data '{"permissions":["logging.buckets.create", "logging.buckets.get", "resourcemanager.projects.setIamPolicy", "resourcesettings.settingvalues.create", "serviceusage.services.enable"]}' \
  https://cloudresourcemanager.googleapis.com/v1/projects/$TENANT_PROJECT_ID:testIamPermissions

Resultados esperados para cada proyecto de Google Cloud de usuario:

{
  "permissions": [
    "logging.buckets.create",
    "logging.buckets.get",
    "resourcemanager.projects.setIamPolicy",
    "resourcesettings.settingvalues.create",
    "serviceusage.services.enable",
  ]
}

Usa un Grupo de Google y la administración de identidades y accesos para configurar el acceso de los usuarios

Usa un Grupo de Google para permitir que los usuarios accedan al clúster de GKE. Los permisos de IAM otorgan a los usuarios los permisos para obtener credenciales, pero no podrán realizar ninguna acción en el clúster hasta que el control de acceso basado en funciones de Kubernetes se configure en un paso posterior.

Debes crear un Grupo de Google que contenga todos los usuarios del proyecto de Google Cloud de usuario. A fin de obtener más información para usar un grupo de seguridad, consulta Usa Grupos de Google para GKE.

Crea la siguiente variable de entorno local para el Grupo de Google:

export SECURITY_GROUP=gke-security-groups@company.com

Visualizador de clústeres de Kubernetes

Ejecuta los siguientes comandos para permitir que los usuarios obtengan credenciales en el clúster. Esto no permite que los usuarios lean ni manipulen ningún recurso en el clúster de GKE.

Referencia de IAM

gcloud projects add-iam-policy-binding $CLUSTER_PROJECT_ID \
   --member=group:$SECURITY_GROUP \
   --role='roles/container.clusterViewer' \
   --condition=None

Para restringir el acceso a un clúster específico, puedes usar una condición de IAM.

gcloud projects add-iam-policy-binding $CLUSTER_PROJECT_ID \
   --member=group:$SECURITY_GROUP \
   --role='roles/container.clusterViewer' \
   --condition="expression=resource.name == 'cluster-name',title=Restrict cluster access"

Visualizador de Monitoring

Ejecuta el siguiente comando para permitir que los usuarios lean las métricas de supervisión.

Referencia de las funciones de Monitoring

gcloud projects add-iam-policy-binding $CLUSTER_PROJECT_ID \
   --member=group:$SECURITY_GROUP \
   --role='roles/monitoring.viewer' \
   --condition=None

Asigna cada proyecto de Google Cloud de usuario al proyecto de Google Cloud del clúster

Debes usar valores de configuración de recursos para asignar proyectos de Google Cloud de usuarios a un proyecto de Google Cloud de clúster.

La configuración de recursos se puede establecer para cada proyecto de Google Cloud de usuario individual o se puede establecer en cualquier nivel de la jerarquía de carpetas. Es más fácil configurar esta opción a nivel de carpeta de usuario único, pero configurarla a nivel de proyecto de cada usuario brinda mayor flexibilidad. Después de esta configuración, cada vez que los usuarios exploren la IU de Knative serving, también verán sus servicios en el proyecto de Google Cloud del clúster. Esto no cambia los permisos de IAM en el proyecto de Google Cloud de clúster ni en los clústeres de GKE; solo es una asignación de un proyecto de usuario (o carpeta) a un proyecto de Google Cloud de clúster.

  1. Habilita la API de resourcesettings en el proyecto de Google Cloud de usuario.

    gcloud services enable resourcesettings.googleapis.com \
  --project=$TENANT_PROJECT_ID

  2. Para agregar los privilegios de administrador de la organización (roles/resourcesettings.admin) al ID del usuario, ejecuta el siguiente comando:

    gcloud organizations add-iam-policy-binding YOUR_ORGANIZATION_ID \
  --member=YOUR_ADMIN_MEMBER_ID \
  --role='roles/resourcesettings.admin'

    Reemplaza YOUR_ORGANIZATION_ID con el ID de tu organización y YOUR_ADMIN_MEMBER_ID con el ID de usuario, por ejemplo user:my-email@my-domain.com.

  3. Elige uno de los siguientes métodos para definir el mapeo.

    Puedes establecer el valor de configuración de recursos en una carpeta superior de Google Cloud si todos los proyectos de Google Cloud y las carpetas de Google Cloud secundarios usan ese mismo valor.

Proyectos de usuarios

Establece el valor de configuración de recursos para cada proyecto de Google Cloud de usuario:

  1. Obtén el name del proyecto de Google Cloud de usuario y configúralo en una variable de entorno local: 
    export TENANT_PROJECT_NUMBER=$(gcloud projects describe $TENANT_PROJECT_ID --format="value(projectNumber)")
  2. Crea un archivo de valor de configuración de recursos y define la asiganción del proyecto de Google Cloud de usuario al proyecto de Google Cloud de clúster. Los IDs de los proyectos de Google Cloud de varios clústeres se pueden definir en este archivo y agregarse a un proyecto de Google Cloud de usuario único. 
    cat > value-file.json << EOF
{
"name": "projects/$TENANT_PROJECT_NUMBER/settings/cloudrun-multiTenancy/value",
"value": {
  "stringSetValue": {
    "values": [ "projects/$CLUSTER_PROJECT_ID" ]
  }
}
}
EOF
  3. Implementa la configuración de recursos en el proyecto de Google Cloud de usuario: 
    gcloud resource-settings set-value cloudrun-multiTenancy --value-file value-file.json --project $TENANT_PROJECT_ID

Carpetas de usuarios

Establece el valor de configuración de recursos para una carpeta de usuario principal para establecer ese valor en todos los proyectos y carpetas de usuario secundarios de Google Cloud:

  1. Obtén el number de la carpeta de usuario y configúralo como una variable de entorno local:
    export TENANT_FOLDER_NUMBER=$TENANT_FOLDER_NUMBER
  2. Crea un archivo de valor de configuración de recursos y define la asignación de la carpeta de usuario al proyecto de Google Cloud de clúster. Se pueden definir varios IDs de proyecto de Google Cloud de clúster en este archivo y agregarlos a una carpeta de usuario único. 
    cat > value-file.json << EOF
{
"name": "folders/$TENANT_FOLDER_NUMBER/settings/cloudrun-multiTenancy/value",
"value": {
  "stringSetValue": {
    "values": [ "projects/$CLUSTER_PROJECT_ID" ]
  }
}
}
EOF
  3. Implementa la configuración de recursos en la carpeta de usuario: 
    gcloud resource-settings set-value cloudrun-multiTenancy --value-file value-file.json --folder $TENANT_FOLDER_NUMBER

Configura los receptores y buckets de registros para enrutar los datos de registro

Por cada usuario, debes crear un bucket de registros, un receptor de registros y los permisos para enrutar los datos de registro del proyecto de Google Cloud de clúster al proyecto de Google Cloud de usuario. En los siguientes pasos, todos los registros del espacio de nombres en el proyecto de Google Cloud de clúster se enrutan al bucket. Consulta el siguiente conjunto para obtener detalles sobre cómo limitar los registros que se comparten.

Crea las siguientes variables de entorno local:

  • Especifica el espacio de nombres del clúster de GKE al que acceden los usuarios.
  • El nombre del receptor. Para simplificar este paso, el nombre es una combinación de las variables de entorno local del proyecto de Google Cloud de clúster y del proyecto de Google Cloud de usuario que creaste antes. Puedes modificar este valor.
export NAMESPACE=$NAMESPACE
export SINK_NAME=$CLUSTER_PROJECT_ID-$TENANT_PROJECT_ID

Ejecuta el siguiente comando y crea el bucket de registros en el proyecto de usuario. Ten en cuenta que el nombre del bucket de registros debe ser el ID del proyecto de Google Cloud de clúster y no puede cambiarse ni modificarse.

gcloud logging buckets \
   create $CLUSTER_PROJECT_ID \
   --location=global \
   --project=$TENANT_PROJECT_ID

Ejecuta el siguiente comando para crear el receptor desde el espacio de nombres especificado en el proyecto de Google Cloud del clúster, en el bucket del proyecto de Google Cloud de usuario. Ten en cuenta que puedes reducir el alcance de los registros. Por ejemplo, puedes compartir solo clústeres de GKE individuales o recursos de Knative serving específicos si defines valores log-filter adicionales.

gcloud logging sinks \
   create $SINK_NAME \
   logging.googleapis.com/projects/$TENANT_PROJECT_ID/locations/global/buckets/$CLUSTER_PROJECT_ID \
   --log-filter=resource.labels.namespace_name=$NAMESPACE \
   --project $CLUSTER_PROJECT_ID

Ejecuta los siguientes comandos y agrega el permiso de la cuenta de servicio del receptor de registros al bucket que creaste.

export SINK_SERVICE_ACCOUNT=$(gcloud logging sinks \
   describe $SINK_NAME \
   --project $CLUSTER_PROJECT_ID \
   --format="value(writerIdentity)")

gcloud projects add-iam-policy-binding $TENANT_PROJECT_ID \
   --member=$SINK_SERVICE_ACCOUNT \
   --role='roles/logging.bucketWriter' \
   --condition="expression=resource.name.endsWith\
   (\"locations/global/buckets/$CLUSTER_PROJECT_ID\"),\
   title=Log bucket writer from $CLUSTER_PROJECT_ID"

Configura permisos de usuario con control de acceso basado en funciones (RBAC)

Antes usaste IAM y Grupos de Google para configurar los permisos a fin de permitir que los usuarios accedan al proyecto de Google Cloud del clúster de GKE. Para permitir que los usuarios accedan a los recursos dentro del clúster de GKE, debes definir los permisos con el RBAC de Kubernetes.

Crea funciones de clúster

Después de definir y crear los siguientes roles de clúster, puedes continuar usándolas en el futuro a fin de agregar a todos los usuarios posteriores del proyecto de Google Cloud de clúster.

Funciones de la IU

Esta función permite que los usuarios consulten todos los espacios de nombres. Se requiere a fin de encontrar los espacios de nombres a los que los usuarios tienen acceso para crear servicios /sdk/gcloud/reference/logging/sinks/create.

kubectl create clusterrole \
   namespace-lister \
   --verb=list \
   --resource=namespaces

Este rol permite que los usuarios vean los servicios de Knative serving. Se requiere para mostrar los servicios en la IU de Knative serving.

kubectl create clusterrole \
   ksvc-lister \
   --verb=list \
   --resource=services.serving.knative.dev

Crea funciones de clúster

Solo uno de estos permisos es obligatorio. El primer permiso habilita a los usuarios a manipular cualquier recurso en el espacio de nombres. Con el segundo permiso, se permite un conjunto más limitado que consiste en solo crear servicios de Knative serving.

kubectl create clusterrole \
   kubernetes-developer \
   --verb="*" \
   --resource="*.*"

Si el permiso kubernetes-developer es demasiado permisivo, lo siguiente habilita a los usuarios a crear servicios de Knative en sus espacios de nombres y ver los otros recursos de Knative.

cat <<EOF | kubectl apply -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: knative-developer
rules:
- apiGroups: ["serving.knative.dev"]
  resources: ["services"]
  verbs: ["*"]
- apiGroups: ["serving.knative.dev"]
  resources: ["*"]
  verbs: ["get", "list", "watch"]
EOF

Crea espacio de nombres de usuario y asigna permisos

Ten en cuenta que se supone que realizaste la configuración mediante Grupos de Google para GKE. Esto se debe hacer para cada usuario.

export TENANT_GROUP=tenant-a@company.com

TENANT_GROUP debe ser parte de SECURITY_GROUP

Capacidad de ver todos los espacios de nombres

Para consultar el clúster de GKE, la mayoría de los usuarios tienen la capacidad de enumerar espacios de nombres. Por el momento, no hay un comando auth can-i que muestre espacios de nombres para los que sea posible realizar una acción. La única solución es enumerar los espacios de nombres y consultar cada uno de forma individual.

kubectl create clusterrolebinding \
   all-namespace-listers \
   --clusterrole=namespace-lister \
   --group=$TENANT_GROUP

Capacidad de mostrar la lista de servicios de Knative serving

kubectl create clusterrolebinding \
   all-ksvc-listers \
   --clusterrole=ksvc-lister \
   --group=$TENANT_GROUP

Capacidad de manipular recursos en el espacio de nombres

Primero, crea el espacio de nombres:

kubectl create namespace $NAMESPACE

Si usas la función kubernetes-developer, usa este comando:

kubectl create rolebinding \
   kubernetes-developer \
   --namespace=$NAMESPACE \
   --clusterrole=kubernetes-developer \
   --group=$TENANT_GROUP

Si usas la función knative-developer, usa este comando:

kubectl create rolebinding \
   kubernetes-developer \
   --namespace=$NAMESPACE \
   --clusterrole=knative-developer \
   --group=$TENANT_GROUP

Agrega la capacidad de un usuario de acceder a la dirección IP externa

cat <<EOF | kubectl apply -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: ingress-reader
rules:
- apiGroups: [""]
  resources: ["services"]
  verbs: ["get"]
EOF

kubectl create rolebinding \
   ingress-reader-$TENANT_GROUP \
   --namespace=istio-system \
   --clusterrole=ingress-reader \
   --group=$TENANT_GROUP

Verificar

Puedes verificar que configuraste correctamente el multiusuario empresarial si abres el proyecto de Google Cloud de usuario en Knative serving y, luego, implementas un servicio en un clúster de GKE.

Ve a Knative serving

Felicitaciones, ahora el usuario puede interactuar con los servicios y los recursos en el espacio de nombres del clúster de GKE al que se le otorgó acceso.

Referencia de la arquitectura multiusuario