Versión 1.5. Esta versión ya no es compatible como se describe en la política de compatibilidad de versiones de Anthos. Para obtener los últimos parches y actualizaciones de vulnerabilidades de seguridad, exposiciones y problemas que afectan a clústeres de Anthos alojados en VMware (GKE On-Prem), actualiza a una versión compatible. Puedes encontrar la versión más reciente aquí.

Versiones disponibles

Registro de auditoría

Descripción general

Los clústeres de Anthos alojados en VMware (GKE On-Prem) usan el registro de auditoría de Kubernetes, que mantiene un registro cronológico de las llamadas realizadas al servidor de la API de Kubernetes de un clúster. Los registros de auditoría son útiles para investigar solicitudes a la API sospechosas y recopilar estadísticas.

Antes de Anthos 1.2, los clústeres de Anthos alojados en VMware escribieron registros de auditoría solo en el disco. Anthos 1.2 presenta una función Alfa que permite escribir registros de auditoría en los registros de auditoría de Cloud en un proyecto de Google Cloud. Escribir en los registros de auditoría de Cloud tiene varios beneficios en comparación con escribir en el disco o incluso capturar registros en un sistema de registro local:

Los registros de auditoría para todos los clústeres de Anthos se pueden centralizar.
Las entradas de registro escritas en los registros de auditoría de Cloud son inmutables.
Las entradas de los registros de auditoría de Cloud se retienen durante 400 días.
Los registros de auditoría de Cloud se incluyen en el precio de Anthos.

Puedes configurar los clústeres de Anthos alojados en VMware para escribir registros en el disco o en los registros de auditoría de Cloud.

Registro de auditoría basado en discos

De forma predeterminada, los registros de auditoría en GKE On-Prem se escriben en un disco persistente para que los reinicios y las actualizaciones de las VM no causen la desaparición de los registros. Los clústeres de Anthos alojados en VMware conservan hasta 12 GB de entradas de registro de auditoría.

Registros de auditoría de Cloud

Si los registros de auditoría de Cloud están habilitados, las entradas del registro de auditoría de actividad de administrador de todos los servidores de la API de Kubernetes se envían a Google Cloud con el proyecto y la ubicación que especifiques cuando crees un clúster de usuario. Cuando habilitas los registros de auditoría de Cloud, GKE On-Prem inhabilita el registro de auditoría basado en el disco.

Para almacenar en búfer y escribir entradas de registro en los registros de auditoría de Cloud, los clústeres de Anthos alojados en VMware implementan un pod audit-proxy en el clúster de administrador. Este pod también está disponible como un contenedor de archivo adicional en los clústeres de usuarios.

Limitaciones

Los registros de auditoría de Cloud para GKE On-Prem es una función Alfa. Esta versión Alfa tiene varias limitaciones:

No se admite el registro de acceso a los datos.
No se admite la modificación de la política de auditoría de Kubernetes.
Actualmente, los registros de auditoría de Cloud no son resistentes a las interrupciones de red. Si las entradas de registro no se pueden exportar a Google Cloud, se descartan.

Habilita la API de Anthos GKE y la API de auditoría de Anthos

Para usar Cloud Audit Logs con GKE On-Prem, haz lo siguiente:

Si usas Anthos 1.4.x o una versión anterior, habilita la API de Anthos GKE.
Si usas Anthos 1.5 o una versión posterior, habilita la API de auditoría de Anthos.
Si no estás seguro o planeas actualizar a Anthos 1.5, habilita ambas.

Habilitar la API de Anthos GKE

Habilita la API de auditoría de Anthos

Crea una cuenta de servicio para los registros de auditoría de Cloud

Ya tienes varias cuentas de servicio que creaste para usar con GKE On-Prem. Para esta función alfa, debes crear una cuenta de servicio adicional y, luego, incluirla en la lista de anunciantes permitidos.

Crea la cuenta de servicio de los registros de auditoría de Cloud:
```
gcloud iam service-accounts create audit-logging-service-account
```
Crea un archivo de claves JSON para la cuenta de servicio de los registros de auditoría de Cloud:
```
gcloud iam service-accounts keys create audit-logging-key.json \
   --iam-account AUDIT_LOGGING_SERVICE_ACCOUNT_EMAIL
```
En el ejemplo anterior, AUDIT_LOGGING_SERVICE_ACCOUNT_EMAIL es la dirección de correo electrónico de la cuenta de servicio.
Guarda audit-logging-key.json en la estación de trabajo de administrador en la misma ubicación que tus otras claves de cuenta de servicio.

Incluye tu cuenta de servicio en la lista de entidades permitidas

Para solicitar que se agregue tu cuenta de servicio de registros de auditoría de Cloud a la lista de entidades permitidas, completa el formulario de registros de auditoría de Cloud para clústeres de Anthos alojados en VMware Alfa. Cuando finalice el proceso, se te enviará una notificación por correo electrónico. Tu cuenta de servicio debe incluirse en la lista antes de crear un clúster de administrador o un clúster de usuario que habilite los registros de auditoría de Cloud.

Crea un clúster de administrador con los registros de auditoría de Cloud habilitados

Puedes habilitar los registros de auditoría de Cloud para un clúster de administrador solo cuando creas el clúster del administrador por primera vez. No puedes modificar un clúster de administrador existente para habilitar los registros de auditoría de Cloud.

Consulta las instrucciones para crear un clúster de administrador.
Después de ejecutar gkectl create-config, completa el archivo de configuración admin-cluster.yaml como de costumbre, pero también completa la sección cloudAuditLogging nueva.
Configura cloudAuditLogging.projectId con el ID del proyecto de Google Cloud en el que deseas ver los registros de auditoría que pertenecen a tu clúster de administrador.
Establece cloudAuditLogging.clusterLocation en una región de Google Cloud en la que quieras almacenar los registros de auditoría. Para obtener una latencia mejorada, elige una región que esté cerca de tu centro de datos local.
Establece cloudAuditLogging.serviceAccountKeyPath en la ruta de acceso del archivo de claves JSON de la cuenta de servicio de los registros de auditoría de Cloud.

Por ejemplo:

cloudAuditLogging:
  projectId: "my-project"
  clusterLocation: "us-west1"
  serviceAccountKeyPath: "/my-key-folder/audit-logging-key.json"

Continúa con la creación del clúster como de costumbre.

Crea un clúster de usuario con los registros de auditoría de Cloud habilitados

Si aún no has creado un clúster de administrador, consulta las instrucciones para crear un clúster de administración.

Si ya tienes un clúster de administrador, sigue las instrucciones en Crea clústeres de usuario adicionales para crear uno nuevo.
Después de ejecutar gkectl create-config, completa el archivo de configuración user-cluster.yaml como de costumbre, pero también completa la sección cloudAuditLogging nueva.
Establece cloudAuditLogging.projectId en el ID del proyecto de Google Cloud en el que deseas ver los registros de auditoría que pertenecen al clúster de usuario.
Establece cloudAuditLogging.clusterLocation en una región de Google Cloud en la que quieras almacenar los registros de auditoría. Te recomendamos que elijas una región cercana a tu centro de datos local.
Establece cloudAuditLogging.serviceAccounKeyPath en la ruta de acceso del archivo de claves JSON de la cuenta de servicio de los registros de auditoría de Cloud.

Por ejemplo:

cloudAuditLogging:
  projectId: "my-project"
  clusterLocation: "us-west1"
  serviceAccountKeyPath: "/my-key-folder/audit-logging-key.json"

Continúa con la creación del clúster como de costumbre.

Habilita los registros de auditoría de Cloud en un clúster de usuarios existente

Los registros de auditoría de Cloud se pueden habilitar en un clúster de usuario existente con el comando gkectl update cluster.

Completa la sección cloudAuditLogging del archivo user-cluster.yaml (consulta Crea un clúster de usuario con los registros de auditoría de Cloud habilitados para obtener más detalles sobre los campos individuales).

Luego, ejecuta lo siguiente:

gkectl update cluster --config [USER_CLUSTER_YAML] --kubeconfig [ADMIN_CLUSTER_KUBECONFIG]

Inhabilita los registros de auditoría de Cloud en un clúster de usuario existente

Abre el archivo user-cluster.yaml que describe tu clúster de usuario.
Borra o comenta la sección de cloudAuditLogging y guarda el archivo.
Ejecuta este comando para actualizar el clúster de usuario:

gkectl  update cluster --config [USER_CLUSTER_YAML] --kubeconfig [ADMIN_CLUSTER_KUBECONFIG]

Accede a los registros de auditoría de clústeres de Anthos alojados en VMware

Registro de auditoría basado en discos

Visualiza los servidores de la API de Kubernetes que se ejecutan en tu clúster de administrador y todos sus clústeres de usuario asociados:
```
kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get pods --all-namespaces -l component=kube-apiserver
```
En el ejemplo anterior, [ADMIN_CLUSTER_KUBECONFIG] es el archivo kubeconfig de tu clúster de administrador.
Descarga los registros de auditoría del servidor de la API:
```
kubectl cp -n [NAMESPACE] [APISERVER_POD_NAME]:/var/log/kube-audit/kube-apiserver-audit.log /tmp/kubeaudit.log
```
Con este comando, se recupera el archivo de registro más reciente, que puede contener hasta 1 GB de datos del clúster de administrador y hasta 850 GB de los clústeres de usuario.

También puedes encontrar los registros de auditoría del clúster de administrador en los nodos del plano de control en /var/log/kube-audit/kube-apiserver-audit.log. Los registros de auditoría del clúster de usuarios están en PersistentVolumeClaim con el nombre kube-audit-kube-apiserver-0. Puedes acceder a estos datos dentro de tus propios pods a través de entradas volume como esta:
```
volumes:
‐ name: kube-audit
  hostPath:
    path: /var/log/kube-audit
    type: ""
```
```
volumes:
‐ name: kube-audit
  persistentVolumeClaim:
    claimName: kube-audit-kube-apiserver-0
    readOnly: true
```
Para programar tu pod en el nodo de clúster de administración correspondiente (y solo este nodo), debes agregar las secciones nodeSelector y tolerations a la especificación de tu pod, como se muestra a continuación:
```
spec:
  nodeSelector:
    node-role.kubernetes.io/master: ''
  tolerations:
  ‐ key: node-role.kubernetes.io/master
    value: ""
    effect: NoSchedule
```
Para el clúster de usuarios, utiliza este nodeSelector:
```
spec:
 nodeSelector:
   kubernetes.googleapis.com/cluster-name: [USER_CLUSTER_NAME]
```
Los registros de auditoría anteriores se guardan en archivos diferentes. Para ver esos archivos, haz lo siguiente:
```
kubectl exec -n [NAMESPACE] [APISERVER_POD_NAME] -- ls /var/log/kube-audit -la
```
El nombre de archivo de cada registro de auditoría tiene una marca de tiempo que indica cuándo se rotó el archivo. Un archivo contiene registros de auditoría hasta esa hora y fecha.

Registros de auditoría de Cloud

Console

En la consola de Cloud, ve a la página Registros en el menú de Logging.

Ir al Explorador de registros.
En el cuadro Filtrar por búsqueda de texto o etiqueta, arriba de los menús desplegables mencionados antes, haz clic en la flecha hacia abajo para abrir el menú desplegable. En el menú, selecciona Convertir a filtro avanzado.

Completa el cuadro de texto con el siguiente filtro:

resource.type="k8s_cluster"
logName="projects/[PROJECT_ID]/logs/externalaudit.googleapis.com%2Factivity"
protoPayload.serviceName="anthosgke.googleapis.com"

Haz clic en Enviar filtro para mostrar todos los registros de auditoría de los clústeres de Anthos alojados en VMware que se configuraron para acceder a este proyecto.

gcloud

Enumera las dos primeras entradas en el registro de actividad de administrador de tu proyecto que se aplican al tipo de recurso k8s_cluster:

gcloud logging read \
    'logName="projects/[PROJECT_ID]/logs/externalaudit.googleapis.com%2Factivity" \
    AND resource.type="k8s_cluster" \
    AND protoPayload.serviceName="anthosgke.googleapis.com" ' \
    --limit 2 \
    --freshness 300d

En el ejemplo anterior, [PROJECT_ID] es el ID del proyecto.

Los resultados muestran dos entradas de registro. Ten en cuenta que para cada entrada de registro, el campo logName tiene el valor projects/[PROJECT_ID]/logs/externalaudit.googleapis.com%2Factivity, y protoPayload.serviceName es igual a anthosgke.googleapis.com.

Política de auditoría

El comportamiento de los registros de auditoría de Cloud se determina mediante una política de registro de auditoría de Kubernetes configurada de manera estática. Por el momento, no se admite el cambio de esta política, pero estará disponible en una versión futura.