Descripción general
Los clústeres de Anthos alojados en VMware (GKE On-Prem) usan el registro de auditoría de Kubernetes, que mantiene un registro cronológico de las llamadas realizadas al servidor de la API de Kubernetes de un clúster. Los registros de auditoría son útiles para investigar solicitudes a la API sospechosas y recopilar estadísticas.
Puedes configurar un clúster para escribir registros de auditoría en el disco o en Cloud Audit Logging en un proyecto de Google Cloud. Escribir en los registros de auditoría de Cloud tiene varios beneficios en comparación con escribir en el disco o incluso capturar registros en un sistema de registro local:
- Los registros de auditoría para todos los clústeres de Anthos se pueden centralizar.
- Las entradas de registro escritas en los registros de auditoría de Cloud son inmutables.
- Las entradas de los registros de auditoría de Cloud se retienen durante 400 días.
- Los registros de auditoría de Cloud se incluyen en el precio de Anthos.
Registro de auditoría basado en discos
De forma predeterminada, los registros de auditoría se escriben en un disco persistente para que los reinicios y las actualizaciones de las VM no causen la desaparición de los registros. Los clústeres de Anthos alojados en VMware conservan hasta 12 GB de entradas de registro de auditoría.
Registros de auditoría de Cloud
Si habilitas los Registros de auditoría de Cloud para un clúster, las entradas del registro de auditoría de actividad del administrador del servidor de la API de Kubernetes del clúster se envían a Google Cloud mediante el proyecto de Google Cloud que especificaste en el campo cloudAuditLogging.projectID
del archivo de configuración del clúster.
Este proyecto de Google Cloud se denomina proyecto de registro de auditoría.
El proyecto de registro de auditoría debe ser el mismo que el proyecto de conexión.
Cuando habilitas los registros de auditoría de Cloud, los clústeres de Anthos alojados en VMware inhabilitan el registro de auditoría basado en discos.
Para almacenar en búfer y escribir entradas de registro en los registros de auditoría de Cloud, los clústeres de Anthos alojados en VMware implementan un pod audit-proxy
en el clúster de administrador.
Este componente también está disponible como un contenedor de archivo adicional en los clústeres de usuarios.
Limitaciones
Los registros de auditoría de Cloud para los clústeres de Anthos alojados en VMware son una función de vista previa. Esta versión preliminar tiene varias limitaciones:
No se admite el registro de acceso a los datos.
No se admite la modificación de la política de auditoría de Kubernetes.
Los registros de auditoría de Cloud no es resiliente a las interrupciones de red ampliada. Si las entradas de registro no se pueden exportar a Google Cloud, se almacenan en caché en un búfer de disco de 10 G. Si se completa ese búfer, se descartan las entradas posteriores.
Habilita la API de auditoría de Anthos
Habilita la API de auditoría de Anthos en tu proyecto de registro de auditoría.
Habilita la API de auditoría de Anthos
Crea una cuenta de servicio para los registros de auditoría de Cloud
Ya tienes una o más cuentas de servicio que creaste para usar con clústeres de Anthos alojados en VMware. Para esta función, debes crear una cuenta de servicio adicional llamada cuenta de servicio de registro de auditoría.
Crea la cuenta de servicio de registro de auditoría:
gcloud iam service-accounts create audit-logging-service-account
Crea un archivo de claves JSON para la cuenta de servicio de los registros de auditoría de Cloud:
gcloud iam service-accounts keys create audit-logging-key.json \ --iam-account AUDIT_LOGGING_SERVICE_ACCOUNT_EMAIL
En el ejemplo anterior, AUDIT_LOGGING_SERVICE_ACCOUNT_EMAIL es la dirección de correo electrónico de la cuenta de servicio.
Guarda
audit-logging-key.json
en la estación de trabajo de administrador en la misma ubicación que tus otras claves de cuenta de servicio.
Crea un clúster de administrador con los registros de auditoría de Cloud habilitados
Puedes habilitar los registros de auditoría de Cloud para un clúster de administrador solo cuando creas el clúster del administrador por primera vez. No puedes modificar un clúster de administrador existente para habilitar los registros de auditoría de Cloud.
Consulta Crea un clúster de administrador.
En el archivo de configuración del clúster de usuario, completa la sección
cloudAuditLogging
.Establece
cloudAuditLogging.projectId
en el ID del proyecto de registro de auditoría.Establece
cloudAuditLogging.clusterLocation
en una región de Google Cloud en la que quieras almacenar los registros de auditoría. Para obtener una latencia mejorada, elige una región que esté cerca de tu centro de datos local.Establece
cloudAuditLogging.serviceAccountKeyPath
en la ruta de acceso del archivo de claves JSON de tu cuenta de servicio de registro de auditoría.
Por ejemplo:
cloudAuditLogging: projectId: "my-project" clusterLocation: "us-west1" serviceAccountKeyPath: "/my-key-folder/audit-logging-key.json"
Continúa con la creación del clúster como de costumbre.
Crea un clúster de usuario con los registros de auditoría de Cloud habilitados
Consulta Crea un clúster de usuario.
En el archivo de configuración del clúster de usuario, completa la sección
cloudAuditLogging
.Establece
cloudAuditLogging.projectId
en el ID del proyecto de registro de auditoría.Establece
cloudAuditLogging.clusterLocation
en una región de Google Cloud en la que quieras almacenar los registros de auditoría. Para obtener una latencia mejorada, elige una región que esté cerca de tu centro de datos local.Establece
cloudAuditLogging.serviceAccounKeyPath
en la ruta de acceso del archivo de claves JSON de la cuenta de servicio de los registros de auditoría de Cloud.Asegúrate de que la sección
gkeConnect
esté completa y quegkeConnect.projectID
sea lo mismo quecloudAuditLogging.projectID
.
Por ejemplo:
gkeConnect: projectId: "my-project" registerServiceAccountKeyPath: "/my-key-fokder/connect-register-key.json" cloudAuditLogging: projectId: "my-project" clusterLocation: "us-west1" serviceAccountKeyPath: "/my-key-folder/audit-logging-key.json"
Continúa con la creación del clúster como de costumbre.
Habilita los registros de auditoría de Cloud para un clúster de usuario existente.
Para habilitar los registros de auditoría de Cloud, el clúster ya debe estar registrado. Es decir, completaste la sección gkeConnect
del archivo de configuración del clúster antes de crearlo.
En el archivo de configuración del clúster de usuario, completa la sección
cloudAuditLogging
.Establece
cloudAuditLogging.projectId
en el ID de tu proyecto de registro de auditoría.Establece
cloudAuditLogging.clusterLocation
en una región de Google Cloud en la que quieras almacenar los registros de auditoría. Para obtener una latencia mejorada, elige una región que esté cerca de tu centro de datos local.Establece
cloudAuditLogging.serviceAccounKeyPath
en la ruta de acceso del archivo de claves JSON de la cuenta de servicio de los registros de auditoría de Cloud.Asegúrate de que la sección
gkeConnect
esté completa y quegkeConnect.projectID
sea lo mismo quecloudAuditLogging.projectID
.
Por ejemplo:
gkeConnect: projectId: "my-project" registerServiceAccountKeyPath: "/my-key-fokder/connect-register-key.json" cloudAuditLogging: projectId: "my-project" clusterLocation: "us-west1" serviceAccountKeyPath: "/my-key-folder/audit-logging-key.json"
Actualiza el clúster de usuario:
gkectl update cluster --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] --config [USER_CLUSTER_CONFIG]
Inhabilita los registros de auditoría de Cloud para un clúster de usuario existente
En el archivo de configuración del clúster de usuario, borra la sección
cloudAuditLogging
.Actualiza el clúster de usuario:
gkectl update cluster --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] --config [USER_CLUSTER_CONFIG]
Accede a los registros de auditoría
Registro de auditoría basado en discos
Visualiza los servidores de la API de Kubernetes que se ejecutan en tu clúster de administrador y todos sus clústeres de usuario asociados:
kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get pods --all-namespaces -l component=kube-apiserver
En el ejemplo anterior, [ADMIN_CLUSTER_KUBECONFIG] es el archivo kubeconfig de tu clúster de administrador.
Descarga los registros de auditoría del servidor de la API:
kubectl cp -n [NAMESPACE] [APISERVER_POD_NAME]:/var/log/kube-audit/kube-apiserver-audit.log /tmp/kubeaudit.log
Con este comando, se recupera el archivo de registro más reciente, que puede contener hasta 1 GB de datos del clúster de administrador y hasta 850 GB de los clústeres de usuario.
También puedes encontrar los registros de auditoría del clúster de administrador en los nodos del plano de control en
/var/log/kube-audit/kube-apiserver-audit.log
. Los registros de auditoría del clúster de usuarios están enPersistentVolumeClaim
con el nombrekube-audit-kube-apiserver-0
. Puedes acceder a estos datos dentro de tus propios pods a través de entradasvolume
como esta:volumes: ‐ name: kube-audit hostPath: path: /var/log/kube-audit type: ""
volumes: ‐ name: kube-audit persistentVolumeClaim: claimName: kube-audit-kube-apiserver-0 readOnly: true
Para programar tu pod en el nodo de clúster de administración correspondiente (y solo este nodo), debes agregar las secciones
nodeSelector
ytolerations
a la especificación de tu pod, como se muestra a continuación:spec: nodeSelector: node-role.kubernetes.io/master: '' tolerations: ‐ key: node-role.kubernetes.io/master value: "" effect: NoSchedule
Para el clúster de usuarios, utiliza este
nodeSelector
:spec: nodeSelector: kubernetes.googleapis.com/cluster-name: [USER_CLUSTER_NAME]
Los registros de auditoría anteriores se guardan en archivos diferentes. Para ver esos archivos, haz lo siguiente:
kubectl exec -n [NAMESPACE] [APISERVER_POD_NAME] -- ls /var/log/kube-audit -la
El nombre de archivo de cada registro de auditoría tiene una marca de tiempo que indica cuándo se rotó el archivo. Un archivo contiene registros de auditoría hasta esa hora y fecha.
Registros de auditoría de Cloud
Consola
En la consola de Google Cloud, ve a la página Registros en el menú de Logging.
En el cuadro Filtrar por búsqueda de texto o etiqueta, arriba de los menús desplegables mencionados antes, haz clic en la flecha hacia abajo para abrir el menú desplegable. En el menú, selecciona Convertir a filtro avanzado.
Completa el cuadro de texto con el siguiente filtro:
resource.type="k8s_cluster" logName="projects/[PROJECT_ID]/logs/externalaudit.googleapis.com%2Factivity" protoPayload.serviceName="anthosgke.googleapis.com"
Haz clic en Enviar filtro para mostrar todos los registros de auditoría de los clústeres de Anthos alojados en VMware que se configuraron para acceder a este proyecto.
gcloud
Enumera las dos primeras entradas en el registro de actividad de administrador de tu proyecto que se aplican al tipo de recurso k8s_cluster
:
gcloud logging read \ 'logName="projects/[PROJECT_ID]/logs/externalaudit.googleapis.com%2Factivity" \ AND resource.type="k8s_cluster" \ AND protoPayload.serviceName="anthosgke.googleapis.com" ' \ --limit 2 \ --freshness 300d
En el ejemplo anterior, [PROJECT_ID] es el ID del proyecto.
Los resultados muestran dos entradas de registro. Ten en cuenta que para cada entrada de registro, el campo logName
tiene el valor projects/[PROJECT_ID]/logs/externalaudit.googleapis.com%2Factivity
, y protoPayload.serviceName
es igual a anthosgke.googleapis.com
.
Política de auditoría
El comportamiento de los registros de auditoría de Cloud se determina mediante una política de registro de auditoría de Kubernetes configurada de manera estática. Por el momento, no se admite la modificación de esta política.