Audit logging

10

Panoramica

I cluster Anthos su VMware (GKE On-Prem) utilizzano Kubernetes Audit Logging, che conserva un record cronologico delle chiamate effettuate al server API Kubernetes di un cluster. Gli audit log sono utili per analizzare le richieste API sospette e per raccogliere statistiche.

Puoi configurare un cluster per scrivere gli audit log su disco o su Cloud Audit Logs in un progetto Google Cloud. La scrittura in audit log di Cloud offre diversi vantaggi rispetto alla scrittura su disco o persino all'acquisizione di log in un sistema di logging on-premise:

  • Gli audit log per tutti i cluster Anthos possono essere centralizzati.
  • Le voci di log scritte in Cloud Audit Logs sono immutabili.
  • Le voci degli audit log di Cloud vengono conservate per 400 giorni.
  • Gli audit log di Cloud sono inclusi nel prezzo di Anthos.

Audit logging basato su disco

Per impostazione predefinita, gli audit log vengono scritti in un disco permanente, in modo che i VM vengano riavviati e gli upgrade non scompaiano i log. I cluster Anthos su VMware conservano fino a 12 GB di voci di log di controllo.

Cloud Audit Logs

Se abiliti gli audit log di Cloud per un cluster, le voci degli audit log dell'attività di amministrazione dal server API Kubernetes del cluster vengono inviate a Google Cloud utilizzando il progetto Cloud specificato nel campo cloudAuditLogging.projectID del file di configurazione del cluster. Questo progetto Cloud è chiamato progetto di audit logging.

Il progetto di audit logging deve essere lo stesso del progetto host del parco risorse.

Quando abiliti gli audit log di Cloud, i cluster Anthos su VMware disabilitano l'audit logging basato su disco.

Per eseguire il buffer e scrivere voci di log in Cloud Audit Logs, Anthos cluster su VMware esegue il deployment di un pod audit-proxy nel cluster di amministrazione. Questo componente è disponibile anche come container sidecar sui cluster utente.

Limitazioni

La versione attuale di Cloud Audit Logs per i cluster Anthos su VMware presenta diverse limitazioni:

  • Il logging dell'accesso ai dati (get, list, watch richieste) non è supportato.

  • La modifica del criterio di controllo di Kubernetes non è supportata.

  • Gli audit log di Cloud non sono resilienti alle interruzioni di rete estese. Se le voci di log non possono essere esportate in Google Cloud, vengono memorizzate nella cache in un buffer di disco da 10 G. Se il buffer si riempie, le voci successive vengono eliminate.

Abilita l'API Anthos Audit

Abilitare l'API Anthos Audit nel progetto di audit logging.

Abilita l'API Anthos Audit

Crea un account di servizio per Cloud Audit Logs

Hai già uno o più account di servizio che hai creato per essere utilizzato con i cluster Anthos su VMware. Per questa funzionalità, devi creare un account di servizio aggiuntivo chiamato account di servizio di audit logging.

  1. Crea il tuo account di servizio di audit logging:

    gcloud iam service-accounts create audit-logging-service-account

  2. Crea un file della chiave JSON per il tuo account di servizio Cloud Audit Logs:

    gcloud iam service-accounts keys create audit-logging-key.json \
   --iam-account AUDIT_LOGGING_SERVICE_ACCOUNT_EMAIL

    dove AUDIT_LOGGING_SERVICE_ACCOUNT_EMAIL è l'indirizzo email del tuo account di servizio.

  3. Risparmia audit-logging-key.json sulla workstation di amministrazione nella stessa posizione delle altre chiavi dell'account di servizio.

Crea un cluster di amministrazione con gli audit log di Cloud abilitati

Puoi abilitare gli audit log di Cloud per un cluster di amministrazione solo quando crei il cluster di amministrazione per la prima volta. Non puoi modificare un cluster di amministrazione esistente per abilitare gli audit log di Cloud.

  1. Consulta Creazione di un cluster di amministrazione.

  2. Nel file di configurazione del cluster di amministrazione, compila la sezione cloudAuditLogging.

  3. Imposta cloudAuditLogging.projectID sull'ID del tuo progetto di audit logging.

  4. Imposta cloudAuditLogging.clusterLocation su un'area geografica di Google Cloud in cui vuoi archiviare gli audit log. Per migliorare la latenza, scegli una regione vicina al tuo data center on-premise.

  5. Imposta cloudAuditLogging.serviceAccountKeyPath sul percorso del file della chiave JSON per il tuo account di servizio di audit logging.

Ad esempio:

cloudAuditLogging:
  projectID: "my-project"
  clusterLocation: "us-west1"
  serviceAccountKeyPath: "/my-key-folder/audit-logging-key.json"

Continua la creazione del cluster come di consueto.

Crea un cluster utente con Cloud Audit Logs abilitati

  1. Consulta Creazione di un cluster utente.

  2. Nel file di configurazione del cluster utente, compila la sezione cloudAuditLogging.

  3. Imposta cloudAuditLogging.projectID sull'ID del tuo progetto di audit logging.

  4. Imposta cloudAuditLogging.clusterLocation su un'area geografica di Google Cloud in cui vuoi archiviare gli audit log. Per migliorare la latenza, scegli una regione vicina al tuo data center on-premise.

  5. Imposta cloudAuditLogging.serviceAccounKeyPath sul percorso del file della chiave JSON dell'account di servizio Cloud Audit Logs.

  6. Assicurati che la sezione gkeConnect sia stata compilata e che gkeConnect.projectID sia uguale a cloudAuditLogging.projectID.

Ad esempio:

gkeConnect:
  projectID: "my-project"
  registerServiceAccountKeyPath: "/my-key-fokder/connect-register-key.json"

cloudAuditLogging:
  projectID: "my-project"
  clusterLocation: "us-west1"
  serviceAccountKeyPath: "/my-key-folder/audit-logging-key.json"

Continua la creazione del cluster come di consueto.

Abilita audit log di Cloud per un cluster utente esistente

Gli audit log di Cloud possono essere abilitati solo nel progetto Cloud in cui è registrato il cluster utente.

Se un cluster utente esistente non è registrato, registralo seguendo questi passaggi prima di abilitare Cloud Audit Logs:

  1. Aggiungi una sezione gkeConnect al file di configurazione del cluster utente. Ad esempio:

    gkeConnect:
  projectID: "my-project"
  registerServiceAccountKeyPath: "/my-key-fokder/connect-register-key.json"

  2. Aggiorna il cluster:

    gkectl update cluster --config USER_CLUSTER_CONFIG --kubeconfig ADMIN_CLUSTER_KUBECONFIG

Dopo aver registrato il cluster utente, segui questi passaggi per abilitare gli audit log di Cloud:

  1. Compila la sezione cloudAuditLogging del tuo file di configurazione del cluster utente. Consulta Creare un cluster utente con gli audit log di Cloud abilitati per i dettagli sui singoli campi. projectID nella sezione cloudAuditLogging deve essere uguale a quello della sezione gkeConnect.

  2. Aggiorna il cluster:

    gkectl update cluster --config USER_CLUSTER_CONFIG --kubeconfig ADMIN_CLUSTER_KUBECONFIG

Disabilita audit log Cloud per un cluster utente esistente

  1. Nel file di configurazione del cluster utente, elimina la sezione cloudAuditLogging.

  2. Aggiorna il cluster utente:

gkectl update cluster --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] --config [USER_CLUSTER_CONFIG]

Audit log degli accessi

Audit logging basato su disco

  1. Visualizza i server API di Kubernetes in esecuzione nel cluster di amministrazione e tutti i cluster utente associati:

    kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get pods --all-namespaces -l component=kube-apiserver

    dove [ADMIN_CLUSTER_KUBECONFIG] è il file kubeconfig del cluster di amministrazione.

  2. Scarica gli audit log del server API:

    kubectl cp -n NAMESPACE APISERVER_POD_NAME:/var/log/kube-audit/kube-apiserver-audit.log /tmp/kubeaudit.log

    Questo comando recupera l'ultimo file di log, che può contenere fino a 1 GB di dati per il cluster di amministrazione e fino a 850 GB per i cluster utente.

    Puoi trovare gli audit log per il cluster di amministrazione anche nei nodi del piano di controllo in /var/log/kube-audit/kube-apiserver-audit.log. Gli audit log per il cluster utente si trovano in PersistentVolumeClaim con nome kube-audit-kube-apiserver-0. Puoi accedere a questi dati all'interno dei tuoi pod tramite voci volume come la seguente:

    volumes:
    - name: kube-audit
      hostPath:
        path: /var/log/kube-audit
        type: ""

    volumes:
    - name: kube-audit
      persistentVolumeClaim:
        claimName: kube-audit-kube-apiserver-0
        readOnly: true

Per pianificare il pod sul nodo del cluster di amministrazione appropriato (e solo su questo nodo), devi aggiungere le sezioni nodeSelector e tolerations alla specifica del pod, in questo modo:

    spec:
      nodeSelector:
        node-role.kubernetes.io/master: ''
      tolerations:
      - key: node-role.kubernetes.io/master
        value: ""
        effect: NoSchedule

Per il cluster utente, utilizza questo nodeSelector:

   spec:
     nodeSelector:
       kubernetes.googleapis.com/cluster-name: USER_CLUSTER_NAME

I record di controllo meno recenti vengono conservati in file separati. Per visualizzare questi file:

   kubectl exec -n NAMESPACE APISERVER_POD_NAME -- ls /var/log/kube-audit -la

Ogni nome file del log di controllo ha un timestamp che indica quando è stato ruotato il file. Un file contiene i log di controllo fino a quel momento e a quella data.

Cloud Audit Logs

console

  1. Nella console Google Cloud, vai alla pagina Log nel menu Logging.

    Vai alla pagina Log

  2. Nella casella Filtra per etichetta o testo, sopra i menu a discesa visualizzati sopra, fai clic sulla freccia giù per aprire il menu a discesa. Dal menu, scegli Converti in filtro avanzato.

  3. Compila la casella di testo con il seguente filtro:

    resource.type="k8s_cluster"
logName="projects/PROJECT_ID/logs/externalaudit.googleapis.com%2Factivity"
protoPayload.serviceName="anthosgke.googleapis.com"

  4. Fai clic su Invia filtro per visualizzare tutti gli audit log dei cluster Anthos sui cluster VMware configurati per accedere a questo progetto.

gcloud

Elenca le prime due voci di log nel log Attività dell'amministratore del tuo progetto che si applicano al tipo di risorsa k8s_cluster:

gcloud logging read \
    'logName="projects/PROJECT_ID/logs/externalaudit.googleapis.com%2Factivity" \
    AND resource.type="k8s_cluster" \
    AND protoPayload.serviceName="anthosgke.googleapis.com" ' \
    --limit 2 \
    --freshness 300d

dove PROJECT_ID è l'ID progetto.

L'output mostra due voci di log. Tieni presente che per ogni voce di log, il valore del campo logName ha il valore projects/PROJECT_ID/logs/externalaudit.googleapis.com%2Factivity e protoPayload.serviceName è uguale a anthosgke.googleapis.com.

Criteri di audit

Il comportamento degli audit log di Cloud è determinato da un criterio di audit logging di Kubernetes configurato in modo statico. La modifica di questo criterio non è attualmente supportata, ma sarà disponibile in una release futura.