Risoluzione dei problemi di arresto e riavvio delle VM

Il presente documento descrive cause comuni di arresti e riavvii imprevisti di macchine virtuali (VM) le istanze VM e come prevenirle.

Gli arresti e i riavvii delle VM possono essere causati da eventi di sistema o da attività amministrative. Gli arresti e i riavvii dovuti a eventi di sistema vengono generati dai sistemi Google o dal sistema operativo della tua VM. Gli arresti e i riavvii delle attività amministrative sono generati da un o una chiamata API generata dall'account di servizio. Vengono registrati tutti gli arresti e i riavvii, tranne i riavvii innescati dalla VM.

Prima di iniziare

  • Se non l'hai già fatto, configura l'autenticazione. L'autenticazione è la procedura mediante la quale la tua identità viene verificata per l'accesso alle API e ai servizi Google Cloud. Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine come segue.

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    gcloud

    1. Install the Google Cloud CLI, then initialize it by running the following command: 

      gcloud init
    2. Set a default region and zone.

Diagnosi degli arresti e dei riavvii delle VM

Per diagnosticare la causa dell'arresto o del riavvio spontanei di una VM, devi eseguire query sui log della VM. Per identificare rapidamente la causa di futuri arresti o riavvii delle VM, creare una dashboard contenente i log. Dopo aver eseguito una query sui log, esamina method e principalEmail per determinare quale evento e quale utente o che il servizio abbia avviato l'arresto o il riavvio.

Esecuzione di query su Cloud Audit Logs

Esegui una query su Cloud Audit Logs per visualizzare un elenco di eventi di sistema e attività amministrative che potrebbero aver causato l'arresto o il riavvio.

Console

  1. Nella console Google Cloud, vai alla pagina Esplora log.

    Vai a Esplora log

  2. Nel campo Query, inserisci la seguente query:

    resource.type="gce_instance"
"VM_NAME"
logName:("logs/cloudaudit.googleapis.com%2Fsystem_event" OR "logs/cloudaudit.googleapis.com%2Factivity")

    Sostituisci VM_NAME con il nome della VM arrestata o riavviato il dispositivo.

  3. Se l'evento che stai cercando si è verificato più di un'ora fa, imposta una un intervallo di tempo personalizzato facendo clic sul simbolo dell'orologio e inserendo una intervallo.

    Imposta l'intervallo di tempo della query.

  4. Fai clic su Esegui query. I risultati vengono visualizzati nella sezione Risultati query.

  5. Fai clic sulla freccia di espansione accanto a ciascun risultato per visualizzare informazioni dettagliate.

  6. Consulta Revisione degli audit log di Cloud per ulteriori informazioni su method e principalEmail associati a chiusure e e come fare per evitarli.

gcloud

  1. Visualizza gli audit log di Cloud utilizzando il comando gcloud logging read:

    gcloud logging read --freshness=TIME 'resource.type="gce_instance" "VM_NAME" logName:("logs/cloudaudit.googleapis.com%2Fsystem_event" OR "logs/cloudaudit.googleapis.com%2Factivity")'

    Sostituisci quanto segue:

    • TIME: la quantità di tempo che vuoi query. Ad esempio, 1h esegue query sulle voci di log nell'ultima ora. Per informazioni sui formati di data e ora, consulta datetimes nell'argomento gcloud.
    • VM_NAME: il nome della VM che ha arrestato è stato riavviato.

    Vengono visualizzati i risultati.

  2. Consulta Esamina Cloud Audit Logs per scoprire di più sui campi method e principalEmail associati agli arresti e ai riavvii e su cosa puoi fare per evitarli.

Analisi di Cloud Audit Logs

Esamina i campi method e principalEmail di Cloud Audit Logs per determinare perché la tua VM è stata arrestata o riavviata.

  1. Esamina i campi method di Cloud Audit Logs e confrontali con i metodi elencati nella tabella seguente.

    Metodo Tipo di arresto Descrizione
    compute.instances.repair.recreateInstance Evento di sistema

    Se la tua VM appartiene a un gruppo di istanze gestite, ricrea la VM se il suo stato cambia da RUNNING e Il gruppo di istanze gestite non ha avviato il cambio di stato.

    Le modifiche dello stato dell'istanza non avviate dal gruppo di istanze gestite includono:
    compute.instances.hostError Evento di sistema

    Un errore dell'host (compute.instances.hostError) indica che era presente un hardware o un problema relativo al software sulla macchina fisica o sull'infrastruttura del data center che ospita Compute che ha causato l'arresto anomalo dell'istanza. Un errore dell'host che coinvolge un guasto hardware totale o altri problemi hardware potrebbe impedire la migrazione live dell'istanza. Se l'istanza è impostata per il riavvio automatico, che è l'impostazione predefinita, Compute Engine la riavvia, in genere entro tre minuti dal rilevamento dell'errore. A seconda del problema, il riavvio potrebbe richiedere fino a 5,5 minuti.

    A volte, un'istanza Compute potrebbe non rispondere prima che venga segnalato un errore dell'host. Tu può ridurre il tempo di attesa di Compute Engine per riavviare o terminare l'istanza impostare il timeout per il recupero degli errori dell'host (anteprima). Per ulteriori informazioni, vedi Imposta i criteri di disponibilità.

    I guasti fisici e del software possono verificarsi occasionalmente, ma sono rari casi. Per proteggere le tue applicazioni e i tuoi servizi da questi eventi di sistema potenzialmente disgregatori, consulta le seguenti risorse:

    Google offre anche servizi gestiti come App Engine e l'ambiente flessibile di App Engine.
    compute.instances.automaticRestart Evento di sistema

    Questo evento si verifica dopo un evento hostError o una terminateOnHostMaintenance se la tua VM Il criterio di manutenzione dell'host automaticRestart è impostato su true. Nei log, un hostError o un terminateOnHostMaintenance voce di log precedente a questo log.

    Se vuoi modificare il criterio di manutenzione dell'host della VM, consulta Opzioni di aggiornamento per un'istanza.

    compute.instances.guestTerminate Evento di sistema Il sistema operativo della tua VM ha avviato l'arresto.
    compute.instances.terminateOnHostMaintenance Evento di sistema

    Se imposti la manutenzione dell'host onHostMaintenance della VM su TERMINATE, Compute Engine arresta la VM quando si è verificato un evento di manutenzione in cui Google deve spostare la VM a un altro host.

    Se vuoi modificare onHostMaintenance della VM le norme, consulta Aggiornamento delle opzioni per un'istanza.
    compute.instances.preempted Evento di sistema

    Compute Engine ha prerilasciato la tua VM spot o legacy VM prerilasciabile:

    • Quando Compute Engine prerilascia una VM Spot, la interrompe o la elimina in base all' azione di terminazione. Le VM spot non hanno un tempo di esecuzione massimo.
    • Quando Compute Engine preleva una VM prerilasciabile, la VM viene interrotta dopo un tempo di esecuzione massimo di 24 ore. Per evitare queste limitazioni, ma le VM spot.

    Le VM spot e le VM prerilasciabili sono Compute Engine in eccesso quindi Compute Engine potrebbe prerilasciarli ogni volta che è necessaria altrove. Puoi contribuire a mitigare gli effetti della prelazione seguendo le best practice. In alternativa, se hai bisogno di VM con runtime controllati dall'utente, crea VM standard.
    compute.instances.stop Attività di amministrazione

    Un account utente o di servizio ha interrotto la VM.

    Vai al passaggio successivo per identificare l'account utente o di servizio che ha arrestato la VM. Per informazioni su come riavviare la VM, consulta Riavviare un'istanza arrestata.
    compute.instances.delete Attività di amministrazione

    Un account utente o di servizio ha eliminato la VM.

    Vai al passaggio successivo per identificare l'account utente o di servizio che ha eliminato la tua VM. Per informazioni sulla creazione di una nuova VM, consulta Creare e avviare una VM.
    compute.instances.insert Attività di amministrazione

    Un account utente o di servizio ha creato la tua VM.

    Vai al passaggio successivo per identificare l'account utente o di servizio che ha creato la tua VM. Per informazioni sulla creazione di una nuova VM, consulta Creazione e avvio di una VM.
    compute.instances.reset Attività di amministrazione

    Un account utente o di servizio ha reimpostato la tua VM.

    Vai al passaggio successivo per identificare l'account utente o di servizio che ha arrestato la tua VM.

  2. Esamina i campi principalEmail di Cloud Audit Logs per identificare l'utente o il servizio che ha avviato l'arresto o il riavvio. La tabella seguente include i servizi gestiti di Google comuni che avviano arresti o riavvii.

    Email Descrizione
    system@google.com Un evento di sistema ha causato l'arresto o il riavvio.
    project-number@cloudservices.gserviceaccount.com

    R servizio di sicurezza ha avviato l'arresto.

    Per determinare quale progetto è stato avviato dal servizio dall'arresto, esamina lo stato project-number.

    Per determinare quale servizio Google ha effettuato la richiesta, esamina il campo protoPayload.requestMetadata.callerSuppliedUserAgent.

    Se un utente ha attivato l'arresto o il riavvio, il suo indirizzo email verrà visualizzato in il campo principalEmail. Ad esempio, cloudysanfrancisco@gmail.com.

    Gli amministratori possono impedire agli utenti di modificare lo stato delle VM del progetto Modificare le autorizzazioni di Identity and Access Management per gli account utente. Per ulteriori informazioni, vedi Concessione, modifica e revoca dell'accesso alle risorse.

Monitora gli eventi del ciclo di vita delle VM

Puoi monitorare gli eventi del ciclo di vita delle VM (inclusi arresti, riavvii ed errori dell'host) creando una dashboard di Cloud Monitoring.

Questa dashboard consente di visualizzare gli eventi di sistema e le attività di amministrazione descritti in maggiore dettaglio nella sezione Revisione degli audit log di questo documento.

Dashboard del ciclo di vita delle VM: eventi di arresto e avvio Figura 1. Una dashboard di esempio che mostra la disponibilità di un'istanza e i suoi eventi del ciclo di vita, ad esempio un'istanza arrestata.

Crea metrica basata su log

Per acquisire gli eventi del ciclo di vita delle VM, crea una metrica basata su log definita dall'utente. Questa metrica utilizza gli audit log per tenere il conto del numero di volte in cui si è verificato un determinato evento del ciclo di vita di una VM.

Per ottenere le autorizzazioni necessarie per creare la metrica, chiedi all'amministratore di concederti Ruolo IAM Autore di log (roles/logging.logWriter) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per creare una metrica basata su log definita dall'utente:

  1. Nella console Google Cloud, vai alla pagina Metriche basate su log.

    Andare a Metriche basate su log

  2. Fai clic su Crea metrica.

Nella sezione Tipo di metrica, segui questi passaggi:

  • Seleziona Counter.
  • Lascia Distribuzione deselezionata per impostazione predefinita.

Nella sezione Dettagli, inserisci le seguenti informazioni:

  • Nome metrica basata su log: vm-lifecycle-events. Devi utilizzare questo nome esatto affinché la dashboard funzioni correttamente.
  • Descrizione: (Facoltativo) inserisci una descrizione per questa metrica.
  • Unità: 1

  1. Nella sezione Selezione filtro, specifica quanto segue:

    • Nel menu Seleziona progetto o bucket di log, seleziona Log di progetto
    • In Crea filtro, inserisci: 
      resource.type = "gce_instance" AND
log_id("cloudaudit.googleapis.com/activity") OR
log_id("cloudaudit.googleapis.com/system_event")
operation.first="true"

  2. Nella sezione Etichette, fai clic su Aggiungi etichetta.

  3. Specifica quanto segue:

    • Nome dell'etichetta: method
    • Tipo di etichetta: STRING
    • Nome campo: protoPayload.methodName
    • Espressione regolare: 
      (recreateInstance|hostError|automaticRestart|guestTerminate|terminateOnHostMaintenance|preempted|insert|stop|delete|reset|start)

  4. Fai clic su Fine.

  5. Fai clic su Crea metrica.

Utilizzare la dashboard

Nella dashboard non vengono visualizzati dati finché una VM non registra un evento di sistema o un'attività di amministrazione. Per verificare il funzionamento della dashboard, esegui un'attività di amministrazione, ad esempio un'operazione stop e start:

  1. Esegui un'operazione stop e start su qualsiasi VM esistente o crea una nuova VM a scopo di test.

Per ottenere le autorizzazioni necessarie per utilizzare la dashboard, chiedi all'amministratore di concederti il ruolo IAM Visualizzatore della dashboard di monitoraggio (roles/monitoring.dashboardViewer) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

  1. Apri Dashboard nella console Google Cloud.

    Accedi a Dashboard

  2. Nella scheda Elenco dashboard, apri la dashboard GCE VM Lifecycle Events Monitoring.

  3. Seleziona la VM dal menu a discesa Nome.

  4. Restringi la serie temporale a un periodo di tempo pertinente.

    Per ulteriori modi di filtrare la dashboard, consulta Aggiungere un filtro temporaneo.

La dashboard contiene due grafici che visualizzano una cronologia degli eventi di sistema e delle attività di amministrazione che si verificano su una VM:

  1. Il grafico Cronologia del ciclo di vita delle VM mostra quanto segue:

    • La metrica compute.googleapis.com/instance/uptime che indica se la VM era in esecuzione in un determinato momento, dove 1 è attivo e 0 è inattivo. Tieni presente che questa metrica riflette la disponibilità in base all'attività utente e agli eventi di sistema e non è un'indicazione dell'SLA di Compute Engine.
    • La metrica basata su log vm-lifecycle-events per contare il numero di azioni del ciclo di vita, ad esempio stop o start, eseguite sulla VM in un determinato momento

  2. Il grafico Eventi mostra la stessa metrica basata su log vm-lifecycle-events, ma in una visualizzazione ingrandita per una maggiore leggibilità. Tieni presente che, anche se gli assi X sono allineati, i colori non sono sincronizzati tra i due grafici.

Indagine sull'arresto collettivo delle VM nei progetti

Compute Engine potrebbe arrestare più VM collegate a un progetto host del VPC condiviso, se la fatturazione del progetto host del VPC condiviso è inattiva o disabilitata.

Per determinare se le tue VM sono state arrestate da una richiesta di arresto di massa, guarda per le operazioni di interruzione avviate da cloud-cluster-manager@prod.google.com.

L'avvio di un'istanza interessata restituisce un errore simile al seguente:

Starting instance(s) INSTANCE_NAME...failed.
ERROR: (gcloud.compute.instances.start) The default network interface [nic0] is frozen.

Per risolvere il problema:

  1. Identificare il VPC condiviso utilizzato dalle VM mediante Comando gcloud compute instances describe:

    gcloud compute instances describe VM_NAME \
   --format="flattened(networkInterfaces[].network)"

    L'output è simile al seguente:

    networkInterfaces[0].network: https://www.googleapis.com/compute/v1/projects/SHARED_VPC_PROJECT/global/networks/FROZEN_NETWORK

  2. Verifica nel progetto host del VPC condiviso se la fatturazione è stata disattivata.

    resource.type="project"
protoPayload.request.@type="type.googleapis.com/google.internal.cloudbilling.billingaccount.v1.DisableResourceBillingRequest"
protoPayload.response.resourceBillingInfo.billingAccountAssignmentType="DISABLED"

  3. Se applicabile, attiva la fatturazione nel progetto host.

Per evitare che questo problema si ripeta, consulta Proteggi il collegamento tra un progetto e il relativo account di fatturazione.