L'obiettivo di assistenza principale di Google è risolvere gli incidenti di produzione il più rapidamente possibile. Comprendere la configurazione, analizzare log e metriche e collaborare con i partner ci consente di risolvere rapidamente gli incidenti.
Google Cloud offre vari pacchetti di assistenza per soddisfare le tue esigenze di assistenza. Tutti i pacchetti di assistenza Google Cloud includono il supporto per l'edizione Google Kubernetes Engine (GKE) Enterprise e GKE su Bare Metal. Se hai già un pacchetto di assistenza Google Cloud, significa che disponi già del supporto per GKE Enterprise e GKE su Bare Metal.
Per ulteriori informazioni, consulta la documentazione dell'assistenza Google Cloud.
Requisiti per il supporto di GKE su Bare Metal
Per risolvere in modo efficace gli incidenti aziendali critici:
- Verifica che il tuo ambiente sia aggiornato e che rispetti i periodi di tempo di fine del supporto pubblicati. Per ulteriori informazioni, consulta la sezione Criteri di supporto delle versioni.
- Abilitare Cloud Logging e Cloud Monitoring per i componenti di sistema. Per maggiori dettagli, consulta la seguente sezione Strumenti di assistenza.
Strumenti di assistenza
Per risolvere un incidente di GKE su Bare Metal, l'assistenza Google Cloud si basa su tre informazioni:
- La configurazione del tuo ambiente
- Log dai cluster
- Metriche dei tuoi cluster
La configurazione del tuo ambiente
Quando apri una richiesta di assistenza, l'esecuzione dei comandi seguenti fornisce informazioni chiave sulla configurazione del cluster:
Per tutti i tipi di cluster, esegui il comando
bmctl check cluster --snapshot
per acquisire informazioni su Kubernetes e sui tuoi nodi. Allega il file tar risultato alla richiesta di assistenza.Per cluster amministrativi, ibridi e autonomi, esegui il comando
bmctl check cluster
per verificare lo stato di integrità del cluster e dei nodi. Collega i log risultanti alla richiesta di assistenza. Dovrebbero trovarsi nella directorybmctl-workspace/[CLUSTER_NAME]/log/check-cluster-[TIMESTAMP]
.Per i cluster utente, crea prima un file YAML per il controllo di integrità con il nome del cluster e lo spazio dei nomi, quindi applica il file nel cluster di amministrazione appropriato:
Crea un file YAML con le seguenti proprietà
healthcheck
. Ecco i contenuti di esempio per un cluster denominatouser1
nello spazio dei nomicluster-user1
:apiVersion: baremetal.cluster.gke.io/v1 kind: HealthCheck metadata: generateName: healthcheck- namespace: cluster-user1 spec: clusterName: user1
Dopo aver creato il file YAML, applica con il comando
kubectl
la risorsa personalizzata nel cluster di amministrazione che gestisce il cluster utente. Ecco un comando di esempio che utilizza il file YAML creato nel passaggio precedente. Nell'esempio, la variabileADMIN_KUBECONFIG
specifica il percorso del file kubeconfig del cluster di amministrazione:kubectl --kubeconfig ADMIN_KUBECONFIG create -f healthcheck-user1.yaml
Il comando restituisce la seguente risposta:
healthcheck.baremetal.cluster.gke.io/healthcheck-7c4qf created
Attendi il completamento del job di controllo di integrità eseguendo dei test per vedere se la riconciliazione del job di controllo di integrità è terminata. Nel caso di esempio precedente, il nome del job di controllo di integrità è
healthcheck.baremetal.cluster.gke.io/healthcheck-7c4qf
. Ecco un test di esempio con il comandokubectl
che attende 30 minuti il completamento del job di controllo di integrità:kubectl --kubeconfig ADMIN_KUBECONFIG wait healthcheck healthcheck-7c4qf \ -n cluster-user1 --for=condition=Reconciling=False --timeout=30m
Al termine, questo comando restituisce:
healthcheck.baremetal.cluster.gke.io/healthcheck-7c4qf condition met
Puoi visualizzare i risultati del job di controllo di integrità con il seguente comando:
kubectl --kubeconfig ADMIN_KUBECONFIG get healthcheck healthcheck-7c4qf \ -n cluster-user1
Il comando restituisce il seguente risultato:
NAME PASS AGE healthcheck-7c4qf true 17m
Raccogli tutti i log del pod del job di controllo di integrità in un file locale con il comando
kubectl
. Ecco un esempio utilizzando il precedente job di controllo di integrità di esempio:kubectl --kubeconfig ADMIN_KUBECONFIG logs -n cluster-user1 \ -l baremetal.cluster.gke.io/check-name=healthcheck-7c4qf --tail=-1 > \ healthcheck-7c4qf.log
Log del cluster
Quando crei un nuovo cluster GKE su Bare Metal, gli agenti Cloud Logging vengono abilitati per impostazione predefinita e hanno come ambito solo i componenti a livello di sistema. In questo modo, i log a livello di sistema vengono replicati nel progetto Google Cloud associato al cluster. I log a livello di sistema provengono dai pod di Kubernetes nei seguenti spazi dei nomi:
kube-system
gke-system
gke-connect
istio-system
config-management-system
gatekeeper-system
cnrm-system
knative-serving
È possibile eseguire query sui log dalla console di Cloud Logging.
Per maggiori dettagli, consulta Logging e Monitoring.
Google Cloud CLI e accesso al cluster remoto
Se apri una richiesta di assistenza, l'assistenza clienti Google Cloud potrebbe chiederti l'accesso remoto di sola lettura ai tuoi cluster per diagnosticare e risolvere i problemi in modo più efficace. Per consentire al team di assistenza di disporre di accesso sufficiente per risolvere da remoto i problemi relativi al cluster, assicurati di aver installato e aggiornato alla versione più recente di Google Cloud CLI. La versione di Google Cloud CLI deve essere alla versione 401.0.0 o successiva per concedere all'Assistenza clienti Google Cloud le autorizzazioni necessarie. Ti consigliamo di aggiornare regolarmente Google Cloud CLI per ricevere autorizzazioni aggiuntive e altri miglioramenti.
Per installare i componenti più recenti di gcloud CLI, utilizza il comando gcloud
components update
. Per ulteriori informazioni su come concedere all'assistenza clienti Google Cloud l'accesso remoto di sola lettura ai tuoi cluster, consulta l'assistenza Google Cloud per i cluster registrati.
Metriche del cluster
Oltre ai log, l'agente Cloud Monitoring acquisisce anche le metriche. In questo modo, le metriche a livello di sistema vengono replicate nel progetto Google Cloud associato al cluster. Le metriche a livello di sistema provengono da pod Kubernetes in esecuzione negli stessi spazi dei nomi elencati nei log.
Per maggiori dettagli, consulta Logging e Monitoring.
Come risolviamo i problemi del tuo ambiente
Di seguito è riportato un esempio di un tipico caso di assistenza:
L'amministratore del cluster apre una richiesta di assistenza nella console Google Cloud o in Google Cloud Support Center e seleziona la versione Google Kubernetes Engine (GKE) Enterprise e GKE su Bare Metal come Categoria e Componente, rispettivamente. Inseriscino le informazioni richieste e allegano l'output dei comandi
bmctl
pertinenti alla richiesta.La richiesta di assistenza viene indirizzata a un ingegnere dell'assistenza tecnica specializzato in GKE su Bare Metal.
Il tecnico del servizio di assistenza esamina i contenuti dello snapshot per acquisire il contesto dell'ambiente.
Il tecnico del servizio di assistenza esamina i log e le metriche nel progetto Google Cloud, inserendo l'case ID di assistenza come giustificazione aziendale, che viene registrata internamente.
Il tecnico del servizio di assistenza risponde alla richiesta con una valutazione e un consiglio. Il tecnico del servizio di assistenza e l'utente continuano a risolvere il problema finché non trovano una soluzione.
Che cosa supporta Google?
In genere, il team di assistenza Cloud supporta tutti i componenti software forniti come parte di GKE su Bare Metal e Anthos Service Mesh, Policy Controller, Config Sync e Config Controller. Consulta la tabella riportata di seguito per un elenco più completo degli elementi supportati e dei non supportati:
Supporto per Google Cloud | Funzionalità non supportata |
---|---|
Kubernetes e il runtime del container | Scelta del cliente del bilanciatore del carico (bilanciamento del carico manuale) |
Connect e l'agente Connect | Codice cliente (vedi Assistenza per gli sviluppatori) |
operazioni, monitoraggio, logging e agenti di Google Cloud | Sistema operativo scelto dal cliente |
Bilanciatore del carico in bundle | Server, spazio di archiviazione e rete fisici o virtuali |
Controller Ingress | DNS, DHCP e sistemi di identità esterni |
Servizio di identità GKE | |
Anthos Service Mesh | |
Policy Controller | |
Config Sync | |
Config Controller |
Criterio di supporto delle versioni
Il supporto per GKE su Bare Metal segue i criteri di supporto per la versione della versione Google Kubernetes Engine (GKE) Enterprise. A partire dalla versione 1.14 di Google Kubernetes Engine (GKE) Enterprise, Google supporta ogni versione secondaria di GKE su Bare Metal per 12 mesi dopo il rilascio iniziale della versione secondaria o fino al rilascio della terza versione secondaria successiva, a seconda di quale sia la più lunga.
La seguente tabella mostra le versioni supportate e non supportate di questo prodotto.
Versione secondaria | Data di uscita | Data di fine del ciclo di vita più vicina | Patch disponibili | Versione di Kubernetes |
---|---|---|---|---|
1,28 (più recente) | 15 dicembre 2023 | 15 dicembre 2024 | 1.28.400-gke.77 | Versione 1.28.7-gke.1700 |
1.28.300-gke.131 | Versione 1.28.7-gke.1700 | |||
1.28.200-gke.118 | Versione 1.28.5-gke.1200 | |||
1.28.100-gke.146 | Versione 1.28.5-gke.1200 | |||
1.28.0-gke.435 | Versione 1.28.3-gke.700 | |||
1,16 | 25 agosto 2023 | 25 agosto 2024 | 1.16.8 | Versione 1.27.12-gke.800 |
1.16.7 | Versione 1.27.10-gke.500 | |||
1.16.6 | Versione 1.27.9-gke.1200 | |||
1.16.5 | Versione 1.27.8-gke.1500 | |||
1.16.4 | Versione 1.27.7-gke.1400 | |||
1.16.3 | Versione 1.27.6-gke.2500 | |||
1.16.2 | Versione 1.27.4-gke.1600 | |||
1.16.1 | Versione 1.27.4-gke.1600 | |||
1.16.0 | Versione 1.27.4-gke.1600 | |||
1,15 | 27 aprile 2023 | 27 aprile 2024 | 1.15.11 | Versione 1.26.13-gke.1100 |
1.15.10 | Versione 1.26.13-gke.400 | |||
1.15.9 | Versione 1.26.12-gke.1200 | |||
1.15.8 | Versione 1.26.10-gke.1400 | |||
1.15.7 | Versione 1.26.9-gke.2400 | |||
1.15.6 | Versione 1.26.8-gke.200 | |||
1.15.5 | Versione 1.26.8-gke.200 | |||
1.15.4 | Versione 1.26.5-gke.2100 | |||
1.15.3 | Versione 1.26.5-gke.2100 | |||
1.15.2 | Versione 1.26.5-gke.1200 | |||
1.15.1 | Versione 1.26.2-gke.1001 | |||
1.15.0 | Versione 1.26.2-gke.1001 | |||
1.14 (non supportato) | 8 dicembre 2022 | 8 dicembre 2023 | 1.14.11 | Versione 1.25.14-gke.2400 |
1.14.10 | Versione 1.25.14-gke.2400 | |||
1.14.9 | Versione 1.25.13-gke.200 | |||
1.14.8 | Versione 1.25.10-gke.2100 | |||
1.14.7 | Versione 1.25.10-gke.2100 | |||
1.14.6 | Versione 1.25.10-gke.1200 | |||
1.14.5 | Versione 1.25.7-gke.1000 | |||
1.14.4 | Versione 1.25.7-gke.1000 | |||
1.14.3 | Versione 1.25.6-gke.1000 | |||
1.14.2 | Versione 1.25.5-gke.1001 | |||
1.14.1 | Versione 1.25.5-gke.1001 | |||
1.14.0 | Versione 1.25.3-gke.1400 | |||
1.13 (non supportato) | 29 settembre 2022 | 17 agosto 2023 | 1.13.10 | Versione 1.24.14-gke.2100 |
1.13.9 | Versione 1.24.14-gke.1200 | |||
1.13.8 | Versione 1.24.11-gke.1000 | |||
1.13.7 | Versione 1.24.11-gke.1000 | |||
1.13.6 | Versione 1.24.9-gke.2500 | |||
1.13.5 | Versione 1.24.9-gke.2500 | |||
1.13.4 | Versione 1.24.9-gke.2500 | |||
1.13.3 | Versione 1.24.7-gke.1700 | |||
1.13.2 | v1.24.7-gke.300 | |||
1.13.1 | Versione 1.24.5-gke.400 | |||
1.13.0 | Versione 1.24.2-gke.1900 | |||
1.12 (non supportato) | 29 giugno 2022 | 29 marzo 2023 | 1.12.9 | Versione 1.23.17-gke.300 |
1.12.8 | Versione 1.23.16-gke.100 | |||
1.12.7 | Versione 1.23.15-gke.2400 | |||
1.12.6 | Versione 1.23.13-gke.1700 | |||
1.12.5 | Versione 1.23.13-gke.1700 | |||
1.12.4 | Versione 1.23.11-gke.500 | |||
1.12.3 | Versione 1.23.10-gke.1000 | |||
1.12.2 | Versione 1.23.5-gke.1505 | |||
1.12.1 | Versione 1.23.5-gke.1505 | |||
1.12.0 | Versione 1.23.5-gke.1504 | |||
1.11 (non supportato) | 21 marzo 2022 | 21 dicembre 2022 | 1.11.8 | Versione 1.22.15-gke.3300 |
1.11.7 | Versione 1.22.14-gke.500 | |||
1.11.6 | Versione 1.22.8-gke.204 | |||
1.11.5 | Versione 1.22.8-gke.204 | |||
1.11.4 | Versione 1.22.8-gke.204 | |||
1.11.3 | Versione 1.22.8-gke.203 | |||
1.11.2 | Versione 1.22.8-gke.200 | |||
1.11.1 | Versione 1.22.8-gke.200 | |||
1.11.0 | Versione 1.22.8-gke.200 | |||
1.10 (non supportato) | 10 dicembre 2021 | 10 settembre 2022 | 1.10.8 | Versione 1.21.13-gke.202 |
1.10.7 | Versione 1.21.13-gke.202 | |||
1.10.6 | Versione 1.21.13-gke.201 | |||
1.10.5 | Versione 1.21.6-gke.1503 | |||
1.10.4 | Versione 1.21.6-gke.1503 | |||
1.10.3 | Versione 1.21.5-gke.1300 | |||
1.10.2 | Versione 1.21.5-gke.1300 | |||
1.10.1 | Versione 1.21.5-gke.1200 | |||
1.10.0 | Versione 1.21.5-gke.1200 | |||
1.9 (non supportato) | 23 settembre 2021 | 23 giugno 2022 | 1.9.8 | Versione 1.21.13-gke.200 |
1.9.7 | Versione 1.21.6-gke.1503 | |||
1.9.6 | Versione 1.21.5-gke.1300 | |||
1.9.5 | Versione 1.21.5-gke.1300 | |||
1.9.4 | Versione 1.21.5-gke.1200 | |||
1.9.3 | Versione 1.21.5-gke.1200 | |||
1.9.2 | Versione 1.21.4-gke.201 | |||
1.9.1 | Versione 1.21.4-gke.201 | |||
1.9.0 | Versione 1.21.4-gke.200 | |||
1.8 (non supportato) | 21 giugno 2021 | 21 marzo 2022 | 1.8.9 | Versione 1.20.9-gke.102 |
1.8.8 | Versione 1.20.9-gke.102 | |||
1.8.7 | Versione 1.20.9-gke.102 | |||
1.8.6 | Versione 1.20.9-gke.102 | |||
1.8.5 | Versione 1.20.9-gke.102 | |||
1.8.4 | Versione 1.20.9-gke.101 | |||
1.8.3 | Versione 1.20.9-gke.101 | |||
1.8.2 | Versione 1.20.8-gke.1500 | |||
1.8.1 | Versione 1.20.5-gke.1301 | |||
1.8.0 | Versione 1.20.5-gke.1301 | |||
1.7 (non supportato) | 25 marzo 2021 | 25 dicembre 2021 | 1.7.7 | Versione 1.19.14-gke.2201 |
1.7.6 | Versione 1.19.14-gke.2201 | |||
1.7.5 | Versione 1.19.14-gke.2201 | |||
1.7.4 | Versione 1.19.14-gke.400 | |||
1.7.3 | Versione 1.19.13-gke.100 | |||
1.7.2 | Versione 1.19.10-gke.1602 | |||
1.7.1 | Versione 1.19.7-gke.1200 | |||
1.7.0 | Versione 1.19.7-gke.1200 | |||
1.6 (non supportato) | 30 novembre 2020 | 30 agosto 2021 | 1.6.4 | v1.18.20-gke.3000 |
1.6.3 | Versione 1.18.18-gke.100 | |||
1.6.2 | Versione 1.18.6-gke.6600 | |||
1.6.1 | Versione 1.18.6-gke.6600 | |||
1.6.0 | Versione 1.18.6-gke.6600 |
Funzionalità supportate
Questo documento elenca la disponibilità delle funzionalità e delle capacità di GKE su Bare Metal per le release supportate. La tabella non è destinata a essere un elenco esaustivo, ma evidenzia alcuni dei vantaggi dell'upgrade dei cluster all'ultima versione supportata.
Le funzionalità elencate come in anteprima sono coperte dai Termini dell'offerta pre-GA dei Termini di servizio di Google Cloud. Le funzionalità e i prodotti pre-GA potrebbero avere supporto limitato e le modifiche ai prodotti e alle funzionalità pre-GA potrebbero non essere compatibili con altre versioni pre-GA. Per ulteriori informazioni, consulta le descrizioni della fase di lancio. Le offerte in anteprima sono destinate all'utilizzo solo in ambienti di test.
Le funzionalità elencate come in disponibilità generale (GA) sono completamente supportate, aperte a tutti i clienti e pronte per l'uso in produzione.
Funzionalità | 1.15 (non supportato) | 1,16 | 1,28 | 1.29 (più recente) |
---|---|---|---|---|
Supporto dei cluster di amministrazione per più versioni dei cluster utente | - | - | - | Anteprima |
Criteri di avviso | Anteprima | Anteprima | Anteprima | Anteprima |
Runtime VM su Google Distributed Cloud | GA | GA | GA | GA |
Gruppi di Azure Active Directory (AD) | GA | GA | GA | GA |
Supporto del bilanciatore del carico basato su BGP per IPv6 | GA | GA | GA | GA |
Autorizzazione binaria | Anteprima | GA | GA | GA |
Bilanciamento del carico in bundle con BGP | GA | GA | GA | GA |
Audit logging di Cloud | GA | GA | GA | GA |
Supporto dell'interfaccia a riga di comando per backup e ripristino del cluster | GA | GA | GA | GA |
Rotazione delle autorità di certificazione (CA) del cluster | GA | GA | GA | GA |
Supporto dell'interfaccia a riga di comando per la reimpostazione dei nodi del cluster | GA | GA | GA | GA |
Messa in pausa e ripresa dell'upgrade del cluster | - | - | Anteprima | Anteprima |
runtime containerd | GA | GA | GA | GA |
Gruppo di controllo v2 | GA | GA | GA | GA |
Autorità di certificazione personalizzate | - | Anteprima | GA | GA |
Modalità di forwarding con bilanciamento del carico DSR (Direct Server Return) Dataplane V2 | - | Anteprima | GA | GA |
IP fisso dinamico con protocollo BGP (Border Gateway Protocol) | GA | GA | GA | GA |
Gateway NAT in uscita | GA | GA | GA | GA |
Modalità IPv4 semplice (statica) | GA | GA | GA | GA |
Supporto IPv6 fisso (modalità BGP) | GA | GA | GA | GA |
GKE Identity Service v2 | - | - | Anteprima | GA |
Doppio stack IPv4/IPv6 | GA | GA | GA | GA |
Assistenza per Arabia Saudita | GA | GA | GA | GA |
Raccoglitore gestito per Google Cloud Managed Service per Prometheus | GA | GA | GA | GA |
Connettività multi-cluster | Anteprima | Anteprima | Anteprima | Anteprima |
Più NIC per i pod | GA | GA | GA | GA |
Gateway di rete per GDC | Anteprima | Anteprima | Anteprima | Anteprima |
Rilevatore dei problemi dei nodi | GA | GA | GA | GA |
Upgrade di nodi paralleli | GA | GA | GA | GA |
Upgrade dei pool di nodi paralleli | Anteprima | GA | GA | GA |
Operatore di ottimizzazione delle prestazioni | - | Anteprima | Anteprima | Anteprima |
Supporto del registro privato per i nodi | - | - | - | Anteprima |
Supporto del mirroring del registro | GA | GA | GA | GA |
Modalità Secure Computing (seccomp) | GA | GA | GA | GA |
Ignora l'upgrade della versione del pool di nodi | - | - | Anteprima | GA |
Networking SR-IOV | GA | GA | GA | GA |
Metriche dell'API di riepilogo | GA | GA | GA | GA |
Controlli di servizio VPC | Anteprima | GA | GA | GA |
Rollback dell'upgrade del pool di nodi worker | - | - | - | Anteprima |
Workload Identity | GA | GA | GA | GA |
Modello di responsabilità condivisa
L'esecuzione di un'applicazione di produzione business-critical su GKE su Bare Metal richiede responsabilità diverse a più parti. Sebbene non si tratti di un elenco esaustivo, le seguenti sezioni elencano i ruoli e le responsabilità.
Responsabilità di Google
- Manutenzione e distribuzione del pacchetto software GKE su Bare Metal.
- Comunicazione agli utenti degli upgrade disponibili per GKE su Bare Metal e creazione di script di upgrade per la versione precedente; GKE su Bare Metal supporta solo upgrade sequenziali (ad es. 1.2 → 1.3 → 1.4 e non 1.2 → 1.4).
- Utilizzo dei servizi Connect e della Suite operativa di Google Cloud.
- Risoluzione dei problemi, fornendo soluzioni alternative e correggendo la causa principale di eventuali problemi relativi ai componenti forniti da Google
Responsabilità degli utenti
- Amministrazione generale del sistema per i cluster on-premise.
- Gestione di qualsiasi carico di lavoro delle applicazioni di cui è stato eseguito il deployment sul cluster.
- Esecuzione, manutenzione e applicazione di patch all'infrastruttura dei data center, inclusi networking, server, sistema operativo, archiviazione e connettività a Google Cloud.
- Esecuzione, manutenzione e applicazione di patch ai bilanciatori del carico di rete se viene scelta l'opzione manuale del bilanciatore del carico.
- Eseguire regolarmente l'upgrade delle versioni di GKE su Bare Metal.
- Monitoraggio del cluster e delle applicazioni e risposta a eventuali incidenti.
- Assicurare il deployment degli agenti della Suite operativa di Google Cloud nei cluster.
- Fornire a Google dettagli ambientali per la risoluzione dei problemi.
Assistenza per gli sviluppatori
Google non fornisce assistenza specifica per i carichi di lavoro delle applicazioni. Tuttavia, offriamo assistenza agli sviluppatori con il massimo impegno per garantire che possano eseguire applicazioni su GKE su Bare Metal. Riteniamo che un'interazione anticipata durante lo sviluppo possa prevenire incidenti critici in una fase successiva del deployment.
Questa assistenza per gli sviluppatoricon il massimo impegno è disponibile per i clienti con qualsiasi pacchetto di assistenza a pagamento ed è considerata una priorità P3 per un problema che blocca un lancio o una priorità P4 per una consulenza generale. In questa classificazione, il livello di priorità 0 è la massima priorità.