Accesso ai log in Cloud Logging
Le pagine di Anthos Service Mesh forniscono link a tre diversi tipi di log in Cloud Logging: log delle applicazioni, log degli errori e log del traffico.
Accesso ai log delle applicazioni
Per visualizzare i log delle applicazioni per un servizio durante un periodo di tempo specificato, segui questi passaggi:
Vai alla pagina Anthos Service Mesh nella console Google Cloud.
Nella sezione Servizi, seleziona il nome del servizio che vuoi controllare.
Vai alla pagina Metriche.
Specifica un intervallo di tempo dal menu a discesa Intervallo di tempo o imposta un intervallo personalizzato con la sequenza temporale.
Fai clic su Visualizza i log dell'applicazione.
I log dell'applicazione sono quelli generati dal tuo codice dell'applicazione e sono collegati alla risorsa monitorata corrispondente (k8s_container o gce_instance) che la tua applicazione sta utilizzando.
Accesso ai log degli errori
Per visualizzare i log degli errori per un servizio durante un intervallo di tempo specificato, segui questi passaggi:
Nella console Google Cloud, vai alla pagina Anthos Service Mesh.
Nella sezione Servizi, seleziona il nome del servizio che vuoi controllare.
Vai alla pagina Diagnostica.
Specifica un intervallo di tempo dal menu a discesa Intervallo di tempo o imposta un intervallo personalizzato con la sequenza temporale.
Nell'angolo in alto a destra della finestra, fai clic su Apri in logging.
Accesso ai log di traffico
Per visualizzare i log di traffico o di accesso in Istio per un servizio durante un intervallo di tempo specificato, segui questi passaggi:
Nella console Google Cloud, vai alla pagina Anthos Service Mesh.
Nella sezione Servizi, seleziona il nome del servizio che vuoi controllare.
Vai alla pagina Metriche.
Specifica un intervallo di tempo dal menu a discesa Intervallo di tempo o imposta un intervallo personalizzato con la sequenza temporale.
In filter_list Seleziona un'opzione di filtro, fai clic su Visualizza log di traffico.
Il log del traffico è denominato server-accesslog-stackdriver ed è collegato alla risorsa monitorata corrispondente (k8s_container o gce_instance) che il tuo servizio sta utilizzando. Il log del traffico contiene le seguenti informazioni:
Proprietà delle richieste HTTP, come ID, URL, dimensione, latenza e intestazioni comuni.
Informazioni sui carichi di lavoro di origine e di destinazione, come nome, spazio dei nomi, identità ed etichette comuni.
Se il tracciamento è abilitato, informazioni sulla traccia, ad esempio campionamento, ID traccia e ID intervallo.
Un esempio di voce di log è simile alla seguente:
{ insertId: "1awb4hug5pos2qi" httpRequest: { requestMethod: "GET" requestUrl: "YOUR-INGRESS/productpage" requestSize: "952" status: 200 responseSize: "5875" remoteIp: "10.8.0.44:0" serverIp: "10.56.4.25:9080" latency: "1.587232023s" protocol: "http" } resource: { type: "k8s_container" labels: { location: "us-central1-a" project_id: "YOUR-PROJECT" pod_name: "productpage-v1-76589d9fdc-ptnt9" cluster_name: "YOUR-CLUSTER-NAME" container_name: "productpage" namespace_name: "default" } } timestamp: "2020-04-28T19:55:21.056759Z" severity: "INFO" labels: { destination_principal: "spiffe://cluster.local/ns/default/sa/bookinfo-productpage" response_flag: "-" destination_service_host: "productpage.default.svc.cluster.local" source_app: "istio-ingressgateway" service_authentication_policy: "MUTUAL_TLS" source_name: "istio-ingressgateway-5ff85d8dd8-mwplb" mesh_uid: "YOUR-MESH-UID" request_id: "021ce752-9001-4ac6-b6d6-3b15f5d3632" destination_namespace: "default" source_principal: "spiffe://cluster.local/ns/istio-system/sa/istio-ingressgateway-service-account" destination_workload: "productpage-v1" destination_version: "v1" source_namespace: "istio-system" source_workload: "istio-ingressgateway" destination_name: "productpage-v1-76589d9fdc-ptnt9" destination_app: "productpage" } trace: "projects/YOUR-PROJECT/traces/d4197f59b7a43e3aeff3571bac99d536" receiveTimestamp: "2020-04-29T03:07:14.362416217Z" spanId: "43226343ca2bb2b1" traceSampled: true logName: "projects/YOUR-PROJECT/logs/server-accesslog-stackdriver" receiveTimestamp: "2020-04-28T19:55:32.185229100Z" }
Interpretare i log di Anthos Service Mesh
Le sezioni seguenti spiegano come controllare lo stato del mesh ed esaminare i vari log che contengono dettagli utili per la risoluzione dei problemi.
Interpretare le metriche del piano di controllo
Quando installi Anthos Service Mesh con il piano di controllo nel cluster, istiod
esporta per impostazione predefinita le metriche in Google Cloud Observability per il monitoraggio.
istiod
aggiunge il prefisso istio.io/control
a queste metriche e fornisce insight sullo
stato del piano di controllo, ad esempio il numero di proxy connessi a ciascuna istanza del piano di controllo, gli eventi di configurazione, i push e le convalide.
Osserva o risolvi i problemi del piano di controllo seguendo questi passaggi.
Carica una dashboard di esempio:
git clone https://github.com/GoogleCloudPlatform/monitoring-dashboard-samples && cd monitoring-dashboard-samples/dashboards && git checkout servicemesh
Installa la dashboard di Anthos Service Mesh:
gcloud monitoring dashboards create --config-from-file=dashboards/servicemesh/anthos-service-mesh-control-plane-monitoring.json
Cerca una dashboard denominata
Istio Control Plane Dashboard
nell'elenco. Per maggiori informazioni, consulta la pagina relativa alla visualizzazione della dashboard installata.
Per l'elenco completo delle metriche disponibili, consulta Metriche esportate.
Eseguire la diagnostica dei ritardi di configurazione
I passaggi seguenti spiegano come utilizzare la metrica pilot_proxy_convergence_time
per diagnosticare un ritardo tra una modifica della configurazione e tutti i proxy convergenti.
Esegui un comando shell in un pod:
kubectl exec -it $(kubectl get pod -l app=pilot -o jsonpath='{.items[0].metadata.name}' -n istio-system) -n istio-system -c istio-proxy -- curl -s
Accedi a
localhost:15014
egrep
perconvergence
nelle metriche:curl http://localhost:15014/metrics | grep convergence
Interpreta i log degli accessi all'osservabilità di Google Cloud
Le seguenti informazioni spiegano come utilizzare i log di accesso di osservabilità di Google Cloud per risolvere i problemi di connessione. I log di accesso e traffico di Google Cloud Observability sono abilitati per impostazione predefinita.
Anthos Service Mesh esporta i dati nei log di accesso all'osservabilità di Google Cloud, che possono aiutarti a eseguire il debug dei seguenti tipi di problemi:
- Flusso di traffico e errori
- Routing delle richieste end-to-end
I log degli accessi relativi all'osservabilità di Google Cloud sono abilitati per impostazione predefinita per le installazioni di Anthos Service Mesh su Google Kubernetes Engine. Puoi abilitare i log di accesso per l'osservabilità di Google Cloud eseguendo nuovamente asmcli install
. Utilizza le stesse opzioni che hai installato in origine, ma ometti l'overlay personalizzato che ha disattivato Stackdriver.
Esistono due tipi di log di accesso:
I log di accesso al server forniscono una visualizzazione lato server delle richieste. Si trovano in
server-accesslog-stackdriver
, collegati alla risorsa monitoratak8s_container
. Utilizza la seguente sintassi dell'URL per visualizzare i log di accesso lato server:https://console.cloud.google.com/logs/viewer?advancedFilter=logName="projects/PROJECT_ID/logs/server-accesslog-stackdriver"&project=PROJECT_ID
I log degli accessi client forniscono una visualizzazione lato client delle richieste. Si trovano in
client-accesslog-stackdriver
, collegato alla risorsa monitoratak8s_pod
. Utilizza la seguente sintassi dell'URL per visualizzare i log di accesso lato client:https://console.cloud.google.com/logs/viewer?advancedFilter=logName="projects/PROJECT_ID/logs/client-accesslog-stackdriver"&project=PROJECT_ID
Per ridurre i costi di logging, solo i log degli errori del client sono abilitati per impostazione predefinita.
I log degli accessi contengono le seguenti informazioni:
- Proprietà delle richieste HTTP, come ID, URL, dimensione, latenza e intestazioni comuni.
- Informazioni sui carichi di lavoro di origine e di destinazione, come nome, spazio dei nomi, identità ed etichette comuni.
- Informazioni sulla revisione e sul servizio canonico di origine e destinazione.
- Se il tracciamento è abilitato, i log contengono informazioni sulla traccia, ad esempio campionamento, ID traccia e ID intervallo.
Le informazioni visualizzate nei log degli accessi di osservabilità di Google Cloud provengono dai log di accesso di Envoy, quando li abiliti nella configurazione di Istio. Contengono le seguenti intestazioni:
route_name
upstream_cluster
X-Envoy-Original-Path
X-Envoy-Original-Host
Ecco un esempio di voce di log:
{ "insertId": "1j84zg8g68vb62z", "httpRequest": { "requestMethod": "GET", "requestUrl": "http://35.235.89.201:80/productpage", "requestSize": "795", "status": 200, "responseSize": "7005", "remoteIp": "10.168.0.26:0", "serverIp": "10.36.3.153:9080", "latency": "0.229384205s", "protocol": "http" }, "resource": { "type": "k8s_container", "labels": { "cluster_name": "istio-e2e22", "namespace_name": "istio-bookinfo-1-68819", "container_name": "productpage", "project_id": "***", "location": "us-west2-a", "pod_name": "productpage-v1-64794f5db4-8xbtf" } }, "timestamp": "2020-08-13T21:37:42.963881Z", "severity": "INFO", "labels": { "protocol": "http", "upstream_host": "127.0.0.1:9080", "source_canonical_service": "istio-ingressgateway", "source_namespace": "istio-system", "x-envoy-original-path": "", "source_canonical_revision": "latest", "connection_id": "32", "upstream_cluster": "inbound|9080|http|productpage.istio-bookinfo-1-68819.svc.cluster.local", "requested_server_name": "outbound_.9080_._.productpage.istio-bookinfo-1-68819.svc.cluster.local", "destination_version": "v1", "destination_workload": "productpage-v1", "source_workload": "istio-ingressgateway", "destination_canonical_revision": "v1", "mesh_uid": "cluster.local", "source_principal": "spiffe://cluster.local/ns/istio-system/sa/istio-ingressgateway-service-account", "x-envoy-original-dst-host": "", "service_authentication_policy": "MUTUAL_TLS", "destination_principal": "spiffe://cluster.local/ns/istio-bookinfo-1-68819/sa/bookinfo-productpage", "response_flag": "-", "log_sampled": "false", "destination_service_host": "productpage.istio-bookinfo-1-68819.svc.cluster.local", "destination_name": "productpage-v1-64794f5db4-8xbtf", "destination_canonical_service": "productpage", "destination_namespace": "istio-bookinfo-1-68819", "source_name": "istio-ingressgateway-6845f6d664-lnfvp", "source_app": "istio-ingressgateway", "destination_app": "productpage", "request_id": "39013650-4e62-9be2-9d25-78682dd27ea4", "route_name": "default" }, "logName": "projects/***/logs/server-accesslog-stackdriver", "trace": "projects/***t/traces/466d77d15753cb4d7749ba5413b5f70f", "receiveTimestamp": "2020-08-13T21:37:48.758673203Z", "spanId": "633831cb1fda4fd5", "traceSampled": true }
Puoi utilizzare questo log in diversi modi:
- Eseguire l'integrazione con Cloud Trace, una funzionalità facoltativa di Anthos Service Mesh.
- Esporta i log del traffico in BigQuery, dove puoi eseguire query come la selezione di tutte le richieste in più di 5 secondi.
- Creare metriche basate su log.
- Risolvi gli errori
404
e503
Risolvi gli errori 404
e 503
L'esempio seguente spiega come utilizzare questo log per risolvere i problemi in caso di errore di una richiesta con un codice di risposta 404
o 503
.
Nel log di accesso client, cerca una voce simile alla seguente:
httpRequest: { requestMethod: "GET" requestUrl: "://IP_ADDRESS/src/Util/PHP/eval-stdin.php" requestSize: "2088" status: 404 responseSize: "75" remoteIp: "10.168.0.26:34165" serverIp: "10.36.3.149:8080" latency: "0.000371440s" protocol: "http" }
Vai alle etichette nella voce di log degli accessi. Trova il campo
response_flag
con il seguente aspetto:response_flag: "NR"
Il valore
NR
è l'acronimo diNoRoute
, il che significa che non è stata trovata alcuna route per la destinazione o non è stata trovata una catena di filtri corrispondente per una connessione downstream. Analogamente, puoi utilizzare l'etichettaresponse_flag
per risolvere gli errori503
.Se noti errori
503
nei log di accesso client e server, verifica che i nomi delle porte impostati per ciascun servizio corrispondano al nome del protocollo in uso tra i due. Ad esempio, se un client binario golang si connette a un server golang utilizzando HTTP, ma la porta è denominatahttp2
, il protocollo non negozierà automaticamente in modo corretto.
Per ulteriori informazioni, consulta Flag di risposta.
Interpretare i log di Envoy
I passaggi seguenti spiegano come utilizzare i log degli accessi proxy Envoy per visualizzare il traffico tra entrambe le estremità di una connessione per la risoluzione dei problemi.
I log di accesso Envoy sono utili per diagnosticare problemi quali:
- Flusso di traffico e errori
- Routing delle richieste end-to-end
I log degli accessi non sono abilitati per impostazione predefinita in Anthos Service Mesh e possono essere abilitati solo a livello globale nell'intero mesh.
Puoi risolvere gli errori di connessione/richiesta generando attività nella tua applicazione che attivano una richiesta HTTP, quindi ispezionando la richiesta associata nei log di origine o di destinazione.
Se attivi una richiesta che viene visualizzata nei log del proxy di origine, significa che il reindirizzamento del traffico iptables
funziona correttamente e che il proxy Envoy gestisce il traffico. Se noti errori nei log, genera un dump della configurazione Envoy e controlla la configurazione del cluster Envoy per verificare che sia corretta. Se visualizzi la richiesta, ma il log non contiene errori, controlla i log del proxy di destinazione.
Se la richiesta viene visualizzata nei log del proxy di destinazione, indica che il mesh stesso funziona correttamente. Se invece visualizzi un errore, esegui un dump della configurazione Envoy e verifica i valori corretti per la porta del traffico impostata nella configurazione del listener.
Se il problema persiste dopo aver eseguito i passaggi precedenti, Envoy potrebbe non essere in grado di negoziare automaticamente il protocollo tra il file collaterale e il relativo pod di applicazione. Assicurati che il nome della porta del servizio Kubernetes, ad esempio http-80
, corrisponda al protocollo utilizzato dall'applicazione.
Utilizza Esplora log per eseguire query sui log
Puoi utilizzare l'interfaccia Esplora log per eseguire query su log di accesso specifici. Ad esempio, per eseguire query su tutte le richieste in cui MULTUAL_TLS
è abilitato e che utilizzano il protocollo grpc
, aggiungi quanto segue alla query dei log di accesso al server:
labels.protocol="grpc" labels.service_authentication_policy="MULTUAL_TLS"
Imposta un criterio del log di accesso
Per configurare il logging del proxy per Anthos Service Mesh gestito, consulta Log degli accessi di Envoy.
Per impostare un criterio del log degli accessi per Anthos Service Mesh con il piano di controllo nel cluster:
Crea un file di overlay personalizzato
IstioOperator
che includa i valori applicabili diAccessLogPolicyConfig
per il tuo scenario.Passa questo file a
asmcli
utilizzando l'opzione--custom_overlay
per aggiornare la configurazione del piano di controllo nel cluster. Per informazioni sull'esecuzione diasmcli install
con un file di overlay personalizzato, consulta Installazione con funzionalità facoltative.
Visualizzare informazioni specifiche sul servizio o sul carico di lavoro
Se hai un problema con un servizio o un carico di lavoro specifico anziché con un problema a livello di mesh, controlla i singoli proxy Envoy e raccogli da loro le informazioni pertinenti. Per raccogliere informazioni su un determinato carico di lavoro e i suoi proxy, puoi utilizzare pilot-agent
:
kubectl exec POD_NAME -c istio-proxy -- pilot-agent request GET SCOPE
Nell'esempio, SCOPE è uno dei seguenti:
certs
- Certificati all'interno dell'istanza Envoyclusters
- Cluster con Envoy configuratoconfig_dump
- Esegui il dump della configurazione Envoylisteners
- Listener con Envoy configuratologging
- Visualizza e modifica le impostazioni di loggingstats
- Statistiche Envoystats/prometheus
- Statistiche Envoy come registri Prometheus
Visualizza gli stati dei socket proxy
Puoi esaminare direttamente lo stato dei socket proxy Envoy utilizzando il seguente processo.
Visualizza un elenco di socket stabiliti, inclusi quelli nello stato
TIME_WAIT
, che possono influire negativamente sulla scalabilità se il numero è elevato:kubectl exec POD_NAME -c istio-proxy -- ss -anopim
Visualizza un riepilogo delle statistiche socket:
kubectl exec POD_NAME -c istio-proxy -- ss -s
Per ulteriori informazioni, consulta la sezione Introduzione al comando ss.
Log istio-proxy
e istio-init
Inoltre, recupera i log istio-proxy
ed esamina i relativi contenuti per individuare eventuali errori che potrebbero suggerire la causa del problema:
kubectl logs POD_NAME -c istio-proxy
Puoi fare lo stesso per il contenitore init
:
kubectl logs POD_NAME -c istio-init
Passaggi successivi
Integrazione con Cloud Trace. Cloud Trace è una funzionalità facoltativa in Anthos Service Mesh.