Osservabilità con Envoy

Questo documento mostra come generare tracciamento e logging per il proxy Envoy. Mostra inoltre come esportare le informazioni in Cloud Trace e Cloud Logging.

L'utilizzo di un mesh di servizi consente di osservare il traffico da e verso i servizi, consentendo un monitoraggio e un debug più avanzati senza modifiche al codice nel servizio stesso. Nell'architettura proxy sidecar utilizzata da Cloud Service Mesh, il proxy è il componente che elabora le richieste e fornisce le informazioni di telemetria necessarie. Le informazioni di telemetria devono essere raccolte e archiviate in una posizione centralizzata per essere utilizzate ulteriormente, ad esempio per l'analisi dei dati, gli avvisi e la risoluzione dei problemi.

Configurazione dimostrativa

Questo documento utilizza la seguente configurazione per dimostrare il tracciamento e il logging:

  • Una singola applicazione che rimane in ascolto sulla porta HTTP e restituisce il nome host dell'istanza della macchina virtuale (VM) che ha pubblicato la richiesta. Nel diagramma, l'applicazione si trova nell'angolo in alto a destra con l'etichetta Servizi HTTP (10.10.10.10:80). Una o più VM possono fornire questo servizio.
  • Una singola VM di Compute Engine che esegue un consumer di questo servizio. Nel diagramma, questa è etichettata come VM di Compute Engine demo.
  • Un proxy sidecar Envoy installato e configurato da Cloud Service Mesh. Nel diagramma, questa è l'etichetta envoy.
  • Un'applicazione consumer di servizi, mostrata nel riquadro a sinistra, è il consumer del servizio HTTP in esecuzione su 10.10.10.10:80.
Applicazione dimostrativa per il logging e il monitoraggio per Envoy.
Applicazione dimostrativa per logging e monitoraggio per Envoy (fai clic per ingrandire)

I seguenti passaggi corrispondono alle etichette numerate nel diagramma:

  1. Cloud Service Mesh configura il proxy Envoy in modo da:

    • Bilancia il carico del traffico per il servizio 10.10.10.10:80.
    • Archivia le informazioni del log degli accessi per ogni richiesta inviata per questo servizio.
    • Generare informazioni di tracciamento per il servizio.

  2. Dopo che il consumer invia una richiesta a 10.10.10.10, il proxy sidecar instrada la richiesta alla destinazione corretta.

  3. Il proxy sidecar genera anche le informazioni di telemetria necessarie:

    1. Aggiunge una voce al log degli accessi sul disco locale con informazioni aggiuntive sulla richiesta.
    2. Genera una voce di traccia e la invia a Trace utilizzando il tracciamento di OpenCensus Envoy.

  4. L'agente Logging esporta questi dati nell'API Cloud Logging in modo che siano disponibili nell'interfaccia di Cloud Logging.

Prerequisiti

Prima di completare la procedura di configurazione, assicurati di eseguire le seguenti operazioni:

  1. L'API Traffic Director è abilitata e sono soddisfatti altri prerequisiti, come descritto in Prepararsi per la configurazione con carichi di lavoro VM e senza proxy.
  2. L'API Cloud Trace è abilitata.
  3. All'account di servizio utilizzato dalla VM di Compute Engine sono configurati i seguenti ruoli IAM (Identity and Access Management):
  4. Le regole firewall consentono il traffico alla VM che configuri come parte di questa configurazione.

Configura il servizio dimostrativo e Cloud Service Mesh

Questo documento utilizza diversi script shell per eseguire i passaggi necessari per configurare il servizio dimostrativo. Esamina gli script per comprendere i passaggi specifici che eseguono.

  1. Avvia una VM Compute Engine e configura il servizio HTTP sulla VM:

    curl -sSO https://storage.googleapis.com/traffic-director/demo/observability/setup_demo_service.sh
chmod 755 setup_demo_service.sh && ./setup_demo_service.sh

    Lo script setup_demo_service.sh crea un modello di VM che avvia apache2 all'avvio di una VM e un gruppo di istanze gestite che utilizza questo modello. Lo script avvia una singola istanza senza abilitare la scalabilità automatica.

  2. Utilizza Cloud Service Mesh per configurare il routing per il servizio 10.10.10.10:

    curl -sSO https://storage.googleapis.com/traffic-director/demo/observability/setup_demo_trafficdirector.sh
chmod 755 setup_demo_trafficdirector.sh && ./setup_demo_trafficdirector.sh

    Lo script setup_demo_trafficdirector.sh configura i parametri necessari per il servizio gestito Cloud Service Mesh.

  3. Avvia una VM Compute Engine che esegue un consumer del servizio HTTP, con il proxy sidecar installato e configurato sulla VM. Nel comando seguente, sostituisci PROJECT_ID con l'ID progetto a cui devono essere inviate le informazioni di Trace. Di solito si tratta dello stesso progetto Google Cloud a cui appartiene la tua VM.

    curl -sSO https://storage.googleapis.com/traffic-director/demo/observability/setup_demo_client.sh
chmod 755 setup_demo_client.sh && ./setup_demo_client.sh PROJECT_ID

    Lo script setup_demo_client.sh crea una VM Compute Engine con un proxy Envoy preconfigurato per l'utilizzo di Cloud Service Mesh.

Le seguenti impostazioni di configurazione aggiuntive consentono il tracciamento e il logging:

  • Le variabili dei metadati dei nodi di bootstrap TRAFFICDIRECTOR_ACCESS_LOG_PATH e TRAFFICDIRECTOR_ENABLE_TRACING consentono il logging e il tracciamento, come descritto in Configurare gli attributi di bootstrap di Envoy per Cloud Service Mesh.
  • La configurazione di bootstrap statico consente l'esportazione delle informazioni delle tracce in Trace mediante OpenCensus.

Dopo aver eseguito questi script, puoi accedere alla VM td-observability-demo-client e al servizio HTTP disponibile all'indirizzo 10.10.10.10:

curl http://10.10.10.10

A questo punto, Envoy genera informazioni di logging e tracciamento degli accessi. La sezione seguente descrive come esportare i log e le informazioni di tracciamento.

Configura l'esportazione delle tracce in Cloud Trace

La configurazione di bootstrap di Envoy che hai creato quando hai eseguito lo script setup-demo-client.sh è sufficiente per generare informazioni di tracciamento. Tutte le altre configurazioni sono facoltative. Se vuoi configurare parametri aggiuntivi, consulta la pagina di configurazione di OpenCensus Envoy e modifica le opzioni di tracciamento nella configurazione di bootstrap di Envoy.

Dopo aver inviato una richiesta di esempio al server dimostrativo (curl 10.10.10.10), nella console Google Cloud vai all'interfaccia di Trace (Trace > Elenco di tracce). Vedrai un record di traccia corrispondente alla richiesta che hai emesso.

Per ulteriori informazioni su come utilizzare Trace, consulta la documentazione di Cloud Trace.

Configura l'esportazione dei log degli accessi in Logging

In questa fase, Envoy deve registrare le informazioni del log degli accessi sul disco locale della VM in cui è in esecuzione. Per esportare questi record in Logging, devi installare l'agente Logging in locale. Questa operazione richiede l'installazione e la configurazione dell'agente Logging.

Installazione dell'agente Logging

Installa l'agente Logging sulla VM da cui vengono esportate le informazioni di logging. Per questa configurazione di esempio, la VM è td-observability-demo-vm.

curl -sSO https://dl.google.com/cloudagents/add-logging-agent-repo.sh
sudo bash add-logging-agent-repo.sh --also-install

Per maggiori informazioni, consulta Installare l'agente Cloud Logging su una singola VM.

Configurazione dell'agente Logging

Puoi esportare i log di Envoy come testo non strutturato o strutturato.

Esportare i log di Envoy come testo non strutturato

Questa opzione consente di esportare i record di log dal log degli accessi a Cloud Logging come testo non elaborato. Ogni voce nel log degli accessi viene esportata come voce singola in Logging. Questa configurazione è più facile da installare perché si basa su un parser distribuito con la versione attuale dell'agente Logging. Tuttavia, quando si utilizza questa opzione è più difficile filtrare ed elaborare le voci di log di testo non elaborate.

  1. Scarica e installa il file di configurazione dell'esportazione non strutturata del log degli accessi Envoy:

    curl -sSO https://storage.googleapis.com/traffic-director/demo/observability/envoy_access_fluentd_unstructured.conf
sudo cp envoy_access_fluentd_unstructured.conf /etc/google-fluentd/config.d/envoy_access.conf

  2. Riavvia l'agente. Le modifiche verranno applicate all'avvio dell'agente:

    sudo service google-fluentd restart

Esportare i log Envoy come testo strutturato

  1. Installa il parser dei log di accesso Envoy da GitHub:

    sudo /opt/google-fluentd/embedded/bin/gem install fluent-plugin-envoy-parser

  2. Scarica e installa il file di configurazione per esportare i log di accesso Envoy in un formato strutturato:

    curl -sSO https://storage.googleapis.com/traffic-director/demo/observability/envoy_access_fluentd_structured.conf
sudo cp envoy_access_fluentd_structured.conf /etc/google-fluentd/config.d/envoy_access.conf

  3. Riavvia l'agente. Le modifiche verranno applicate all'avvio dell'agente:

    sudo service google-fluentd restart

Per ulteriori informazioni, consulta Configurare l'agente Logging.

Verificare la configurazione

  1. Dalla VM proxy sidecar, genera una richiesta al servizio dimostrativo. Verrà creato un nuovo record di log locale. Ad esempio, puoi eseguire curl 10.10.10.10.
  2. Nella console Google Cloud, vai a Logging > Esplora log. Nel menu a discesa, seleziona il tipo di log envoy-access. Verrà visualizzata una voce di log relativa alla richiesta più recente in formato non strutturato o strutturato, a seconda del tipo di configurazione scelto in precedenza.

Risoluzione dei problemi

Leggi le sezioni seguenti per informazioni su come risolvere i diversi problemi di osservabilità con Envoy.

Configura il tracciamento su più progetti

Se vuoi tenere traccia delle richieste tra Envoy di cui è stato eseguito il deployment in più progetti, tieni presente quanto segue:

  • Ogni Envoy deve essere configurata con le credenziali del progetto in cui è in esecuzione.
  • Ogni Envoy invia dati di traccia al progetto corrispondenti alle credenziali con cui è in esecuzione.
  • Puoi visualizzare gli intervalli di tracciamento per le richieste tra progetti se le tue applicazioni conservano il valore dell'intestazione HTTP X-Cloud-Trace-Context quando vengono effettuate le richieste.

Trace compatibilità con le applicazioni gRPC senza proxy

La configurazione di tracciatori OpenCensus di Envoy consente alle tracce esportate da applicazioni gRPC senza proxy e dai proxy Envoy di essere completamente compatibili all'interno di un mesh di servizi. Per garantire la compatibilità, il bootstrap di Envoy deve configurare il contesto della traccia in modo da includere il formato della traccia GRPC_TRACE_BIN nella sua OpenCensusConfig, come segue:

tracing:
  http:
      name: envoy.tracers.opencensus
      typed_config:
        "@type": type.googleapis.com/envoy.config.trace.v2.OpenCensusConfig
        stackdriver_exporter_enabled: "true"
        stackdriver_project_id: "PROJECT_ID"
        incoming_trace_context: ["CLOUD_TRACE_CONTEXT", "GRPC_TRACE_BIN"]
        outgoing_trace_context: ["CLOUD_TRACE_CONTEXT", "GRPC_TRACE_BIN"]

Se la configurazione è completa, ma non vedi voci di traccia o logging disponibili, verifica quanto segue:

  1. Gli account di servizio della VM di Compute Engine dispongono delle autorizzazioni IAM necessarie per Trace e Logging, come specificato nei prerequisiti. Per informazioni sulle autorizzazioni IAM di traccia, consulta Controllo dell'accesso. Per informazioni sulle autorizzazioni di Logging, consulta Controllo dell'accesso.
  2. Per il logging: assicurati che non ci siano errori in /var/log/google-fluentd/google-fluentd.log.
  3. Per il logging: assicurati che vengano visualizzate nuove voci nel file di log degli accessi locali quando vengono inviate le richieste.

Passaggi successivi