Questa pagina è stata tradotta dall'API Cloud Translation.

Apache Kafka

L'integrazione di Apache Kafka raccoglie metriche dei broker, come richieste di argomento e errori. Monitora anche le partizioni dell'intermediario. L'integrazione raccoglie i log di Kafka e li analizza in un payload JSON. Il risultato include campi per logger, livello e messaggio.

Per ulteriori informazioni su Kafka, consulta la documentazione di Apache Kafka.

Prerequisiti

Per raccogliere la telemetria di Kafka devi installare l'agente Ops:

Per le metriche, installa la versione 2.10.0 o successive.
Per i log, installa la versione 2.10.0 o successive.

Questa integrazione supporta le versioni Kafka da 0.8 a 3.0.0.

Configura la tua istanza di Kafka

Per esporre un endpoint JMX, devi impostare la proprietà di sistema com.sun.management.jmxremote.port all'avvio della JVM. Ti consigliamo inoltre di impostare la proprietà di sistema com.sun.management.jmxremote.rmi.port sulla stessa porta. Per esporre un endpoint JMX da remoto, devi anche impostare la proprietà di sistema java.rmi.server.hostname.

Per impostazione predefinita, queste proprietà sono impostate nel file bin/kafka-run-class.sh di un deployment Kafka.

Per impostare le proprietà di sistema utilizzando gli argomenti della riga di comando, anteponi -Dil nome della proprietà all'avvio di JVM. Ad esempio, per impostare com.sun.management.jmxremote.port sulla porta 9999, specifica quanto segue all'avvio della JVM:

-Dcom.sun.management.jmxremote.port=9999

Configura l'agente Ops per Kafka

Segui la guida per la configurazione dell'agente Ops, aggiungi gli elementi richiesti per raccogliere la telemetria dalle istanze Kafka e riavvia l'agente.

Configurazione di esempio

Il comando seguente crea la configurazione per raccogliere e importare la telemetria per Kafka e riavvia l'agente Ops.

set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    memcached:
      type: memcached
  service:
    pipelines:
      memcached:
        receivers:
          - memcached
EOF

sudo service google-cloud-ops-agent restart
sleep 60

Configura raccolta di log

Per importare i log da Kafka, devi creare destinatari per i log generati da Kafka e quindi creare una pipeline per i nuovi destinatari.

Per configurare un destinatario per i log kafka, specifica i seguenti campi:

Campo	Impostazione predefinita	Descrizione
`exclude_paths`		Un elenco di pattern di percorsi del file system da escludere dal set corrispondente a `include_paths`.
`include_paths`	`[/var/log/kafka/*.log]`	Un elenco di percorsi del filesystem da leggere aggiungendo in coda ogni file. È possibile utilizzare un carattere jolly `` nei percorsi, ad esempio `/var/log/kafka/*.log`.
`record_log_file_path`	`false`	Se è impostato su `true`, il percorso del file specifico da cui è stato ottenuto il record di log viene visualizzato nella voce di log di output come valore dell'etichetta `agent.googleapis.com/log_file_path`. Quando utilizzi un carattere jolly, viene registrato solo il percorso del file da cui è stato ottenuto il record.
`type`		Questo valore deve essere `kafka`.
`wildcard_refresh_interval`	`60s`	L'intervallo con cui vengono aggiornati i percorsi dei file con caratteri jolly in `include_paths`. Dato come durata temporale analizzabile da time.ParseDuration, ad esempio `30s` o `2m`. Questa proprietà potrebbe essere utile in velocità effettiva di logging elevata in cui i file di log vengono ruotati più velocemente dell'intervallo predefinito.

Cosa viene registrato

logName deriva dagli ID ricevitore specificati nella configurazione. I campi dettagliati all'interno di LogEntry sono i seguenti.

I log kafka contengono i seguenti campi in LogEntry:

Campo	Tipo	Descrizione
`jsonPayload.level`	stringa (`LogSeverity`)	Livello voce di log
`jsonPayload.logger`	stringa (`Timestamp`)	Nome del logger da cui ha avuto origine il log.
`jsonPayload.message`	string	Invia messaggio di log, includendo stackt dettagliato, se fornito
`jsonPayload.source`	string	Modulo e/o thread in cui ha avuto origine il log.
`severity`	string	Livello delle voci di log (tradotto).
`timestamp`	string	L'ora in cui è stata ricevuta la richiesta.

Configurazione della raccolta di metriche

Per importare le metriche da Kafka, devi creare un ricevitore per le metriche prodotte da Kafka e quindi creare una pipeline per il nuovo ricevitore.

Questo ricevitore non supporta l'uso di più istanze nella configurazione, ad esempio per monitorare più endpoint. Tutte queste istanze scrivono nella stessa serie temporale e Cloud Monitoring non ha modo di distinguerle.

Per configurare un destinatario per le metriche kafka, specifica i seguenti campi:

Campo	Impostazione predefinita	Descrizione
`stub_status_url`	`localhost:9999`	L'URL del servizio JMX o l'host e la porta utilizzati per creare l'URL del servizio. Deve essere nel formato `service:jmx:<protocol>:<sap>` o `host:port`. I valori nel modulo `host:port` verranno utilizzati per creare un URL di servizio pari a `service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi`.
`collect_jvm_metrics`	`true`	Configura il destinatario in modo che raccolga anche le metriche JVM supportate.
`collection_interval`	`60s`	Un valore di durata del tempo, come `30s` o `5m`.
`password`		La password configurata se JMX è configurata per richiedere l'autenticazione.
`stub_status_url`	`localhost:9999`	L'URL o l'host e la porta JMX utilizzati per creare l'URL del servizio. Questo valore deve essere nel formato service:jmx:: o host:port. I valori nel modulo host:porta vengono utilizzati per creare un URL del servizio di servizio:jmx:rmi:///jndi/rmi://:/jmxrmi.
`type`		Questo valore deve essere `kafka`.
`username`		Il nome utente configurato se JMX è configurato per richiedere l'autenticazione.

Che cosa viene monitorato

La tabella seguente fornisce l'elenco delle metriche che l'agente operativo raccoglie dall'istanza Kafka.

Tipo di metrica
Tipo, tipo Risorse monitorate	Etichette
`workload.googleapis.com/kafka.isr.operation.count`
`CUMULATIVE`, `INT64` gce_instance	`operation`
`workload.googleapis.com/kafka.message.count`
`CUMULATIVE`, `INT64` gce_instance
`workload.googleapis.com/kafka.network.io`
`CUMULATIVE`, `INT64` gce_instance	`state`
`workload.googleapis.com/kafka.partition.count`
`GAUGE`, `INT64` gce_instance
`workload.googleapis.com/kafka.partition.offline`
`GAUGE`, `INT64` gce_instance
`workload.googleapis.com/kafka.partition.under_replicated`
`GAUGE`, `INT64` gce_instance
`workload.googleapis.com/kafka.purgatory.size`
`GAUGE`, `INT64` gce_instance	`type`
`workload.googleapis.com/kafka.request.count`
`CUMULATIVE`, `INT64` gce_instance	`type`
`workload.googleapis.com/kafka.request.failed`
`CUMULATIVE`, `INT64` gce_instance	`type`
`workload.googleapis.com/kafka.request.time.total`
`CUMULATIVE`, `INT64` gce_instance	`type`

Verificare la configurazione

Questa sezione descrive come verificare che il ricevitore Kafka sia stato configurato correttamente. L'agente Ops potrebbe richiedere uno o due minuti per iniziare a raccogliere la telemetria.

Per verificare che i log siano importati, vai a Esplora log ed esegui la query seguente per visualizzare i log di Kafka:

resource.type="gce_instance"
log_id("kafka")

Per verificare che le metriche siano importate, vai a Metrics Explorer ed esegui la seguente query nella scheda MQL:

fetch gce_instance
| metric 'workload.googleapis.com/kafka.message.count'
| every 1m

Visualizza dashboard

Per visualizzare le metriche di Kafka, devi aver configurato un grafico o una dashboard. L'integrazione con Kafka include una o più dashboard. Le dashboard vengono installate automaticamente dopo la configurazione dell'integrazione e l'agente Ops inizia a raccogliere i dati delle metriche.

Puoi anche visualizzare le anteprime statiche delle dashboard senza installare l'integrazione.

Per visualizzare una dashboard installata, procedi come segue:

Nella console Google Cloud, seleziona Monitoring o fai clic sul pulsante seguente:
Vai a Monitoring
Nel pannello di navigazione, seleziona Dashboard.
Seleziona la scheda Elenco dashboard.
Scegli la categoria Integrazioni.
Fai clic sul nome della dashboard che vuoi visualizzare.

Se hai configurato un'integrazione ma la dashboard non è stata installata, verifica che l'agente Ops sia in esecuzione. Se la dashboard non contiene dati sulle metriche, l'installazione della dashboard ha esito negativo. Quando l'agente Ops inizia a raccogliere le metriche, la dashboard viene installata automaticamente.

Per visualizzare un'anteprima statica della dashboard:

Nella console Google Cloud, seleziona Monitoring o fai clic sul pulsante seguente:
Vai a Monitoring
Nel riquadro di navigazione, seleziona Integrazioni.
Fai clic sul filtro della piattaforma di deployment di Compute Engine.
Individua la voce per Kafka e fai clic su Visualizza dettagli.
Seleziona la scheda Dashboard per visualizzare un'anteprima statica. Se la dashboard è installata, puoi accedervi facendo clic su Visualizza dashboard.

Per ulteriori informazioni sulle dashboard in Cloud Monitoring, consulta Dashboard e grafici.

Per ulteriori informazioni sull'utilizzo della pagina Integrazioni, consulta Gestire le integrazioni.

Installa criteri di avviso

I criteri di avviso indicano a Cloud Monitoring di avvisarti quando si verificano condizioni specificate. L'integrazione di Kafka include uno o più criteri di avviso utilizzabili. Puoi visualizzare e installare questi criteri di avviso dalla pagina Integrazioni in Monitoring.

Per visualizzare le descrizioni dei criteri di avviso disponibili e installarli, procedi nel seguente modo:

Nella console Google Cloud, seleziona Monitoring o fai clic sul pulsante seguente:
Vai a Monitoring
Nel riquadro di navigazione, seleziona Integrazioni.
Individua la voce per Kafka e fai clic su Visualizza dettagli.
Seleziona la scheda Avvisi. Questa scheda fornisce le descrizioni dei criteri di avviso disponibili e un'interfaccia per l'installazione.
Installa i criteri di avviso. I criteri di avviso devono sapere dove inviare le notifiche che attivano l'avviso, pertanto richiedono informazioni da installare per l'installazione. Per installare i criteri di avviso:
1. Seleziona dall'elenco dei criteri di avviso disponibili quelli che vuoi installare.
2. Nella sezione Configura le notifiche, seleziona uno o più canali di notifica. Hai la possibilità di disabilitare l'utilizzo dei canali di notifica, ma se lo fai, i tuoi criteri di avviso verranno attivati in silenzio. Puoi verificarne lo stato in Monitoring, ma non riceverai notifiche.
  
  Per maggiori informazioni sui canali di notifica, consulta Gestire i canali di notifica.
3. Fai clic su Crea criteri.

Per ulteriori informazioni sui criteri di avviso in Cloud Monitoring, consulta Introduzione agli avvisi.

Per ulteriori informazioni sull'utilizzo della pagina Integrazioni, consulta Gestire le integrazioni.

Passaggi successivi

Per una procedura dettagliata su come utilizzare Ansible per installare l'agente Ops, configurare un'applicazione di terze parti e installare una dashboard di esempio, guarda il video Installare l'agente Ops per risolvere i problemi delle applicazioni di terze parti.