Query con Grafana

Dopo aver eseguito il deployment di Google Cloud Managed Service per Prometheus, puoi eseguire query sui dati inviati al servizio gestito e visualizzare i risultati in grafici e dashboard.

Questo documento descrive gli ambiti delle metriche, che determinano i dati su cui è possibile eseguire query e come utilizzare Grafana per recuperare e utilizzare i dati raccolti.

Tutte le interfacce di query per Managed Service per Prometheus sono configurate per recuperare i dati da Monarch utilizzando l'API Cloud Monitoring. L'esecuzione di query su Monarch anziché sui dati provenienti da server Prometheus locali offre un monitoraggio globale su larga scala.

Prima di iniziare

Se non hai già eseguito il deployment del servizio gestito, configura la raccolta gestita o la raccolta con deployment autonomo. Puoi saltare questo passaggio se ti interessa eseguire query sulle metriche di Cloud Monitoring solo utilizzando PromQL.

Configura il tuo ambiente

Per evitare di inserire ripetutamente l'ID progetto o il nome del cluster, esegui questa configurazione:

  • Configura gli strumenti a riga di comando come segue:

    • Configura gcloud CLI per fare riferimento all'ID del tuo progetto Google Cloud:

      gcloud config set project PROJECT_ID

    • Configura l'interfaccia a riga di comando kubectl per utilizzare il tuo cluster:

      kubectl config set-cluster CLUSTER_NAME

    Per ulteriori informazioni su questi strumenti, consulta le seguenti risorse:

Configura uno spazio dei nomi

Crea lo spazio dei nomi Kubernetes NAMESPACE_NAME per le risorse create come parte dell'applicazione di esempio:

kubectl create ns NAMESPACE_NAME

Verificare le credenziali dell'account di servizio

Puoi saltare questa sezione se nel cluster Kubernetes è abilitata Workload Identity.

Durante l'esecuzione su GKE, Managed Service per Prometheus recupera automaticamente le credenziali dall'ambiente in base all'account di servizio predefinito di Compute Engine. L'account di servizio predefinito dispone delle autorizzazioni necessarie, monitoring.metricWriter e monitoring.viewer, per impostazione predefinita. Se non utilizzi Workload Identity e in precedenza hai rimosso uno di questi ruoli dall'account di servizio del nodo predefinito, dovrai aggiungere di nuovo le autorizzazioni mancanti prima di continuare.

Se non esegui le credenziali su GKE, consulta Fornire le credenziali in modo esplicito.

Configura un account di servizio per Workload Identity

Puoi saltare questa sezione se nel cluster Kubernetes non è abilitata Workload Identity.

Managed Service per Prometheus acquisisce i dati delle metriche utilizzando l'API Cloud Monitoring. Se il cluster utilizza Workload Identity, devi concedere all'API Monitoring l'autorizzazione del tuo account di servizio Kubernetes. In questa sezione vengono descritte le seguenti informazioni:

Crea e associa l'account di servizio

Questo passaggio viene visualizzato in diverse sezioni della documentazione di Managed Service per Prometheus. Se hai già eseguito questo passaggio come parte di un'attività precedente, non è necessario ripeterlo. Vai direttamente ad Autorizzare l'account di servizio.

La seguente sequenza di comandi crea l'account di servizio gmp-test-sa e lo associa all'account di servizio Kubernetes predefinito nello spazio dei nomi NAMESPACE_NAME:

gcloud config set project PROJECT_ID \
&&
gcloud iam service-accounts create gmp-test-sa \
&&
gcloud iam service-accounts add-iam-policy-binding \
  --role roles/iam.workloadIdentityUser \
  --member "serviceAccount:PROJECT_ID.svc.id.goog[NAMESPACE_NAME/default]" \
  gmp-test-sa@PROJECT_ID.iam.gserviceaccount.com \
&&
kubectl annotate serviceaccount \
  --namespace NAMESPACE_NAME \
  default \
  iam.gke.io/gcp-service-account=gmp-test-sa@PROJECT_ID.iam.gserviceaccount.com

Se utilizzi uno spazio dei nomi GKE o un account di servizio diverso, modifica i comandi in modo appropriato.

Autorizza l'account di servizio

I gruppi di autorizzazioni correlate vengono raccolti in ruoli e tu concedi i ruoli a un'entità, in questo esempio, l'account di servizio Google Cloud. Per ulteriori informazioni sui ruoli di Monitoring, consulta Controllo dell'accesso.

Il comando seguente concede all'account di servizio Google Cloud gmp-test-sa i ruoli dell'API Monitoring necessari per leggere i dati delle metriche.

Se hai già concesso all'account di servizio Google Cloud un ruolo specifico nell'ambito di un'attività precedente, non sarà necessario ripeterlo.

Per autorizzare il tuo account di servizio a leggere da un ambito delle metriche multiprogetto, segui queste istruzioni e consulta Modificare il progetto su cui è stata eseguita la query. 

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member=serviceAccount:gmp-test-sa@PROJECT_ID.iam.gserviceaccount.com \
  --role=roles/monitoring.viewer \
&& \
gcloud projects add-iam-policy-binding PROJECT_ID \
  --member=serviceAccount:gmp-test-sa@PROJECT_ID.iam.gserviceaccount.com \
  --role=roles/iam.serviceAccountTokenCreator

Debug della configurazione di Workload Identity

Se hai difficoltà a far funzionare Workload Identity, consulta la documentazione per la verifica della configurazione di Workload Identity e la guida alla risoluzione dei problemi di Workload Identity.

Poiché gli errori di battitura e il copia-incolla parziale sono le fonti più comuni di errori durante la configurazione di Workload Identity, ti consigliamo vivamente di utilizzare le variabili modificabili e le icone di copia e incolla cliccabili incorporate negli esempi di codice di queste istruzioni.

Workload Identity in ambienti di produzione

L'esempio descritto in questo documento associa l'account di servizio Google Cloud all'account di servizio Kubernetes predefinito e fornisce all'account di servizio Google Cloud tutte le autorizzazioni necessarie per utilizzare l'API Monitoring.

In un ambiente di produzione, conviene utilizzare un approccio più granulare, con un account di servizio per ogni componente e ciascuno con autorizzazioni minime. Per ulteriori informazioni sulla configurazione degli account di servizio per la gestione dei carichi di lavoro e delle identità, consulta Utilizzo di Workload Identity.

Ambiti di query e metriche

I dati su cui è possibile eseguire query sono determinati dall'ambito delle metriche del costrutto di Cloud Monitoring, indipendentemente dal metodo utilizzato per eseguire query sui dati. Ad esempio, se utilizzi Grafana per eseguire query sui dati di Managed Service per Prometheus, ogni ambito delle metriche deve essere configurato come origine dati separata.

Un ambito delle metriche di Monitoring è un costrutto di sola lettura che consente di eseguire query sui dati delle metriche appartenenti a più progetti Google Cloud. Ogni ambito delle metriche è ospitato da un progetto Google Cloud designato, denominato progetto di ambito.

Per impostazione predefinita, un progetto è il progetto di definizione dell'ambito per il proprio ambito delle metriche e l'ambito delle metriche contiene le metriche e la configurazione del progetto. Un progetto di definizione dell'ambito può avere più progetti monitorati nell'ambito delle metriche e le metriche e le configurazioni di tutti i progetti monitorati nell'ambito delle metriche sono visibili al progetto di definizione dell'ambito. Un progetto monitorato può anche appartenere a più di un ambito delle metriche.

Quando esegui una query sulle metriche in un progetto di definizione dell'ambito e se quel progetto di ambito ospita un ambito delle metriche con più progetti, puoi recuperare i dati da più progetti. Se l'ambito delle metriche contiene tutti i progetti, le query e le regole vengono valutate a livello globale.

Per ulteriori informazioni sull'ambito dei progetti e delle metriche, consulta Ambiti delle metriche. Per informazioni sulla configurazione dell'ambito delle metriche per più progetti, consulta Visualizzare le metriche per più progetti.

Managed Service per i dati Prometheus in Cloud Monitoring

Il modo più semplice per verificare che i dati Prometheus vengano esportati è utilizzare la pagina Esplora metriche di Cloud Monitoring nella console Google Cloud, che supporta PromQL. Per le istruzioni, consulta Esecuzione di query con PromQL in Cloud Monitoring.

Puoi anche importare le tue dashboard Grafana in Cloud Monitoring. Questo consente di continuare a utilizzare dashboard Grafana personali o create dalla community senza dover configurare o eseguire il deployment di un'istanza Grafana.

Grafana

Managed Service per Prometheus utilizza l'origine dati Prometheus integrata per Grafana, il che significa che puoi continuare a utilizzare qualsiasi dashboard di Grafana personale o creata dalla community senza alcuna modifica.

Esegui il deployment di Grafana, se necessario.

Se nel tuo cluster non è in esecuzione un deployment Grafana, puoi creare un deployment di test temporaneo da sperimentare.

Per creare un deployment Grafana temporaneo, applica il manifest Managed Service per Prometheus grafana.yaml al tuo cluster e esegui il port forwarding del servizio grafana alla tua macchina locale. Nell'esempio seguente il servizio viene inoltrato alla porta 3000.

  1. Applica il manifest grafana.yaml:

    kubectl -n NAMESPACE_NAME apply -f  https://raw.githubusercontent.com/GoogleCloudPlatform/prometheus-engine/6ebc1afa8e609febe8d687bb7fa6bd2375e46db1/examples/grafana.yaml

  2. Esegui il port forwarding del servizio grafana alla tua macchina locale. Questo esempio inoltra il servizio alla porta 3000:

    kubectl -n NAMESPACE_NAME port-forward svc/grafana 3000

    Questo comando non restituisce e, mentre è in esecuzione, segnala gli accessi all'URL.

    Puoi accedere a Grafana nel tuo browser all'URL http://localhost:3000 con nomeutente:password admin:admin.

Quindi, aggiungi una nuova origine dati Prometheus a Grafana seguendo questi passaggi:

  1. Vai al tuo deployment Grafana, ad esempio, navigando all'URL http://localhost:3000 per raggiungere la pagina di benvenuto di Grafana.

  2. Seleziona Connections (Connessioni) dal menu Grafana principale e poi Origini dati.

    Aggiungere un'origine dati in Grafana.

  3. Seleziona Aggiungi origine dati e seleziona Prometheus come database delle serie temporali.

    Aggiunta di un'origine dati Prometheus.

  4. Assegna un nome all'origine dati, imposta il campo URL su http://localhost:9090 e seleziona Salva e testa. Puoi ignorare eventuali errori che indicano che l'origine dati non è configurata correttamente.

  5. Copia l'URL del servizio locale per il tuo deployment, che sarà simile al seguente:

    http://grafana.NAMESPACE_NAME.svc:3000

Configura e autentica l'origine dati Grafana

Tutte le API Google Cloud richiedono l'autenticazione tramite OAuth2; tuttavia, Grafana non supporta l'autenticazione OAuth2 per gli account di servizio utilizzati con origini dati Prometheus. Per utilizzare Grafana con Managed Service per Prometheus, puoi utilizzare lo strumento di sincronizzazione dell'origine dati per generare le credenziali OAuth2 per il tuo account di servizio e sincronizzarle con Grafana tramite l'API dell'origine dati Grafana.

Devi utilizzare lo strumento di sincronizzazione dell'origine dati per configurare e autorizzare Grafana a eseguire query sui dati a livello globale. Se non segui questi passaggi, Grafana esegue solo query sui dati nel server Prometheus locale.

Lo strumento di sincronizzazione dell'origine dati è uno strumento di interfaccia a riga di comando che utilizza un CronJob Kubernetes per sincronizzare in remoto i valori di configurazione con una determinata origine dati Grafana Prometheus. Ciò garantisce che l'origine dati Grafana abbia quanto segue configurato correttamente:

  • Autenticazione, eseguita aggiornando periodicamente un token di accesso OAuth2
  • L'API Cloud Monitoring impostata come URL del server Prometheus
  • Il metodo HTTP impostato su GET
  • Tipo e versione di Prometheus impostati su un minimo di 2.40.x
  • I valori di timeout delle query e HTTP impostati su 2 minuti

Lo strumento di sincronizzazione dell'origine dati utilizza l'account di servizio locale del cluster per generare periodicamente un token di accesso all'API Google Cloud con le autorizzazioni IAM necessarie per eseguire query sui dati di Cloud Monitoring. Poiché i token di accesso all'API di Google Cloud hanno una durata di un'ora, lo strumento di sincronizzazione dell'origine dati viene eseguito ogni 30 minuti per garantire una connessione autenticata senza interruzioni tra Grafana e l'API Cloud Monitoring.

Per eseguire il deployment dello strumento di sincronizzazione dell'origine dati, segui questi passaggi:

  1. Scegli un progetto, un cluster e uno spazio dei nomi in cui eseguire il deployment dello strumento di sincronizzazione dell'origine dati. Consigliamo di eseguire il deployment dello strumento di sincronizzazione dell'origine dati in un cluster che appartiene al progetto di ambito di un ambito delle metriche multiprogetto. Lo strumento di sincronizzazione dell'origine dati utilizza il progetto Google Cloud configurato come progetto di definizione dell'ambito.

    A questo punto, assicurati di configurare e autorizzare correttamente lo strumento di sincronizzazione dell'origine dati:

    Quindi, determina se è necessario autorizzare ulteriormente lo strumento di sincronizzazione dell'origine dati per le query multiprogetto:

  2. Determina l'URL dell'istanza Grafana, ad esempio https://yourcompanyname.grafana.net per un deployment di Grafana Cloud o http://grafana.NAMESPACE_NAME.svc:3000 per un'istanza locale configurata utilizzando il file YAML di deployment di test.

    Se esegui il deployment di Grafana in locale e il tuo cluster è configurato per proteggere tutto il traffico nel cluster tramite TLS, devi utilizzare https:// nell'URL ed eseguire l'autenticazione con una delle opzioni di autenticazione TLS supportate.

  3. Scegli l'origine dati Grafana Prometheus che vuoi utilizzare per Managed Service per Prometheus, che può essere un'origine dati nuova o preesistente, quindi trova e annota l'UID dell'origine dati. L'UID dell'origine dati è disponibile nell'ultima parte dell'URL quando esplori o configuri un'origine dati, ad esempio https://yourcompanyname.grafana.net/connections/datasources/edit/GRAFANA_DATASOURCE_UID. Non copiare l'intero URL dell'origine dati. Copia solo l'identificatore univoco nell'URL.

    Individua un UID origine dati in Grafana.

  4. Configura un account di servizio Grafana creando l'account di servizio e generando un token per l'account da utilizzare:

    1. Nella barra laterale di navigazione Grafana, fai clic su Amministrazione > Utenti e accesso > Account di servizio.

    2. Crea l'account di servizio facendo clic su Aggiungi account di servizio, assegnando un nome e assegnando il ruolo "Amministratore" in Grafana.

    3. Fai clic su Aggiungi token dell'account di servizio.

    4. Imposta la scadenza del token su "Nessuna scadenza" e fai clic su Genera token, quindi copia il token generato negli appunti per utilizzarlo come GRAFANA_SERVICE_ACCOUNT_TOKEN nel passaggio successivo:

      Genera e salva un token dell'account di servizio in Grafana.

  5. Configura le seguenti variabili di ambiente utilizzando i risultati dei passaggi precedenti:

    # These values are required.
PROJECT_ID=SCOPING_PROJECT_ID # The value from Step 1.
GRAFANA_API_ENDPOINT=GRAFANA_INSTANCE_URL # The value from step 2. This is a URL.
DATASOURCE_UIDS=GRAFANA_DATASOURCE_UID # The value from step 3. This is not a URL.
GRAFANA_API_TOKEN=GRAFANA_SERVICE_ACCOUNT_TOKEN # The value from step 4.

  6. Esegui questo comando per creare un CronJob che aggiorna l'origine dati al momento dell'inizializzazione e ogni 30 minuti. Se utilizzi Workload Identity, il valore di NAMESPACE_NAME deve essere lo stesso spazio dei nomi associato in precedenza all'account di servizio.

    curl https://raw.githubusercontent.com/GoogleCloudPlatform/prometheus-engine/main/cmd/datasource-syncer/datasource-syncer.yaml \
| sed 's|$DATASOURCE_UIDS|'"$DATASOURCE_UIDS"'|; s|$GRAFANA_API_ENDPOINT|'"$GRAFANA_API_ENDPOINT"'|; s|$GRAFANA_API_TOKEN|'"$GRAFANA_API_TOKEN"'|; s|$PROJECT_ID|'"$PROJECT_ID"'|;' \
| kubectl -n NAMESPACE_NAME apply -f -

  7. Vai all'origine dati Grafana appena configurata e verifica che il valore dell'URL del server Prometheus inizi con https://monitoring.googleapis.com. Potresti dover aggiornare la pagina. Al termine della verifica, seleziona Salva e verifica in fondo alla pagina. Devi selezionare questo pulsante almeno una volta per assicurarti che il completamento automatico delle etichette in Grafana funzioni.

Eseguire query utilizzando Grafana

Ora puoi creare dashboard Grafana ed eseguire query utilizzando l'origine dati configurata. Il seguente screenshot mostra un grafico Grafana che mostra la metrica up:

Grafico di Grafana per la metrica Managed Service per Prometheus in alto.

Per informazioni su come eseguire query sulle metriche di sistema di Google Cloud utilizzando PromQL, consulta Metriche di PromQL per Cloud Monitoring.

Esecuzione dello strumento di sincronizzazione dell'origine dati all'esterno di GKE

Puoi saltare questa sezione se esegui lo strumento di sincronizzazione dell'origine dati in un cluster Google Kubernetes Engine. Se riscontri problemi di autenticazione su GKE, vedi Verificare le credenziali dell'account di servizio.

Durante l'esecuzione su GKE, lo strumento di sincronizzazione dell'origine dati recupera automaticamente le credenziali dall'ambiente in base all'account di servizio del nodo o alla configurazione di Workload Identity. Nei cluster Kubernetes non GKE, le credenziali devono essere fornite esplicitamente allo strumento di sincronizzazione dell'origine dati utilizzando la variabile di ambiente GOOGLE_APPLICATION_CREDENTIALS.

  1. Imposta il contesto sul progetto di destinazione:

    gcloud config set project PROJECT_ID

  2. Crea un account di servizio:

    gcloud iam service-accounts create gmp-test-sa

    Questo passaggio crea l'account di servizio che potresti avere già creato nelle istruzioni di Workload Identity.

  3. Concedi le autorizzazioni richieste all'account di servizio:

    gcloud projects add-iam-policy-binding PROJECT_ID \
  --member=serviceAccount:gmp-test-sa@PROJECT_ID.iam.gserviceaccount.com \
  --role=roles/monitoring.viewer \
&& \
gcloud projects add-iam-policy-binding PROJECT_ID \
  --member=serviceAccount:gmp-test-sa@PROJECT_ID.iam.gserviceaccount.com \
  --role=roles/iam.serviceAccountTokenCreator

  4. Crea e scarica una chiave per l'account di servizio:

    gcloud iam service-accounts keys create gmp-test-sa-key.json \
  --iam-account=gmp-test-sa@PROJECT_ID.iam.gserviceaccount.com

  5. Imposta il percorso del file chiave utilizzando la variabile di ambiente GOOGLE_APPLICATION_CREDENTIALS.

Autorizza lo strumento di sincronizzazione dell'origine dati al monitoraggio di più progetti

Managed Service per Prometheus supporta il monitoraggio multiprogetto utilizzando gli ambiti delle metriche. Se il progetto locale è il tuo progetto di definizione dell'ambito e hai seguito le istruzioni per verificare o configurare un account di servizio per il progetto locale, le query su più progetti dovrebbero funzionare senza ulteriori configurazioni.

Se il progetto locale non è il progetto di definizione dell'ambito, devi autorizzare l'account di servizio predefinito di Compute del progetto locale o l'account di servizio Workload Identity ad accedere a monitoring.viewer al progetto di definizione dell'ambito. Quindi passa l'ID del progetto di definizione dell'ambito come valore della variabile di ambiente PROJECT_ID.

Se utilizzi l'account di servizio default di Compute Engine, puoi eseguire una delle seguenti operazioni:

Per concedere a un account di servizio le autorizzazioni necessarie per accedere a un progetto Google Cloud diverso, segui questi passaggi:

  1. Concedi all'account di servizio l'autorizzazione a leggere dal progetto di destinazione su cui vuoi eseguire la query:

    gcloud projects add-iam-policy-binding SCOPING_PROJECT_ID \
  --member=serviceAccount:gmp-test-sa@PROJECT_ID.iam.gserviceaccount.com \
  --role=roles/monitoring.viewer

  2. Quando configuri lo strumento di sincronizzazione dell'origine dati, passa l'ID del progetto di definizione dell'ambito come valore della variabile di ambiente PROJECT_ID.

Ispezionare il CronJob

Per ispezionare il CronJob e assicurarti che tutte le variabili siano impostate correttamente, esegui questo comando:

kubectl describe cronjob datasource-syncer

Per visualizzare i log per il job che configura inizialmente Grafana, esegui questo comando subito dopo aver applicato il file datasource-syncer.yaml:

kubectl logs job.batch/datasource-syncer-init

Smantellamento

Per disabilitare il Cronjob di sincronizzazione dell'origine dati, esegui questo comando:

kubectl delete -f https://raw.githubusercontent.com/GoogleCloudPlatform/prometheus-engine/main/cmd/datasource-syncer/datasource-syncer.yaml

Se disattivi lo strumento di sincronizzazione dell'origine dati, la Grafana collegata non verrà più aggiornata con le nuove credenziali di autenticazione e, di conseguenza, l'esecuzione di query su Managed Service per Prometheus non funzionerà più.

Compatibilità delle API

I seguenti endpoint dell'API HTTP Prometheus sono supportati da Managed Service per Prometheus con l'URL preceduto da https://monitoring.googleapis.com/v1/projects/PROJECT_ID/location/global/prometheus/api/v1/.

Per la documentazione completa, consulta la documentazione di riferimento dell'API Cloud Monitoring.

Per informazioni sulla compatibilità di PromQL, consulta Assistenza di PromQL.

  • I seguenti endpoint sono completamente supportati:

    • /api/v1/query
    • /api/v1/query_range
    • /api/v1/metadata
    • /api/v1/labels
    • /api/v1/query_exemplars

  • L'endpoint /api/v1/label/<label_name>/values funziona solo se l'etichetta __name__ viene fornita utilizzandola come valore <label_name> o trovando una corrispondenza esatta con un selettore di serie. Ad esempio, le seguenti chiamate sono pienamente supportate:

    • /api/v1/label/__name__/values
    • /api/v1/label/__name__/values?match[]={__name__=~".*metricname.*"}
    • /api/v1/label/labelname/values?match[]={__name__="metricname"}

    Questa limitazione determina l'esito negativo delle query variabili label_values($label) in Grafana. In alternativa, puoi utilizzare label_values($metric, $label). Questo tipo di query è consigliato perché evita di recuperare valori per le etichette su metriche non pertinenti per la dashboard specificata.

  • L'endpoint /api/v1/series è supportato per le richieste GET, ma non POST. Quando utilizzi lo strumento di sincronizzazione dell'origine dati o il proxy frontend, questa restrizione viene gestita automaticamente. Puoi anche configurare le origini dati Prometheus in Grafana in modo che invii solo richieste GET.

Passaggi successivi