Dashboard di monitoraggio dei progetti Dataflow

L'interfaccia di monitoraggio basata sul web di Dataflow include una dashboard che monitora i job Dataflow a livello di progetto. I grafici mostra i dati per tutti i job di un progetto.

Vai alla dashboard

La dashboard può aiutarti con le seguenti attività:

  • Rilevare e identificare l'origine degli errori di quota.
  • Rileva la scalabilità automatica orizzontale anomala in un job.
  • Identifica job di flussi di dati lenti o bloccati.

La dashboard utilizza Cloud Monitoring per accedere alle metriche dei job Dataflow. Per personalizzare le informazioni visualizzate nei grafici, utilizza Esplora metriche.

Funzionalità

La dashboard include le seguenti funzionalità:

  • Scegli i job da visualizzare nella dashboard utilizzando le espressioni regolari.
  • Accedi alla pagina dei dettagli del job dai singoli grafici.
  • Personalizzare i widget e i grafici della dashboard.

Ruoli obbligatori

Per ottenere l'autorizzazione necessaria per visualizzare i dati del grafico, chiedi all'amministratore di concederti Ruolo IAM Visualizzatore Monitoring (roles/monitoring.viewer). Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene monitoring.timeSeries.list autorizzazione, che è obbligatorio consultare i dati del grafico.

Potresti anche ottenere questa autorizzazione con ruoli personalizzati o altri ruoli predefiniti.

Metriche

Per impostazione predefinita, nella dashboard vengono visualizzati i seguenti grafici. Per ulteriori informazioni sulle metriche visualizzate, consulta Metriche dei job.

Grafico Descrizione Assistenza
Job in esecuzione Un grafico delle serie temporali che mostra il numero di job in esecuzione nel progetto. Job batch e flussi
Worker per job Un grafico di serie temporali che mostra il numero di worker utilizzati per un lavoro. Utilizza questo grafico per comprendere il comportamento della scalabilità automatica nel progetto. Puoi vedere se i job hanno un comportamento di scalabilità imprevisto o insolito.

Utilizza questo grafico con i grafici delle quote e della CPU per identificare i job il cui scaling è limitato da errori di quota.		 Job in batch e in streaming
Errori di superamento quota Un grafico delle serie temporali che mostra la cronologia degli errori di superamento della quota nel progetto, limitata alle quote CPU di Compute Engine. Compute Engine ha sia le quote di CPU totali per regione sia, per alcune famiglie di macchine, quote per regione e per tipo. Ognuna di queste quote potrebbe impedire l'avvio o lo scale up.

Utilizza questo grafico con i grafici della quota e della CPU per identificare l'origine della quota errori.		 Job in batch e in streaming
CPU per job Un grafico di serie temporali che mostra il numero di CPU utilizzate di ogni job. Questo grafico mostra anche il tipo di macchina e la posizione per ogni job. I tipi di macchine della stessa famiglia hanno un numero diverso di CPU. Il numero totale di CPU influisce sulle quote di Compute Engine.

Utilizza questo grafico per identificare l'origine degli errori di quota.		 Job batch e flussi
Latenza di sistema Un grafico delle serie temporali che mostra il numero massimo secondi di elaborazione o in attesa di elaborazione di un elemento di dati per ogni job.

Utilizza questo grafico per identificare i job di flussi di dati con un ritardo insolito tra quando i dati vengono visualizzati in un'origine e scritti in tutti i sink.		 Job di flussi di dati
Aggiornamento dei dati Un grafico di serie temporali che mostra il numero massimo di dati per qualsiasi fase di ciascun job.

Utilizza questo grafico per trovare i job di streaming che potrebbero essere lenti o bloccati.		 Job di flussi di dati
Byte di backlog massimi Un grafico delle serie temporali che mostra il numero massimo byte di backlog per qualsiasi fase di ciascun job.

Utilizza questo grafico per identificare le anomalie che indicano un collo di bottiglia nell'elaborazione.		 Job di flussi di dati

Accedere alla dashboard

Per accedere alla dashboard:

  1. Accedi alla console Google Cloud.
  2. Selezionare il tuo progetto Google Cloud.
  3. Apri il menu di navigazione.
  4. In Analytics, fai clic su Dataflow.

  5. Nel menu di navigazione di Dataflow, fai clic su Monitoraggio.

    Vai alla dashboard

Personalizzare la dashboard

Puoi personalizzare i contenuti della dashboard e le informazioni visualizzate grafici. Quando modifichi la dashboard, ne viene creata una nuova personalizzata.

La dashboard utilizza Cloud Monitoring per accedere alle metriche dei job Dataflow. Utilizzare gli strumenti di Cloud Monitoring per personalizzare i grafici.

  1. Apri la dashboard e fai clic su Personalizza dashboard.
  2. Modifica la dashboard.
  3. Fai clic su Salva e poi su Visualizza dashboard personalizzata.

Dopo aver creato una dashboard personalizzata, per tornare a quella predefinita, selezionate Predefinita nel menu Dashboard.

Risoluzione dei problemi

Questa sezione fornisce istruzioni per la risoluzione di problemi comuni

Nessun dato disponibile

Quando apri la dashboard, uno o più grafici mostrano il seguente messaggio:

No data is available for the selected time frame.

Questo messaggio viene visualizzato quando il periodo di tempo indicato nei grafici non contiene dati. Per risolvere il problema, modifica o espandi l'intervallo di tempo.

Per modificare l'intervallo di tempo visualizzato, fai clic su Esplora dati sul grafico e utilizza il selettore dell'intervallo di tempo.

Impossibile ripristinare i widget eliminati

Quando rimuovi un widget dalla dashboard, ne viene creata una personalizzata. Dopo aver creato una dashboard personalizzata, per tornare a quella predefinita, selezionate Predefinita nel menu Dashboard.

Impossibile visualizzare i grafici

Per visualizzare i dati del grafico, è necessario monitoring.timeSeries.list autorizzazione. Per ulteriori informazioni, consulta Ruoli richiesti.

Passaggi successivi