Stima i requisiti di capacità degli slot

Quando acquisti slot prenotati in BigQuery, devi stimare il numero corretto di slot per il carico di lavoro specifico. Lo strumento per la stima degli slot BigQuery aiuta a gestire la capacità degli slot in base alle metriche delle prestazioni storiche.

Puoi utilizzare lo strumento di stima degli slot per la tua versione, prenotazione e carichi di lavoro on demand per eseguire le seguenti attività:

Per i carichi di lavoro della versione selezionati:

  • Visualizza i dati sulla capacità e sull'utilizzo degli slot degli ultimi 30 giorni e identifica i periodi di picco di utilizzo in cui viene utilizzato il maggior numero di slot.
  • Visualizza suggerimenti ottimali per i costi per slot di impegno e scalabilità automatica con prestazioni simili.
  • Visualizza le impostazioni di prenotazione attuali per una versione specifica.

Per carichi di lavoro di prenotazione specifici:

  • Visualizza i dati sulla capacità e sull'utilizzo degli slot degli ultimi 30 giorni e identifica i periodi di picco di utilizzo in cui viene utilizzato il maggior numero di slot.
  • Visualizza i percentili di latenza dei job (P90, P95 ecc.) per comprendere le prestazioni delle query.
  • Definisci in che modo l'aumento o la riduzione del numero massimo di slot di prenotazione potrebbe influire sulle prestazioni.

Per i carichi di lavoro di fatturazione on demand:

  • Visualizza i dati sull'utilizzo degli slot on demand dell'intera organizzazione o di un singolo progetto per gli ultimi 30 giorni.
  • Visualizza i suggerimenti ottimali per i costi per gli slot di impegno e scalabilità automatica con prestazioni simili se passi alla versione Enterprise.

I clienti che utilizzano la versione Enterprise, la versione Enterprise Plus o la fatturazione on demand possono utilizzare il motore per suggerimenti di slot BigQuery per visualizzare l'utilizzo degli slot, ottimizzare gli impegni e migliorare le prestazioni. Per ulteriori informazioni, consulta Visualizzare i suggerimenti per gli slot della versione.

Limitazioni

  • I dati sono limitati agli ultimi 30 giorni.
  • I modelli non includono assegnazioni ML_EXTERNAL. Se per le assegnazioni ML_EXTERNAL viene utilizzata un'ampia percentuale di slot, i risultati modellati sono meno precisi.

Prima di iniziare

Concedi i ruoli IAM (Identity and Access Management) che concedono agli utenti le autorizzazioni necessarie per eseguire ogni attività nel documento.

Autorizzazioni obbligatorie

Per utilizzare lo strumento di stima degli slot per i dati delle prenotazioni, devi disporre delle seguenti autorizzazioni IAM nel progetto di amministrazione:

  • bigquery.reservations.list
  • bigquery.reservationAssignments.list
  • bigquery.capacityCommitments.list

Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per utilizzare lo strumento per la stima degli slot:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer
  • roles/bigquery.user

Per utilizzare lo strumento di stima degli slot per i dati sull'utilizzo on demand, devi abilitare l'API Reservations su un progetto che intendi utilizzare come progetto di amministrazione per gestire le prenotazioni. Oltre alle autorizzazioni sopra indicate, è necessaria anche una delle seguenti autorizzazioni IAM sulla tua organizzazione per visualizzare i dati a livello di organizzazione o sul progetto per visualizzare i dati a livello di progetto:

  • bigquery.jobs.listExecutionMetadata (può essere applicata solo a livello di organizzazione)
  • bigquery.jobs.listAll (può essere applicata sia a livello di organizzazione che a livello di progetto)

Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per utilizzare lo strumento per la stima degli slot:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer

Per visualizzare i suggerimenti per gli slot di impegno, devi avere anche le autorizzazioni descritte in Visualizzare i suggerimenti per gli slot dell'edizione.

Per ulteriori informazioni sui ruoli IAM in BigQuery, consulta Autorizzazioni e ruoli predefiniti.

Visualizza capacità e utilizzo degli slot

Per visualizzare la capacità e l'utilizzo degli slot nel tempo, vai allo strumento per la stima degli slot:

  1. Nella console Google Cloud, apri la pagina BigQuery.

    Vai a BigQuery

  2. Seleziona il progetto di amministrazione.

    1. Fai clic sull'elenco a discesa Seleziona da nella parte superiore della pagina.
    2. Nella finestra Seleziona dalla finestra visualizzata, seleziona il tuo progetto.
  3. Nel pannello di navigazione, vai alla sezione Gestione della capacità.

  4. Fai clic sulla scheda Strumento di stima degli slot.

Il grafico sull'utilizzo mostra la capacità e l'utilizzo degli slot negli ultimi 30 giorni, calcolati secondo la granularità oraria.

La scheda Utilizzo e utilizzo per percentuale mostra l'utilizzo degli slot come percentuale di utilizzo degli slot per il numero massimo di slot.

Percentuale
di utilizzo

La scheda Utilizzo e utilizzo per capacità mostra il numero massimo di slot e l'utilizzo come valori assoluti.

Utilizzo e capacità

Puoi scegliere una versione o un'opzione on demand dal menu a discesa Origine per visualizzare le statistiche per diversi ambiti. La selezione di una versione completa il menu a discesa Prenotazione con le prenotazioni pertinenti.

Per le opzioni on demand, puoi scegliere un singolo progetto o l'intera organizzazione dal menu a discesa Suggerimenti per se disponi delle autorizzazioni a livello di organizzazione. La pagina Strumento di stima degli slot mostra le informazioni a livello di progetto solo se disponi di autorizzazioni a livello di progetto.

Opzioni on demand dello strumento
per la stima degli slot

Le statistiche per la scheda Utilizzo e utilizzo per capacità potrebbero variare leggermente in base al diverso ambito:

  • Per l'origine della versione, mostra il numero massimo di slot disponibili per l'intera versione, gli slot di impegno, la somma degli slot di riferimento, l'utilizzo medio degli slot, l'utilizzo degli slot P99 e l'utilizzo degli slot P50.
  • Per una prenotazione specifica, mostra il numero massimo di slot di prenotazione, slot di riferimento, utilizzo medio degli slot, utilizzo degli slot P99 e utilizzo degli slot P50.
  • Per l'origine on demand, mostra l'utilizzo medio degli slot, l'utilizzo degli slot P99 e l'utilizzo degli slot P50.

Prestazioni slot modello

Quando è selezionata una prenotazione, puoi utilizzare lo strumento di stima degli slot per visualizzare i dati sulle prestazioni del job e per modellare l'effetto della modifica del numero di slot massimi. Lo strumento di stima degli slot ti consente di modellare le possibili variazioni delle prestazioni a diversi livelli di capacità, dall'80% al 150% degli slot massimi attuali. L'opzione di decremento non può essere inferiore all'80% degli slot massimi minimi nel periodo di tempo.

I modelli presuppongono una riproduzione del pattern di utilizzo dei 30 giorni precedenti, dove tutto rimane invariato tranne una modifica degli slot.

Il miglioramento del rendimento stimato si basa su diversi fattori. I fattori più importanti sono il numero di slot nel modello e la proporzione di job in ogni bucket percentile eseguiti durante i periodi di picco rispetto ai periodi regolari. I periodi di picco sono definiti come durate in cui sono stati utilizzati quasi tutti gli slot. I job in esecuzione in questi periodi sono maggiormente interessati dalla contesa degli slot e registrano quindi il massimo guadagno in termini di prestazioni dagli slot aggiuntivi. Di conseguenza, bucket di job diversi possono notare effetti diversi dallo stesso aumento di capacità, a seconda di quando vengono eseguiti.

Per creare un modello delle prestazioni degli slot, segui questi passaggi:

  1. Nella console Google Cloud, apri la pagina BigQuery.

    Vai a BigQuery

  2. Seleziona il progetto di amministrazione.

    1. Fai clic sull'elenco a discesa Seleziona da nella parte superiore della pagina.
    2. Nella finestra Seleziona dalla finestra visualizzata, seleziona il tuo progetto.
  3. Nel pannello di navigazione, vai alla sezione Gestione della capacità.

  4. Fai clic sulla scheda Strumento di stima degli slot.

  5. Nel menu a discesa Prenotazione, seleziona una prenotazione specifica. Il modello include il numero di slot inattivi che la prenotazione ha potuto prendere in prestito in qualsiasi momento.

  6. Nel menu a discesa Modello con slot aggiuntivi sul numero massimo di slot, seleziona uno o più valori per gli slot da modellare e fai clic su OK.

La tabella in Modifiche al rendimento dei job con slot aggiuntivi mostra i dati sulle prestazioni dei job degli ultimi 30 giorni, insieme alla variazione stimata del rendimento derivante dall'aumento o dalla riduzione del numero massimo di slot. I dati vengono raggruppati in percentuali in base alla durata del job per tutti i job eseguiti nel periodo di tempo selezionato. La colonna indicata dall'icona della lampadina corrisponde al consiglio di miglioramento delle prestazioni per la prenotazione selezionata.

Modellazione degli slot

I dati sul rendimento sono suddivisi per percentile. La tabella suddivide i dati in massimo 12 bucket: da P10 a P90, più P95, P99 e P100. Il bucket P100 rappresenta l'1% principale dei job con il maggiore tempo di esecuzione; P99 include i primi 96%-99%; P95 include i primi 91%-95%; P90 include l'81% al 90% e così via. A seconda dei dati, la tabella potrebbe raggruppare i dati in meno bucket. In questo caso, la tabella contiene meno righe.

Per ogni bucket percentile, la tabella mostra le seguenti informazioni:

  • Percentile durata job: il bucket percentile per questa riga.
  • Durata media del job: il tempo medio impiegato per l'esecuzione dei job in quel bucket percentile.
  • Numero di job: il numero di job nel bucket percentile.
  • Per ogni modello, la durata media stimata dei job in quel percentile.

La tabella riporta inoltre una statistica stimata "variazione nell'arco di 30 giorni" per ogni modello. Questo valore è la variazione stimata delle ore totali impiegate per l'elaborazione dei job nella cronologia di 30 giorni con capacità di slot diverse.

Comprendere i risultati della modellazione con l'utilizzo degli slot

Per le prenotazioni a capacità fissa, se è abilitata la condivisione degli slot inattivi, i job in quella prenotazione possono prendere in prestito gli slot inattivi da altre prenotazioni. Di conseguenza, l'utilizzo può superare il 100% degli slot allocati. Se una prenotazione prende in modo coerente slot inattivi di altre prenotazioni, questo potrebbe essere un segnale per aumentare la dimensione della prenotazione. Se invece una prenotazione utilizza raramente la sua capacità completa, potrebbe essere troppo grande.

Le prenotazioni che utilizzano la scalabilità automatica utilizzano e aggiungono slot con la priorità seguente:

  1. Slot di riferimento.
  2. Condivisione di slot inattivi (se abilitata).
  3. Slot a scalabilità automatica.

Se una prenotazione di scalabilità automatica raggiunge costantemente il numero massimo di slot di scalabilità automatica, questo potrebbe essere un indicatore per aumentare il numero massimo di slot di prenotazione. Per informazioni sulla visualizzazione dell'utilizzo degli slot, consulta Visualizzare i grafici delle risorse di amministrazione.

Prezzi

Puoi utilizzare lo strumento di stima degli slot senza costi aggiuntivi.