Stima dei requisiti di capacità degli slot
Quando acquisti slot prenotati in BigQuery, devi stimare il numero corretto di slot per il tuo carico di lavoro specifico. Lo strumento di stima degli slot BigQuery consente di gestire la capacità degli slot in base alle metriche delle prestazioni storiche.
Puoi utilizzare lo strumento di stima degli slot per la versione, la prenotazione e i carichi di lavoro on demand per eseguire le seguenti attività:
Per i carichi di lavoro della versione selezionati:
- Visualizza i dati sulla capacità e sull'utilizzo degli slot per gli ultimi 30 giorni e identifica i periodi di picco di utilizzo in cui viene utilizzata la maggior parte degli slot.
- Visualizza suggerimenti ottimali per i costi per slot di impegno e con scalabilità automatica con prestazioni simili.
- Visualizza le impostazioni di prenotazione attuali per una versione specifica.
Per carichi di lavoro di prenotazione specifici:
- Visualizza i dati sulla capacità e sull'utilizzo degli slot per gli ultimi 30 giorni e identifica i periodi di picco di utilizzo in cui viene utilizzata la maggior parte degli slot.
- Visualizza i percentili di latenza del job (P90, P95 e così via) per comprendere le prestazioni delle query.
- Definisci in che modo l'aumento o la riduzione del numero massimo di slot di prenotazione potrebbe influire sulle prestazioni.
Per i carichi di lavoro di fatturazione on demand:
- Visualizza i dati sull'utilizzo degli slot on demand dell'intera organizzazione o di un singolo progetto per gli ultimi 30 giorni.
- Visualizza suggerimenti ottimali per i costi per slot di impegno e con scalabilità automatica con prestazioni simili se passi alla versione Enterprise.
I clienti che usano la versione Enterprise, Enterprise Plus o la fatturazione on demand possono utilizzare il motore per suggerimenti di slot BigQuery per visualizzare l'utilizzo degli slot, ottimizzare gli impegni e migliorare le prestazioni. Per maggiori informazioni, consulta la sezione Visualizzare i suggerimenti per gli slot della versione.
Limitazioni
- I dati sono limitati agli ultimi 30 giorni.
- I modelli non includono assegnazioni
ML_EXTERNAL. Se un'ampia percentuale di slot viene utilizzata per le assegnazioniML_EXTERNAL, i risultati modellati sono meno precisi.
Prima di iniziare
Concedi ruoli IAM (Identity and Access Management) che concedono agli utenti le autorizzazioni necessarie per eseguire ogni attività in questo documento.
Autorizzazioni obbligatorie
Per utilizzare lo strumento di stima degli slot per i dati delle prenotazioni, devi disporre delle seguenti autorizzazioni IAM per il progetto di amministrazione:
bigquery.reservations.listbigquery.reservationAssignments.listbigquery.capacityCommitments.list
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per utilizzare lo strumento di stima degli slot:
roles/bigquery.adminroles/bigquery.resourceAdminroles/bigquery.resourceEditorroles/bigquery.resourceViewerroles/bigquery.user
Per utilizzare lo strumento di stima degli slot per i dati di utilizzo on demand, devi abilitare l'API Reservations su un progetto che intendi utilizzare come progetto di amministrazione per gestire le prenotazioni. Oltre alle autorizzazioni precedenti, è necessaria anche una delle seguenti autorizzazioni IAM per l'organizzazione per visualizzare i dati a livello di organizzazione o per il progetto per visualizzare i dati a livello di progetto:
bigquery.jobs.listExecutionMetadata(può essere applicato solo a livello di organizzazione)bigquery.jobs.listAll(può essere applicato sia a livello di organizzazione che di progetto)
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per utilizzare lo strumento di stima degli slot:
roles/bigquery.adminroles/bigquery.resourceAdminroles/bigquery.resourceEditorroles/bigquery.resourceViewer
Per visualizzare i suggerimenti per gli slot dell'impegno, sono necessarie anche le autorizzazioni descritte in Visualizzare i suggerimenti per gli slot della versione.
Per ulteriori informazioni sui ruoli IAM in BigQuery, vedi Ruoli e autorizzazioni predefiniti.
Visualizza capacità e utilizzo degli slot
Per visualizzare la capacità e l'utilizzo degli slot nel tempo, vai allo strumento di stima degli slot:
Nella console Google Cloud, apri la pagina BigQuery.
Seleziona il progetto di amministrazione.
- Nella parte superiore della pagina, fai clic sull'elenco a discesa Seleziona da.
- Nella finestra Seleziona dalla finestra che viene visualizzata, seleziona il tuo progetto.
Nel pannello di navigazione, vai alla sezione Gestione della capacità.
Fai clic sulla scheda Strumento per la stima degli slot.
Il grafico sull'utilizzo mostra la capacità e l'utilizzo degli slot negli ultimi 30 giorni, calcolati con granularità oraria.
La scheda Utilizzo e utilizzo in percentuale mostra l'utilizzo degli slot come percentuale di utilizzo degli slot per il numero massimo di slot.
La scheda Utilizzo e utilizzo per capacità mostra il numero massimo di slot e l'utilizzo come valori assoluti.
Puoi scegliere una versione o un'opzione on demand dal menu a discesa Origine per visualizzare le statistiche relative a ambiti diversi. Se selezioni una versione, il menu a discesa Prenotazione viene inserito con le prenotazioni pertinenti.
Per le opzioni on demand, puoi scegliere un singolo progetto o l'intera organizzazione dal menu a discesa Suggerimenti per se disponi delle autorizzazioni a livello di organizzazione. La pagina Strumento per la stima degli slot mostra le informazioni a livello di progetto solo se disponi solo di autorizzazioni a livello di progetto.
Le statistiche relative alla scheda Utilizzo e utilizzo per capacità potrebbero variare leggermente in base a ambiti diversi:
- Per l'origine della versione, mostra il numero massimo di slot disponibili per l'intera versione, gli slot di impegno, la somma degli slot di riferimento, l'utilizzo medio degli slot, l'utilizzo degli slot P99 e l'utilizzo degli slot P50.
- Per una prenotazione specifica, mostra il numero massimo di slot di prenotazione, gli slot di riferimento, l'utilizzo medio degli slot, l'utilizzo degli slot P99 e l'utilizzo degli slot P50.
- Per l'origine on demand, mostra l'utilizzo medio degli slot, l'utilizzo degli slot P99 e l'utilizzo degli slot P50.
Prestazioni degli slot modello
Quando è selezionata una prenotazione, puoi utilizzare lo strumento di stima degli slot per visualizzare i dati sulle prestazioni del job e modellare l'effetto della modifica del numero massimo di slot. Lo strumento di stima degli slot consente di modellare le modalità di variazione delle prestazioni a diversi livelli di capacità, che vanno dall'80% del valore minimo della dimensione massima degli slot nel periodo di osservazione al 150% del numero massimo attuale di slot. In altre parole, la diminuzione delle opzioni non può superare il 20% della capacità minima nell'intervallo di tempo di 30 giorni, mentre l'aumento delle opzioni non può superare il 50% della capacità attuale.
I modelli presuppongono una riproduzione del modello di utilizzo dei 30 giorni precedenti, dove tutto rimane invariato, tranne una modifica degli slot.
Il miglioramento delle prestazioni stimato si basa su diversi fattori. I fattori più importanti sono il numero di slot nel modello e la proporzione di job in ogni bucket percentile eseguiti durante i periodi di picco rispetto ai periodi normali. I periodi di picco sono definiti come periodi di utilizzo di quasi tutti gli slot. I job in esecuzione in questi periodi sono maggiormente influenzati dalla contesa degli slot e, di conseguenza, registrano il maggior miglioramento delle prestazioni da slot aggiuntivi. Di conseguenza, bucket diversi di job possono vedere effetti diversi da un aumento della stessa capacità, a seconda di quando vengono eseguiti.
Per configurare le prestazioni degli slot del modello, segui questi passaggi:
Nella console Google Cloud, apri la pagina BigQuery.
Seleziona il progetto di amministrazione.
- Nella parte superiore della pagina, fai clic sull'elenco a discesa Seleziona da.
- Nella finestra Seleziona dalla finestra che viene visualizzata, seleziona il tuo progetto.
Nel pannello di navigazione, vai alla sezione Gestione della capacità.
Fai clic sulla scheda Strumento per la stima degli slot.
Nel menu a discesa Prenotazione, seleziona una determinata prenotazione. Il modello include il numero di slot inattivi che la prenotazione è riuscita a prendere in prestito in un determinato momento.
Nel menu a discesa Modello con slot aggiuntivi sul numero massimo di slot, seleziona uno o più valori degli slot da modellare e fai clic su OK.
La tabella in Modifiche delle prestazioni del job con slot aggiuntivi mostra i dati sulle prestazioni del job degli ultimi 30 giorni, insieme alla variazione stimata delle prestazioni derivante dall'aumento o dalla diminuzione del numero massimo di slot. I dati vengono raggruppati in percentuali in base alla durata del job per tutti i job eseguiti nel periodo di tempo selezionato. La colonna indicata dall'icona della lampadina corrisponde al consiglio di miglioramento delle prestazioni per la prenotazione selezionata.
I dati sul rendimento sono suddivisi per percentile. La tabella suddivide i dati in al massimo 12 bucket: da P10 a P90, più P95, P99 e P100. Il bucket P100 rappresenta l'1% dei job che hanno richiesto più tempo di esecuzione; P99 include la percentuale superiore dal 96% al 99%; P95 include la percentuale superiore dal 91% al 95%; P90 include dall'81% al 90% e così via. A seconda dei dati, la tabella potrebbe raggrupparli in meno bucket. In questo caso, la tabella contiene meno righe.
Per ogni bucket percentile, la tabella mostra le seguenti informazioni:
- Percentile durata job: il bucket percentile per questa riga.
- Durata media del job: il tempo medio impiegato per l'esecuzione dei job nel bucket percentile.
- Numero di job: il numero di job nel bucket percentile.
- Per ogni modello, la durata media stimata per i job in quel percentile.
La tabella elenca anche una stima della "variazione di 30 giorni" per ciascun modello. Questo valore corrisponde alla variazione stimata nelle ore totali trascorse a elaborare i job nella cronologia di 30 giorni con capacità slot diverse.
Comprendere i risultati della modellazione con l'utilizzo degli slot
Per le prenotazioni a capacità fissa, se è abilitata la condivisione di slot inattivi, i job in quella prenotazione possono prendere in prestito gli slot inattivi da altre prenotazioni. Di conseguenza, l'utilizzo può superare il 100% degli slot allocati. Se una prenotazione prende costantemente in prestito slot inattivi da altre prenotazioni, questo potrebbe essere un segnale per aumentare la dimensione della prenotazione. Se invece una prenotazione utilizza raramente la sua completa capacità, potrebbe essere troppo grande.
Le prenotazioni che utilizzano la scalabilità automatica utilizzano e aggiungono slot con la priorità seguente:
- Slot di riferimento.
- Condivisione di slot inattivi (se abilitata).
- Slot a scalabilità automatica.
Se una prenotazione con scalabilità automatica sta esaurendo costantemente gli slot di scalabilità automatica, questo potrebbe indicare l'aumento del numero massimo di slot di prenotazione. Per informazioni sulla visualizzazione dell'utilizzo degli slot, consulta Visualizzare i grafici delle risorse amministrative.
Prezzi
Puoi usare lo strumento di stima degli slot senza costi aggiuntivi.