Stima i requisiti di capacità degli slot
Quando acquisti slot riservati in BigQuery, devi stimare il numero corretto di slot per il tuo carico di lavoro specifico. Lo strumento di stima degli slot BigQuery ti aiuta a gestire la capacità degli slot in base alle metriche delle prestazioni storiche.
Puoi utilizzare lo strumento per la stima degli slot per le versioni, le prenotazioni e i carichi di lavoro on demand per eseguire le seguenti attività:
Per i carichi di lavoro della versione selezionata:
- Visualizza i dati sulla capacità e sull'utilizzo degli slot negli ultimi 30 giorni e identifica i periodi di picco di utilizzo quando vengono utilizzati più slot.
- Visualizza suggerimenti ottimali per i costi per gli slot con impegno e scalabilità automatica con prestazioni simili.
- Visualizza le impostazioni di prenotazione correnti per una versione specifica.
Per carichi di lavoro di prenotazione specifici:
- Visualizza i dati sulla capacità e sull'utilizzo degli slot negli ultimi 30 giorni e identifica i periodi di picco di utilizzo quando vengono utilizzati più slot.
- Visualizza i percentile della latenza dei job (P90, P95 e così via) per comprendere il rendimento delle query.
- Modella l'impatto sull'aumento o sulla riduzione degli slot di prenotazione massima sul rendimento.
Per i workload con fatturazione on demand:
- Visualizza i dati sull'utilizzo degli slot on demand dell'intera organizzazione o di un singolo progetto negli ultimi 30 giorni.
- Visualizza consigli ottimali per i costi per gli slot con impegno e di scalabilità automatica con prestazioni simili se passi alla versione Enterprise.
I clienti che utilizzano la versione Enterprise, la versione Enterprise Plus o la fatturazione on demand possono utilizzare il consigliatore di slot BigQuery per visualizzare l'utilizzo degli slot, ottimizzare gli impegni e migliorare le prestazioni. Per ulteriori informazioni, vedi Visualizzare i consigli per gli slot di versione.
Limitazioni
- I dati sono limitati agli ultimi 30 giorni.
- I modelli non includono i compiti
ML_EXTERNAL. Se una percentuale elevata dei tuoi slot viene utilizzata per le assegnazioniML_EXTERNAL, i risultati modellati sono meno accurati.
Prima di iniziare
Concedi i ruoli IAM (Identity and Access Management) che concedono agli utenti le autorizzazioni necessarie per eseguire ogni attività in questo documento.
Autorizzazioni obbligatorie
Per utilizzare lo stimatore di slot per i dati sulle prenotazioni, devi disporre delle seguenti autorizzazioni IAM nel progetto di amministrazione:
bigquery.reservations.listbigquery.reservationAssignments.listbigquery.capacityCommitments.list
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per utilizzare lo stimatore di slot:
roles/bigquery.adminroles/bigquery.resourceAdminroles/bigquery.resourceEditorroles/bigquery.resourceViewerroles/bigquery.user
Per utilizzare lo stimatore di slot per i dati di utilizzo on demand, devi abilitare l'API Reservations in un progetto che intendi utilizzare come progetto di amministrazione per gestire le prenotazioni. Oltre alle autorizzazioni sopra indicate, per visualizzare i dati a livello di organizzazione o di progetto devi disporre anche di una delle seguenti autorizzazioni IAM per la tua organizzazione:
bigquery.jobs.listExecutionMetadata(può essere applicato solo a livello di organizzazione)bigquery.jobs.listAll(può essere applicato sia a livello di organizzazione che di progetto)
Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per utilizzare lo stimatore di slot:
roles/bigquery.adminroles/bigquery.resourceAdminroles/bigquery.resourceEditorroles/bigquery.resourceViewer
Per visualizzare i consigli per gli slot di impegno, devi disporre anche delle autorizzazioni descritte in Visualizzare i consigli per gli slot di edizione.
Per ulteriori informazioni sui ruoli IAM in BigQuery, consulta Ruoli e autorizzazioni predefiniti.
Visualizzare la capacità e l'utilizzo degli slot
Per visualizzare la capacità e l'utilizzo degli slot nel tempo, vai allo stimatore degli slot:
Nella console Google Cloud, apri la pagina BigQuery.
Seleziona il tuo progetto di amministrazione.
- Fai clic sull'elenco a discesa Seleziona da nella parte superiore della pagina.
- Nella finestra Seleziona da visualizzata, seleziona il tuo progetto.
Nel pannello di navigazione, vai alla sezione Gestione della capacità.
Fai clic sulla scheda Stimatore di slot.
Il grafico di utilizzo mostra la capacità e l'utilizzo degli slot negli ultimi 30 giorni, calcolati con granularità oraria.
La scheda Utilizzo e utilizzo in percentuale mostra l'utilizzo degli slot come percentuale dell'utilizzo degli slot in base agli slot massimi.
La scheda Utilizzo e utilizzo in base alla capacità mostra gli slot e l'utilizzo massimi come valori assoluti.
Puoi scegliere una versione o un'opzione on demand dal menu a discesa Origine per visualizzare le statistiche per diversi ambiti. Se selezioni una versione, il menu a discesa Prenotazione viene compilato con le prenotazioni pertinenti.
Per le opzioni on demand, puoi scegliere un singolo progetto o l'intera organizzazione dal menu a discesa Consigli per se disponi delle autorizzazioni a livello di organizzazione. La pagina di stima degli slot mostra le informazioni a livello di progetto solo se disponi di autorizzazioni a questo livello.
Le statistiche della scheda Utilizzo e utilizzo in base alla capacità possono variare leggermente in base a un ambito diverso:
- Per l'origine dell'edizione, vengono mostrati gli slot massimi disponibili per l'intera edizione, gli slot di impegno, la somma degli slot di base, l'utilizzo medio degli slot, l'utilizzo degli slot P99 e l'utilizzo degli slot P50.
- Per una prenotazione specifica, vengono mostrati gli slot di prenotazione massimi, gli slot di riferimento, l'utilizzo medio degli slot, l'utilizzo degli slot P99 e l'utilizzo degli slot P50.
- Per la sorgente on demand, vengono mostrati l'utilizzo medio dello slot, l'utilizzo dello slot P99 e l'utilizzo dello slot P50.
Prestazioni dello slot del modello
Quando è selezionata una prenotazione, puoi utilizzare lo stimatore di slot per visualizzare i dati sulle prestazioni del job e per modellare l'effetto della modifica del numero di slot massimi. Lo stimatore degli slot ti consente di modellare la possibile variazione del rendimento a diversi livelli di capacità, dall'80% del valore minimo della dimensione massima degli slot nel periodo di osservazione al 150% degli slot massimi attuali. In altre parole, la diminuzione delle opzioni non può superare il 20% della capacità minima del periodo di 30 giorni, mentre l'aumento delle opzioni non può superare il 50% della capacità attuale.
I modelli presuppongono la riproduzione del pattern di utilizzo degli ultimi 30 giorni, in cui tutto rimane invariato, tranne per una modifica degli slot.
Il miglioramento del rendimento stimato si basa su diversi fattori. I fattori più importanti sono il numero di slot nel modello e la proporzione di job in ogni bucket percentile eseguiti durante i periodi di picco rispetto ai periodi regolari. I periodi di picco sono definiti come durate in cui sono stati utilizzati quasi tutti gli slot. I job eseguiti durante questi periodi sono maggiormente interessati dalla contesa degli slot e, pertanto, registrano il maggiore guadagno in termini di prestazioni dagli slot aggiuntivi. Di conseguenza, diversi bucket di job possono registrare effetti diversi dall'aumento della stessa capacità, a seconda di quando vengono eseguiti.
Per modellare il rendimento degli slot:
Nella console Google Cloud, apri la pagina BigQuery.
Seleziona il tuo progetto di amministrazione.
- Fai clic sull'elenco a discesa Seleziona da nella parte superiore della pagina.
- Nella finestra Seleziona da visualizzata, seleziona il tuo progetto.
Nel pannello di navigazione, vai alla sezione Gestione della capacità.
Fai clic sulla scheda Stimatore di slot.
Nel menu a discesa Prenotazione, seleziona una prenotazione specifica. Il modello include il numero di slot inattivi che la prenotazione è riuscita a prendere in prestito in un determinato momento.
Nel menu a discesa Modello con slot aggiuntivi oltre il numero massimo di slot, seleziona uno o più valori degli slot da modellare e fai clic su OK.
La tabella in Modifiche alle prestazioni del job con slot aggiuntivi mostra i dati sulle prestazioni dei job degli ultimi 30 giorni, insieme alla variazione stimata delle prestazioni dovuta all'aumento o alla diminuzione degli slot massimi. I dati sono raggruppati in percentuale in base alla durata del job per tutti i job eseguiti nell'intervallo di tempo selezionato. La colonna indicata dall'icona a forma di lampadina corrisponde al consiglio per il miglioramento del rendimento per la prenotazione selezionata.
I dati sul rendimento sono suddivisi per percentile. La tabella suddivide i dati in massimo 12 bucket: da P10 a P90, più P95, P99 e P100. Il bucket P100 rappresenta l'1% dei job che hanno richiesto più tempo per l'esecuzione; P99 include il 96-99% migliore; P95 include il 91-95% migliore; P90 include l'81-90% migliore e così via. A seconda dei dati, la tabella potrebbe raggrupparli in meno bucket. In questo caso, la tabella contiene meno righe.
Per ogni bucket percentile, la tabella mostra le seguenti informazioni:
- Percentile della durata del job: il bucket percentile per questa riga.
- Durata media del job: il tempo medio impiegato per l'esecuzione dei job nel bucket del percentile.
- Numero di job: il numero di job nel bucket del percentile.
- Per ogni modello, la durata media stimata per i job in quel percentile.
La tabella elenca anche una statistica stimata "Modifica in 30 giorni" per ogni modello. Questo valore corrisponde alla variazione stimata delle ore totali impiegate per l'elaborazione dei job nella cronologia di 30 giorni con diverse capacità dello slot.
Informazioni sui risultati della definizione del modello con l'utilizzo degli slot
Per le prenotazioni con capacità fissa, se la condivisione degli slot inattivi è abilitata, i job di quella prenotazione possono prendere in prestito slot inattivi da altre prenotazioni. Di conseguenza, l'utilizzo può superare il 100% degli slot allocati. Se una prenotazione prende regolarmente in prestito slot inattivi da altre prenotazioni, potrebbe essere un segnale per aumentare le dimensioni della prenotazione. Al contrario, se una prenotazione utilizza raramente la sua piena capacità, potrebbe essere troppo grande.
Le prenotazioni che utilizzano la scalabilità automatica utilizzano e aggiungono gli slot con la seguente priorità:
- Slot di riferimento.
- Condivisione di slot inattivi (se abilitata).
- Slot a scalabilità automatica.
Se una prenotazione con scalabilità automatica raggiunge costantemente il numero massimo di slot con scalabilità automatica, questo potrebbe essere un segnale per aumentare il numero massimo di slot di prenotazione. Per informazioni su come visualizzare l'utilizzo degli slot, vedi Visualizzare i grafici delle risorse amministrative.
Prezzi
Puoi utilizzare lo stimatore di slot senza costi.