Introduzione alla gestione del carico di lavoro

La gestione dei carichi di lavoro di BigQuery ti consente di controllare le risorse e le funzionalità disponibili per l'analisi dei dati nella tua organizzazione, nonché di definire i modelli di fatturazione. La capacità di calcolo di BigQuery, misurata in slot, può essere acquistati nelle prenotazioni e negli impegni che poi assegni nei tuoi per l'esecuzione di job.

BigQuery offre due modelli di gestione dei carichi di lavoro per l'analisi dei dati, noti anche come computing. Con la fatturazione on demand, paghi per il byte elaborati quando esegui una query sui dati. Con la fatturazione in base alla capacità, puoi prenotare la capacità di elaborazione per i carichi di lavoro con la possibilità di eseguire lo scale up e lo scale down automatico della capacità.

Puoi passare da un modello di fatturazione on demand a uno basato sulla capacità in qualsiasi momento oppure puoi scegliere di combinare i due modelli. Il modello basato sulla capacità ti offre controllo esplicito di slot e capacità di elaborazione; il modello on demand .

Compromessi delle prenotazioni.

I seguenti modelli definiscono la modalità di gestione dei carichi di lavoro e la modalità di fatturazione:

  • Prezzi on demand: per impostazione predefinita, ti vengono addebitati i dati analizzati dalle query. Hai una capacità di elaborazione delle query fissa per progetto e paghi solo per il numero di byte elaborati quando li utilizzi.

  • Prezzi basati sulla capacità: acquisti una capacità di elaborazione delle query dedicata o con scalabilità automatica a una tariffa scontata. La capacità viene misurata in slot che puoi allocare ai carichi di lavoro o alle parti della tua organizzazione. La fatturazione basata sulla capacità offre la possibilità di scegliere tra commitments, che ti consentono di impegnarti a mantenere un livello coerente di capacità di elaborazione per un periodo di 3 anni a un prezzo scontato. Non è previsto alcun costo per i byte. quando viene usato il modello basato sulla capacità. I vantaggi della determinazione dei prezzi in base alla capacità includono:

    • Costo. Come best practice, puoi impostare il minimo di dati e analisi mensili da usare come impegno BigQuery basato sulla capacità per ridurre costi aggiuntivi.
    • Prevedibilità. Gli slot basati sulla capacità consentono una maggiore coerenza tariffe mensili.
    • Acquisto centralizzato: puoi acquistare e allocare slot per il tuo l'intera organizzazione invece che per ogni progetto che utilizza in BigQuery.
    • Flessibilità. Puoi scegliere la capacità da allocare a un carico di lavoro o lascia che sia BigQuery a scalare automaticamente in base ai requisiti dei carichi di lavoro. La fatturazione avviene in incrementi di secondo con un periodo di utilizzo minimo di un minuto.

La creazione di un impegno di capacità è facoltativa quando si utilizzano prenotazioni che utilizzano le versioni BigQuery, ma può ridurre i costi per i carichi di lavoro in stato stazionario.

Puoi combinare i modelli di fatturazione. Ad esempio, potresti eseguire alcuni carichi di lavoro con prezzi on demand e altri con prezzi basati sulla capacità. Come responsabile della fatturazione di un modello viene specificato per progetto, è necessario usare più progetti per i tuoi job di query. Per comprendere meglio i prezzi di BigQuery per le prenotazioni, consulta quanto segue:

Slot

La capacità di elaborazione in BigQuery viene misurata in slot. Gli slot rappresentano le CPU virtuali utilizzate per eseguire query sui dati. In generale, l'accesso a un maggior numero di slot consente di eseguire più query simultanee e le query complesse possono essere eseguite più rapidamente. Il modello di determinazione del prezzo in base alla capacità ti consente di prenotare un volume di slot. Le tue query vengono eseguite all'interno di questa capacità e pagherai per questa capacità ogni secondo di cui viene eseguito il deployment. Ad esempio, se acquisti 2000 slotti BigQuery, le query aggregate sono limitate all'utilizzo di 2000 CPU virtuali in un determinato momento. Puoi utilizzare questa capacità fino all'eliminazione e paghi 2000 slot fino all'eliminazione.

Per scoprire di più sugli slot e su come vengono utilizzati, consulta Informazioni sugli slot.

Quote per gli slot

Le quote di slot offrono una protezione per BigQuery. Il tipo di quota dipende dal modello di prezzi degli slot:

  • Modello di prezzo on demand: la quota di slot per progetto con capacità di picco temporaneo è sufficiente per la maggior parte degli utenti. A seconda dei carichi di lavoro, l'accesso a più slot può migliorare le prestazioni delle query. Per verificare quanti slot utilizza il tuo account, consulta Monitoraggio di BigQuery.

  • Modello di prezzi basato sulla capacità: quote e limiti per le prenotazioni definisci il numero massimo di slot che puoi acquistare in una località. Ti vengono addebitati solo le prenotazioni e gli impegni, non le quote.

Per informazioni sull'aumento della quota di slot, vedi Richiedere un aumento della quota.

Prenotazioni

Gli slot vengono acquistati, assegnati alle risorse e allocati ai job nei pool chiamate prenotazioni. Le prenotazioni ti consentono di assegnare gli slot in modo sensato per la tua organizzazione. Ad esempio, puoi creare una prenotazione denominata prod per i carichi di lavoro di produzione e una prenotazione separata denominata test per i test, in modo che i job di test non competano per le risorse dei carichi di lavoro di produzione. Oppure potrebbero creare prenotazioni per diversi reparti dell'organizzazione.

Se acquisti impegni per gli slot prima di creare una prenotazione, viene creata automaticamente una prenotazione denominata default per comodità. La prenotazione default non ha un comportamento speciale. Puoi creare altri se necessario, oppure usa la prenotazione predefinita.

Per informazioni sui prezzi, vedi Prezzi basati sulla capacità e prezzi on demand.

Limitazioni delle prenotazioni

  • Le prenotazioni che crei non vengono condivise con altre organizzazioni.
  • Devi creare una prenotazione e un progetto di amministrazione distinta per ogni organizzazione.
  • Ogni organizzazione può avere un massimo di 10 progetti di amministrazione con impegni attivi in un'unica località.
  • La capacità inattiva non può essere condivisa tra organizzazioni o tra diverse i progetti di amministrazione all'interno di una singola organizzazione.
  • Gli impegni e le prenotazioni sono risorse a livello di regione. Non è possibile utilizzare gli impegni acquistati in una o più regioni in qualsiasi altra regione o regioni multiple, anche quando la località a singola regione è contenuta all'interno della località a più regioni. Ad esempio, non puoi utilizzare un impegno acquistato nella regione con più zone EU per una prenotazione in europe-west1.
  • Gli impegni e le prenotazioni non possono essere spostati da una regione o da una regione a più regioni a un'altra.
  • Gli impegni acquistati in un progetto di amministrazione non possono essere spostati in un un progetto di amministrazione diverso.
  • Gli impegni acquistati con una versione non possono essere utilizzati con le prenotazioni di un'altra versione.
  • Gli slot inattivi non sono condivisi tra prenotazioni di diversi .
  • Gli slot con scalabilità automatica non sono condivisibili perché vengono ridotti quando non sono più necessari.

Assegnazioni di prenotazione

Per utilizzare gli slot acquistati, devi assegnare uno o più progetti, cartelle o organizzazioni a una prenotazione. Una prenotazione è il livello più basso in cui puoi specificare l'assegnazione degli slot. Quando viene eseguito un job in un progetto, vengono utilizzati gli slot della prenotazione assegnata. Le risorse possono ereditare assegnazioni principali nella gerarchia delle risorse. Se un progetto non è assegnato a un prenotazione, eredita l'assegnazione della cartella o dell'organizzazione principale, se qualsiasi.

I progetti utilizzano la singola prenotazione più specifica nella gerarchia delle risorse a cui sono assegnati. Un'assegnazione a una cartella ha la precedenza su un'organizzazione mentre un'assegnazione di progetto sostituisce l'assegnazione a una cartella.

Se un progetto non ha una prenotazione assegnata o ereditata, il job utilizza i prezzi on demand. Per ulteriori informazioni sulla gerarchia delle risorse, consulta Organizzare le risorse di BigQuery.

Le risorse possono essere assegnate a None per rappresentare l'assenza di un compito. I progetti assegnati a None utilizzano sempre i prezzi on demand. Uso comune per le assegnazioni None è assegnare un'organizzazione a una prenotazione e quindi usa None per escludere determinati progetti o cartelle dalla prenotazione. Per per ulteriori informazioni, consulta Assegnare un progetto a None.

Quando crei un compito, specifichi il tipo di prestazione per quel compito:

  • BACKGROUND: utilizza questa prenotazione quando scegli di utilizzare la tua prenotazione per eseguire i job di gestione dell'indice di ricerca BigQuery, BigQuery change data capture (CDC) o i job in background di caching dei metadati BigLake. Utilizza questa prenotazione anche quando replichi i database di origine in BigQuery con le operazioni di applicazione in background di Datastream. Le prenotazioni BACKGROUND non sono disponibili nella versione Standard.

  • CONTINUOUS (anteprima): utilizza questa prenotazione per i job di query continua. Per utilizzare le query continue, devi registrarti all'anteprima della funzionalità.

  • ML_EXTERNAL: utilizza questa prenotazione per BigQuery ML CREA MODELLO che usano servizi esterni a BigQuery. Per maggiori informazioni, consulta Assegnare slot ai carichi di lavoro BigQuery ML. Le prenotazioni di ML_EXTERNAL non sono disponibili nella versione standard.

  • PIPELINE: utilizza questa prenotazione per i job di caricamento ed estrazione.

    Per impostazione predefinita, i job di caricamento ed estrazione sono gratuiti e utilizzano un pool di slot condiviso. BigQuery non garantisce per il pool condiviso o per la velocità effettiva vedere. Se carichi grandi quantità di dati, il job potrebbe attendere slot la disponibilità del servizio. In questo caso, ti consigliamo di acquistare slot dedicati e di assegnarvi i job PIPELINE. Come best practice, crea un'ulteriore una prenotazione dedicata con l'opzione Ignora gli slot inattivi abilitata. Per ulteriori informazioni sugli slot inattivi, vedi Slot inattivi.

    Quando i job di caricamento ed estrazione vengono assegnati a una prenotazione, perdono l'accesso al pool gratuito. Devi monitorare l'utilizzo delle risorse e dei job per assicurarti che le prenotazioni abbiano una capacità sufficiente per avere un rendimento migliore rispetto all'utilizzo del pool gratuito.

  • QUERY: utilizza questa prenotazione per job di query non continui, tra cui query SQL, DDL, DML e BigQuery ML.

Non puoi allocare slot ad assegnazioni specifiche. Il programmatore BigQuery gestisce l'allocazione degli slot per le assegnazioni in una prenotazione. Per maggiori informazioni informazioni su come vengono utilizzati gli slot, consulta Allocazione degli slot all'interno di un prenotazione.

Informazioni sulla gestione dei carichi di lavoro

Le prenotazioni BigQuery sono risorse con ambito a livello di organizzazione che tipicamente di proprietà di un progetto, ma può essere utilizzato da altri progetti all'interno dell'organizzazione. Acquisti le prenotazioni in modo centralizzato per utilizzarle in tutta l'organizzazione. Puoi richiedere la gestione di singoli reparti o divisioni le loro prenotazioni acquistando capacità impegnate assegnando tale capacità al reparto o alla divisione. Il progetto di amministrazione è associato a un account di fatturazione Cloud, a cui viene addebitata la capacità.

Puoi utilizzare un'organizzazione Google Cloud distinta per ciascuno dei tuoi reparti o divisioni. In questo scenario, definisci un progetto di amministrazione per ogni reparto e gestire le prenotazioni per quel reparto di amministrazione di rete. Non è prevista la condivisione della capacità impegnata o inutilizzata tra le organizzazioni.

Gli slot inattivi e non allocati vengono condivisi solo tra le prenotazioni create nello stesso progetto di amministrazione e nella stessa versione. Se utilizzi più di in un progetto di amministrazione, gli slot non vengono condivisi diversi progetti di amministrazione.

Amministra i carichi di lavoro dell'organizzazione

Quando crei impegni e prenotazioni, questi vengono associati a un progetto Google Cloud. Questo progetto gestisce le risorse Prenotazioni BigQuery ed è l'origine principale di fatturazione per queste risorse. Questo progetto non deve necessariamente nello stesso progetto che contiene i tuoi job BigQuery.

Come best practice, crea un progetto dedicato per le risorse Reservations. Questo progetto è chiamato progetto di amministrazione perché centralizza la fatturazione e la gestione dei tuoi impegni. Assegna a questo progetto un nome descrittivo, ad esempio bq-COMPANY_NAME-admin. Poi crea uno o più separati per i job BigQuery.

Solo i progetti all'interno dello stesso Risorsa dell'organizzazione dato che il progetto di amministrazione può essere assegnato a una prenotazione. Se di amministrazione di rete non fa parte di un'organizzazione, solo questo può utilizzare gli slot assegnati al progetto.

Al progetto di amministrazione vengono addebitati i costi per gli slot impegnati. Progetti che utilizzano gli slot delle prenotazioni di proprietà del progetto di amministrazione non vengono addebitati gli slot. Puoi acquistare più di un tipo di piano (ad esempio impegni di un anno e di tre anni) e inserire gli slot nello stesso progetto di amministrazione.

Come best practice, crea un progetto di amministrazione per tutte le prenotazioni. L'utilizzo di un unico progetto di amministrazione semplifica la gestione della fatturazione e dell'allocazione degli slot. Devi abilitare solo BigQuery l'API Reservations nel progetto di amministrazione in modo che tutti gli impegni gestite tramite questo progetto.

Gestione dei carichi di lavoro e dei reparti

Puoi utilizzare BigQuery Reservations per isolare il commit tra diversi carichi di lavoro, team o reparti creando altre e l'assegnazione di progetti a queste prenotazioni. Una prenotazione è un pool isolato di risorse con il vantaggio che può e sfruttare la capacità inattiva nell'intera organizzazione.

Ad esempio, la tua capacità totale impegnata potrebbe essere di 1000 slot tre tipi di carichi di lavoro: data science, ELT e BI.

  • Puoi creare una prenotazione ds con 500 slot e assegnare tutti progetti Google Cloud pertinenti alla prenotazione ds.
  • Puoi creare una prenotazione elt con 300 slot e assegnare progetti che utilizzi per i carichi di lavoro ELT nella prenotazione elt.
  • Puoi creare una prenotazione bi con 200 slot e assegnare progetti connessa ai tuoi strumenti BI alla prenotazione bi.

Eliminazione degli impegni.

Anziché suddividere la capacità tra i carichi di lavoro, puoi scegliere di creare prenotazioni per singoli team o reparti.

Gestione delle prenotazioni in regioni diverse

Le prenotazioni sono una risorsa di regione. Gli slot acquistati e le prenotazioni create in una regione non possono essere utilizzati in un'altra regione. Le località di una singola regione non corrispondenza di località a più regioni, anche se la località a una singola regione è contenuta all'interno di una località multiregionale. Ad esempio, non puoi utilizzare una prenotazione nella regione con più zone EU per eseguire un job in europe-west1. Progetti, cartelle e organizzazioni possono essere assegnati alle prenotazioni in una regione ed eseguiti on demand in un'altra. Per gestire le prenotazioni in un'altra regione:

  1. Nella console Google Cloud, vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu di navigazione, fai clic su Gestione della capacità.

  3. Nell'elenco Località, seleziona una regione in cui vuoi gestire le prenotazioni.

    Dopo aver selezionato una regione, puoi creare prenotazioni, impegni e assegnare un progetto a una prenotazione.

Impegni

Un impegno di capacità è un acquisto di slot per un determinato periodo di tempo. Gli slot possono essere acquistati in incrementi di 100, fino alla tua quota di slot. Gli impegni di capacità sono facoltativi, ma possono offrire risparmi sui costi per i carichi di lavoro in stato stabile. Non esiste un limite al numero di impegni che puoi creare. L'addebito avviene dal momento in cui l'acquisto dell'impegno è andato a buon fine. Per informazioni sui prezzi attuali, consulta i prezzi per l'impegno di capacità.

  • Impegno di tre anni. Acquisti un impegno di tre anni. Puoi scegliere se rinnovare il piano o passare a un altro tipo di piano di impegno dopo 3*365 giorni.

  • Impegno annuale. Acquisti un impegno di 365 giorni. Puoi scegliere se rinnovare il piano o passare a un altro tipo di piano con impegno dopo 365 giorni.

Al termine del periodo di impegno, l'impegno verrà rinnovato in base al piano di rinnovo selezionato.

Ti viene addebitato un importo mensile per i piani con impegno annuale o triennale. Tuttavia, il tuo impegno finanziario è valido per l'intero periodo di impegno e non può essere annullato su base mensile. Il tuo utilizzo viene aggiornato quotidianamente nel report di fatturazione e puoi in qualsiasi momento.

Gli impegni slot sono soggetti alla disponibilità di capacità. Quando tenti di acquistare impegni per gli slot, il completamento di questo acquisto non è garantito. Tuttavia, se l'acquisto dell'impegno va a buon fine, la capacità sarà disponibile fino alla scadenza dell'impegno.

Rinnova impegni

Selezioni un piano di rinnovo quando acquisti un impegno. Puoi modificare il piano di rinnovo di un impegno in qualsiasi momento fino alla scadenza. La sono disponibili i seguenti piani di rinnovo:

  • Nessuno. Al termine del periodo di impegno, l'impegno viene rimosso. Le prenotazioni non sono interessate.
  • Annuale. Al termine del periodo di impegno, l'impegno si rinnova per un altro anno.
  • Tre anni. Al termine del periodo di impegno, l'impegno si rinnova per altri tre anni.

Per informazioni sull'acquisto e sul rinnovo degli impegni, consulta Creare un impegno di capacità.

Ad esempio, se hai acquistato un impegno annuale alle ore 18:00 del 5 ottobre 2019, gli addebiti sono iniziati in quel preciso istante. Puoi eliminare o rinnovare l'impegno dopo le ore 18:00 del 4 ottobre 2020, tenendo presente che il 2020 è un anno bisestile. Puoi modificare i piani di rinnovo prima delle ore 18:00 del 4 ottobre 2020 come segue:

  • Se scegli di rinnovare con un impegno annuale, il 4 ottobre alle 18:00 2020, il tuo impegno si rinnova per un altro anno.
  • Se scegli di rinnovare l'impegno per tre anni, il 4 ottobre 2020 alle ore 18:00 il tuo impegno verrà rinnovato per tre anni.

Nota:la procedura di rinnovo può richiedere fino a un'ora circa dopo il dell'impegno in scadenza. Ad esempio, se un impegno scade alle 18:00 del 4 ottobre 2020, il record dell'impegno rinnovato viene visualizzato nel sistema tra le 18:00 e le 19:00 del 4 ottobre 2020. Nessun addebito on demand viene applicato in questo periodo di aggiornamento dei dati come ora di inizio effettiva per l'impegno creato sono le 18:00.

Scadenza impegno

Dopo aver creato un impegno, puoi eliminarlo solo al termine del periodo di impegno. Per eliminare un impegno annuale o triennale, imposta il relativo piano di rinnovo su NONE. Alla scadenza, l'impegno viene eliminato automaticamente. Per scoprire di più sulle scadenze degli impegni, consulta Scadenza dell'impegno.

Se acquisti accidentalmente un impegno o hai commesso un errore durante la configurazione il tuo impegno, contatta l'assistenza per la fatturazione Cloud.

Passaggi successivi