Introduzione all'amministrazione di BigQuery

Questo documento fornisce un'introduzione alle attività di amministrazione di BigQuery e alle funzionalità di BigQuery che ti aiutano a completarle.

In genere, gli amministratori di BigQuery eseguono i seguenti tipi di attività:

  • Gestisci le risorse, ad esempio progetti, set di dati e tabelle.
  • Proteggi le risorse in modo che l'accesso sia limitato alle entità che ne hanno bisogno.
  • Gestisci i carichi di lavoro, ad esempio job, query e capacità di calcolo (prenotazioni).
  • Monitora le risorse, tra cui quote, job e utilizzo dell'elaborazione.
  • Ottimizza i workload per ottenere le migliori prestazioni e controlla i costi.
  • Risolvi i problemi relativi a messaggi di errore, fatturazione e quote.

Questo documento fornisce una panoramica delle funzionalità di BigQuery per aiutarti a svolgere queste attività.

Per fare un tour delle funzionalità di amministrazione dei dati di BigQuery direttamente nella console Google Cloud, fai clic su Fai il tour.

Inizia la presentazione

Strumenti

BigQuery fornisce diverse interfacce che puoi utilizzare per le attività di amministrazione. Spesso una determinata attività può essere eseguita con più strumenti, consentendoti di scegliere quello più adatto alle tue esigenze. Ad esempio, puoi creare una tabella utilizzando il riquadro Esplora nella console Google Cloud, un comando bq mk --table o un'istruzione SQL CREATE TABLE.

  • Console Google Cloud. La console Google Cloud ha diverse pagine dedicate all'amministrazione di BigQuery. Per ulteriori informazioni, consulta Utilizzare la console Google Cloud.

  • Istruzioni SQL. La pagina BigQuery nella console Google Cloud include un editor di query in cui puoi svolgere attività amministrative utilizzando istruzioni DDL e DCL. Per ulteriori informazioni, consulta Data Definition Language (DDL) e Data Control Language (DCL).

    Puoi utilizzare le stored procedure per automatizzare le attività di amministrazione che utilizzano statement SQL. Per ulteriori informazioni, consulta Utilizzare le procedure memorizzate.

  • Comandi bq. Lo strumento a riga di comando bq ti consente di eseguire molte attività amministrative utilizzando i comandi bq. Puoi utilizzare lo strumento a riga di comando bq per eseguire attività non supportate nella console Google Cloud, per creare un prototipo delle funzionalità prima di codificarle in query o metodi API o se preferisci lavorare in un'interfaccia a riga di comando. Per saperne di più, consulta Utilizzare lo strumento a riga di comando bq.

Gestisci risorse

Le risorse BigQuery includono organizzazioni, cartelle, progetti, set di dati e tabelle. Questa sezione descrive come gestire le risorse della tua organizzazione.

Per informazioni sulla gerarchia delle risorse di BigQuery, consulta Organizzare le risorse BigQuery. In particolare, puoi creare una risorsa Organizzazione, che ti consente di svolgere alcune attività, come l'impostazione dei controlli di accesso, a livello di organizzazione.

Gestione dei set di dati

I set di dati sono contenitori di tabelle. Puoi creare tabelle in un set di dati e poi gestirle come gruppo. Ad esempio, puoi configurare la data e l'ora di scadenza predefinita della tabella di un set di dati, che si applica a tutte le tabelle del set di dati, a meno che non la sostituisci. Puoi copiare un gruppo di tabelle creando una copia del relativo set di dati e puoi controllare l'accesso alle tabelle a livello di set di dati.

Per ulteriori informazioni sull'amministrazione dei set di dati, consulta i seguenti documenti:

Gestire le tabelle

In BigQuery, i dati vengono archiviati in tabelle, dove è possibile eseguire query. Puoi creare tabelle, caricare dati in tabelle da vari tipi di origini e in vari formati, partizionare le tabelle in base a una colonna specifica o in base alla data di importazione, raggruppare le tabelle, aggiornare le proprietà delle tabelle ed esportare i dati delle tabelle.

Per saperne di più sull'amministrazione delle tabelle, consulta i seguenti documenti:

Etichetta le risorse

Per organizzare le risorse BigQuery, puoi aggiungere etichette ai set di dati, alle tabelle e alle viste. Le etichette sono coppie chiave-valore che puoi collegare a una risorsa. Dopo aver etichettato le risorse, puoi cercarle in base ai valori delle etichette. Ad esempio, puoi utilizzare le etichette per raggruppare i set di dati per reparto aggiungendo etichette come dept:sales, dept:marketing o dept:analytics. Potresti quindi suddividere gli addebiti fatturati per reparto utilizzando le etichette.

Per ulteriori informazioni, consulta la sezione Introduzione alle etichette.

Visualizzare le informazioni sulle risorse

Puoi ottenere informazioni sulle tue risorse BigQuery eseguendo query sulle viste INFORMATION_SCHEMA. BigQuery fornisce viste per ogni tipo di risorsa. Ad esempio, la vista INFORMATION_SCHEMA.TABLES contiene informazioni sulle tabelle.

Di seguito sono riportati alcuni esempi di informazioni che puoi ottenere eseguendo query sulle visualizzazioniINFORMATION_SCHEMA:

  • Scopri quando è stata creata una tabella.
  • Visualizza i nomi e i tipi di dati di ogni colonna di una tabella.
  • Trova tutti i job in esecuzione in un progetto.
  • Visualizza un elenco degli snapshot delle tabelle creati da una tabella di base.
  • Per un set di dati, una tabella, una vista o una routine, ottieni l'istruzione DDL che può essere utilizzata per creare la risorsa.
  • Recupera le opzioni utilizzate per creare una tabella (ad es. la scadenza della tabella).
  • Trova le colonne di partizionamento e clustering in una tabella.
  • Visualizza la prenotazione assegnata a un progetto e la relativa capacità di slot.

Per ulteriori informazioni, consulta Introduzione a BigQuery INFORMATION_SCHEMA.

Copiare i dati

Potresti voler creare copie dei tuoi dati per vari motivi, ad esempio per proteggerli da errori umani o per conservarli per un confronto futuro. BigQuery offre diverse opzioni per copiare i dati di una tabella da un determinato punto in tempo.

  • Viaggio nel tempo. Potresti dover accedere allo stato di una tabella così com'era in un determinato momento della settimana precedente; ad esempio, se i dati sono stati danneggiati a causa di un errore umano. BigQuery conserva i dati storici per le tabelle per sette giorni. Puoi accedere ai dati storici recenti di una tabella utilizzando la funzionalità di viaggio nel tempo.

    Per ulteriori informazioni, consulta Accedere ai dati storici utilizzando il viaggio nel tempo.

  • Snapshot delle tabelle. Se vuoi poter accedere allo stato di una tabella precedente a una settimana fa, ti consigliamo di creare periodicamente snapshot delle tabelle. Gli snapshot delle tabelle sono copie leggere di sola lettura che ti consentono di conservare lo stato delle tabelle a tempo indeterminato. Con gli snapshot delle tabelle, ad esempio, puoi confrontare i dati attuali di una tabella con quelli dell'inizio dell'anno, il che non è possibile utilizzando il viaggio nel tempo. Ti vengono addebitati solo i costi per l'archiviazione dei dati che differiscono tra la tabella di base e lo snapshot della tabella.

    Per ulteriori informazioni, consulta la pagina Introduzione agli snapshot delle tabelle.

  • Cloni di tabelle. Se vuoi creare una copia leggera e modificabile di una tabella, puoi utilizzare i cloni di tabella. Paghi solo per lo spazio di archiviazione dei dati che differiscono tra una tabella di base e il suo clone. Ad esempio, puoi creare cloni di tabelle in un ambiente di test per eseguire esperimenti con copie dei dati di produzione senza influire sui dati di produzione e senza dover pagare per lo spazio di archiviazione di copie complete delle tabelle.

    Per ulteriori informazioni, consulta Introduzione ai cloni di tabelle.

Monitora la derivazione dei dati

La derivazione dei dati è una funzionalità di Dataplex che consente di monitorare il modo in cui i dati vengono spostati nei sistemi: da dove provengono, dove vengono inviati e a quali trasformazioni sono sottoposti. Per saperne di più su come la derivazione dei dati può aiutarti a monitorare il movimento dei dati nel tuo progetto, consulta Informazioni sulla derivazione dei dati in Dataplex.

Risorse sicure

La sicurezza di BigQuery si basa su Cloud Identity and Access Management di Google. BigQuery ti consente di controllare l'accesso alle tue risorse a molti livelli, tra cui l'accesso all'organizzazione, alle cartelle, ai progetti, ai set di dati, alle tabelle, alle colonne delle tabelle e alle righe delle tabelle.

Per informazioni su come controllare l'accesso alle risorse BigQuery, consulta la Panoramica della governance e della sicurezza dei dati.

Gestire i carichi di lavoro

BigQuery esegue molte attività per conto dei tuoi utenti, tra cui importazione, query ed esportazione dei dati. Ogni attività viene eseguita da un job BigQuery. Questa sezione descrive come monitorare e gestire i job della tua organizzazione.

Gestisci le opportunità di lavoro

I job sono azioni eseguite da BigQuery per conto di un utente per caricare, esportare, eseguire query o copiare i dati. Quando un utente avvia una di queste attività utilizzando la console Google Cloud, lo strumento a riga di comando bq, un istruzione SQL o una chiamata API, BigQuery crea automaticamente un job per eseguire l'attività.

In qualità di amministratore BigQuery, puoi monitorare, gestire e risolvere i problemi dei job della tua organizzazione per assicurarti che funzionino correttamente.

Per ulteriori informazioni, consulta la panoramica dei job.

Gestire le prenotazioni

Quando BigQuery esegue query, utilizza unità di calcolo chiamate slot. BigQuery calcola il numero di slot necessari per eseguire ogni query, a seconda delle dimensioni e della complessità della query.

BigQuery prevede due modelli di prezzi per gli addebiti per gli slot che eseguono le query:

  • Fatturazione on demand. Le tue query utilizzano un pool di slot condivisi e ti viene addebitato il numero di byte elaborati dalle query.
  • Fatturazione basata sulla capacità Assegni un impegno di prenotazione o di capacità a una versione, ciascuna delle quali è dotata del proprio insieme di funzionalità e prezzo per offrirti il miglior ambiente di lavoro.

Questi modelli di prezzi si applicano a ogni progetto, quindi puoi avere alcuni progetti che utilizzano la fatturazione on demand e altri che utilizzano la fatturazione in base alla capacità.

Con la fatturazione on demand, dopo aver utilizzato l'allocazione mensile di utilizzo gratuito, ti viene addebitato il numero di byte elaborati da ogni query. La velocità effettiva è limitata a una quota di slot predefinita, condivisa tra le query eseguite in un progetto.

Con la fatturazione delle versioni di BigQuery, puoi allocare gli slot per la tua organizzazione tramite le prenotazioni con scalabilità automatica e impegni di capacità facoltativi, ma più economici. Gli slot per ogni versione hanno un prezzo diverso e offrono un proprio insieme di funzionalità. Per ulteriori informazioni sulle versioni di BigQuery e sulle funzionalità associate, consulta Introduzione alle versioni di BigQuery.

Per saperne di più sulla gestione della capacità di calcolo per l'elaborazione delle query, consulta i seguenti documenti:

Monitorare le risorse

Google Cloud offre la possibilità di monitorare e controllare le tue risorse, incluse le risorse BigQuery. Questa sezione descrive le funzionalità di monitoraggio e controllo di Google Cloud che si applicano a BigQuery.

Per ulteriori informazioni, consulta Introduzione al monitoraggio di BigQuery.

La dashboard di Cloud Monitoring

Cloud Monitoring fornisce una dashboard per il monitoraggio di BigQuery. Utilizza questa dashboard per visualizzare informazioni su incidenti, set di dati, tabelle, progetti, tempi di query e utilizzo degli slot di BigQuery.

Per ulteriori informazioni, consulta Visualizzare la dashboard Monitoraggio.

Grafici e avvisi per l'amministrazione

Puoi utilizzare Cloud Monitoring per creare grafici personalizzati in base alle risorse, alle metriche e a qualsiasi aggregazione specificata.

Per ulteriori informazioni, consulta Dashboard e grafici.

Puoi anche creare criteri di avviso che ti inviano una notifica se viene attivato l'avviso configurato. Ad esempio, puoi creare un avviso che invia un'email a un indirizzo email specificato se il tempo di esecuzione di una query supera un limite specificato.

Per ulteriori informazioni, consulta la sezione Creare un avviso.

Monitorare le prenotazioni

Puoi monitorare l'utilizzo degli slot nella pagina Gestione della capacità della console Google Cloud. Puoi visualizzare i tuoi impegni di capacità e vedere dove sono state assegnate le prenotazioni degli slot. Puoi anche utilizzare lo strumento di stima degli slot (anteprima) per stimare i requisiti di capacità della tua organizzazione in base alle metriche sul rendimento storiche.

Per ulteriori informazioni, consulta Monitoraggio delle prenotazioni BigQuery.

Quote

Google Cloud imposta limiti all'utilizzo delle risorse, incluse le risorse BigQuery, sia per garantire un utilizzo equo delle risorse condivise sia per proteggerti da costi eccessivi. Puoi visualizzare l'utilizzo delle risorse BigQuery con quote e richiedere una quota più alta, se necessario, utilizzando la console Google Cloud.

Per ulteriori informazioni, consulta Quote e limiti di BigQuery.

Audit log

Cloud Audit Logs mantengono un record degli eventi di Google Cloud, inclusi gli eventi di BigQuery. Puoi utilizzare Esplora log per eseguire query sui log relativi agli eventi correlati a job, set di dati, trasferimenti e altro ancora di BigQuery. La dashboard Log mostra informazioni sugli errori recenti e puoi utilizzare le metriche basate su log per conteggiare le voci di log corrispondenti a un determinato filtro.

Per saperne di più, consulta la documentazione relativa al logging di Google Cloud.

Ottimizza i carichi di lavoro

Puoi ottimizzare la configurazione di BigQuery per controllare sia i costi di archiviazione sia quelli di elaborazione delle query.

Informazioni sull'affidabilità

Questo documento illustra l'affidabilità di BigQuery, incluse informazioni su disponibilità, durabilità, coerenza dei dati, coerenza delle prestazioni e recupero dei dati in BigQuery, nonché una revisione delle considerazioni relative alla gestione degli errori. Per scoprire di più su affidabilità e pianificazione per i disastri, consulta Informazioni sull'affidabilità.

Risoluzione dei problemi

Oltre alle funzionalità descritte in questo documento per il monitoraggio e la gestione del sistema BigQuery della tua organizzazione, sono disponibili le seguenti risorse per la risoluzione dei problemi che potrebbero verificarsi:

Se hai bisogno di ulteriore assistenza, consulta Ricevere assistenza.

Passaggi successivi