Che cos'è BigQuery?
BigQuery è un data warehouse aziendale completamente gestito che semplifica la gestione e l'analisi dei dati grazie a funzionalità integrate come machine learning, analisi geospaziale e business intelligence. L'architettura serverless di BigQuery ti consente di utilizzare le query SQL per rispondere alle principali domande della tua organizzazione senza il bisogno di gestire alcuna infrastruttura. Il motore di analisi scalabile e distribuito di BigQuery ti consente di eseguire query su terabyte nell'ordine di secondi e petabyte in pochi minuti.
BigQuery massimizza la flessibilità separando il motore di calcolo che analizza i tuoi dati rispetto alle tue scelte di archiviazione. Puoi archiviare e analizzare i dati all'interno di BigQuery oppure utilizzare BigQuery per valutarli ovunque si trovino. Le query federate consentono di leggere i dati da origini esterne, mentre lo streaming supporta aggiornamenti continui dei dati. Strumenti potenti come BigQuery ML e BI Engine ti consentono di analizzare e comprendere questi dati.
Le interfacce BigQuery includono l'interfaccia della console Google Cloud e lo strumento a riga di comando di BigQuery. Gli sviluppatori e i data scientist possono utilizzare le librerie client con una programmazione familiare, tra cui Python, Java, JavaScript e Go, nonché l'API REST e l'API RPC di BigQuery per trasformare e gestire i dati. I driver ODBC e JDBC consentono l'interazione con applicazioni esistenti, tra cui utilità e strumenti di terze parti.
In qualità di analista di dati, data engineer, amministratore di data warehouse o data scientist, la documentazione di BigQuery ML ti aiuta a scoprire, implementare e gestire gli strumenti di dati al fine di prendere decisioni aziendali critiche.
Inizia a utilizzare BigQuery
Puoi iniziare a esplorare BigQuery in pochi minuti. Sfrutta il livello di utilizzo gratuito o la sandbox senza costi di BigQuery per iniziare a caricare ed eseguire query sui dati.
- Sandbox di BigQuery: inizia a utilizzare la sandbox di BigQuery, senza rischi e senza costi.
- Guida rapida alla console Google Cloud: scopri la potenza della console BigQuery.
- Set di dati pubblici: scopri le prestazioni di BigQuery esplorando dati reali di grandi dimensioni provenienti dal programma per i set di dati pubblici.
Esplora BigQuery
L'infrastruttura serverless di BigQuery ti consente di concentrarti sui dati anziché sulla gestione delle risorse. BigQuery combina un data warehouse basato su cloud e potenti strumenti di analisi.
Archiviazione BigQuery
BigQuery archivia i dati utilizzando un formato di archiviazione a colonne ottimizzato per le query analitiche. BigQuery presenta i dati in tabelle, righe e colonne e fornisce il supporto completo per la semantica delle transazioni di database (ACID). L'archiviazione BigQuery viene replicata automaticamente su più località per garantire un'alta disponibilità.
- Scopri di più sui pattern comuni per organizzare le risorse BigQuery nel data warehouse e nei data mart.
- Scopri di più sui set di dati, il container di livello superiore delle tabelle e delle viste di BigQuery.
- Carica i dati in BigQuery con:
- Streaming dei dati con l'API Storage Write.
- Caricamento batch di dati da file locali o Cloud Storage tramite formati che includono: Avro, Parquet, ORC, CSV, JSON, Datastore e Firestore.
- BigQuery Data Transfer Service automatizza l'importazione dei dati.
Per ulteriori informazioni, consulta la panoramica dello spazio di archiviazione di BigQuery.
Analisi di BigQuery
Gli utilizzi dell'analisi descrittiva e prescrittiva includono business intelligence, analisi ad hoc, analisi geospaziali e machine learning. Puoi eseguire query sui dati archiviati in BigQuery o eseguire query sui dati in cui si trovano utilizzando tabelle esterne o query federate, tra cui Cloud Storage, Bigtable, Spanner o Fogli Google archiviati su Google Drive.
- Query SQL standard ANSI (supporto SQL 2011), tra cui il supporto per join, campi nidificati e ripetuti, funzioni analitiche e di aggregazione, query con più dichiarazioni e una serie di funzioni spaziali con analisi geospaziali - Geographic Information Systems.
- Crea viste per condividere la tua analisi.
- Supporto di strumenti di business intelligence, tra cui BI Engine con Looker Studio, Looker, Fogli Google e strumenti di terze parti come Tableau e Power BI.
- BigQuery ML fornisce modelli di machine learning e analisi predittiva.
- Esegui query su dati al di fuori di BigQuery con tabelle esterne e query federate.
Per ulteriori informazioni, consulta Panoramica di BigQuery Analytics.
Amministrazione di BigQuery
BigQuery offre la gestione centralizzata delle risorse di calcolo e dei dati, mentre Identity and Access Management (IAM) ti aiuta a proteggere queste risorse con il modello di accesso utilizzato in Google Cloud. Le best practice per la sicurezza di Google Cloud offrono un approccio solido ma flessibile che può includere la tradizionale sicurezza del perimetro o un approccio di difesa in profondità più complesso e granulare.
- L'introduzione alla sicurezza e alla governance dei dati ti aiuta a comprendere la governance dei dati e i controlli di cui potresti aver bisogno per proteggere le risorse BigQuery.
- I job sono azioni che BigQuery esegue per tuo conto per caricare, esportare, eseguire query o copiare dati.
- Le prenotazioni consentono di passare dai prezzi on demand al modello a costo fisso.
Per ulteriori informazioni, consulta Introduzione all'amministrazione di BigQuery.
Risorse di BigQuery
Esplora le risorse BigQuery:
- Le note di rilascio forniscono log delle modifiche per funzionalità, modifiche e ritiri.
Prezzi per l'analisi e l'archiviazione. Consulta anche i prezzi dei prodotti BigQuery ML, BI Engine e Data Transfer Service.
Le località definiscono dove crei e archivi i set di dati (località a livello di una o più aree geografiche).
I pattern di riferimento di analisi intelligenti forniscono link a codici di esempio e guide di riferimento tecniche per i casi d'uso comuni di analisi, tra cui le best practice per lo sviluppo di funzionalità di analisi comuni.
Stack Overflow ospita una community di sviluppatori e analisti coinvolti che utilizzano BigQuery.
L'assistenza BigQuery fornisce supporto per BigQuery.
Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning to Scale di Valliappa Lakshmanan e Jordan Tigani, spiega come funziona BigQuery e fornisce una procedura dettagliata end-to-end su come utilizzare il servizio.
API, strumenti e riferimenti
Materiali di riferimento per sviluppatori e analisti di BigQuery:
- Sintassi delle query SQL per dettagli sull'utilizzo di Google Standard SQL.
- L'API BigQuery e le librerie client presentano una panoramica delle funzionalità di BigQuery e del loro utilizzo.
- Gli esempi di codice BigQuery forniscono centinaia di snippet per le librerie client in C#, Go, Java, Node.js, Python e Ruby. In alternativa, visualizza il browser di esempio.
- La sintassi DML, DDL e user-defined Functions (UDF) ti consente di gestire e trasformare i tuoi dati BigQuery.
- Il riferimento per lo strumento a riga di comando bq documenta la sintassi, i comandi, i flag e gli argomenti per l'interfaccia a riga di comando di
bq. - Integrazione di ODBC/JDBC connettere BigQuery agli strumenti e all'infrastruttura esistenti.
Ruoli e risorse BigQuery
BigQuery risponde alle esigenze dei professionisti dei dati in relazione ai ruoli e alle responsabilità indicati di seguito.
Analista dati
Indicazioni per le attività che possono esserti di aiuto se devi fare quanto segue:
- Esegui query su dati BigQuery utilizzando query interattive o batch con la sintassi delle query SQL
- Espressioni, funzioni e operatori SQL di riferimento per eseguire query sui dati
Utilizza gli strumenti per analizzare e visualizzare i dati BigQuery, tra cui: Looker, Looker Studio e Fogli Google.
Utilizza l'analisi geospaziale per analizzare e visualizzare i dati geospaziali con i sistemi informativi geografici di BigQuery.
Ottimizzare le prestazioni delle query utilizzando:
- Tabelle partizionate: Prune tabelle di grandi dimensioni in base a intervalli di tempo o interi.
- Viste materializzate: definisci le visualizzazioni memorizzate nella cache per ottimizzare le query o fornire risultati permanenti.
- BI Engine: il servizio rapido di analisi in memoria di BigQuery.
Per fare un tour delle funzionalità di analisi dei dati di BigQuery direttamente nella console Google Cloud, fai clic su Fai un tour.
Amministratore dati
Indicazioni per le attività che possono esserti di aiuto se devi fare quanto segue:
- Gestisci i costi con le prenotazioni per bilanciare i prezzi on demand e a costo fisso.
- Informazioni sulla sicurezza e sulla governance dei dati per proteggere i dati in base a set di dati, tabella, colonna, riga o visualizzazione
- Esegui il backup dei dati con gli snapshot delle tabelle per conservare i contenuti di una tabella in un determinato momento.
- Visualizza BigQuery INFORMATION_SCHEMA per comprendere i metadati di set di dati, job, controllo dell'accesso, prenotazioni, tabelle e altro ancora.
- Utilizzare Jobs per consentire a BigQuery di caricare, esportare, eseguire query o copiare dati per conto tuo.
- Monitora log e risorse per comprendere BigQuery e i carichi di lavoro.
Per ulteriori informazioni, consulta Introduzione all'amministrazione di BigQuery.
Data scientist
Guida alle attività per aiutarti se devi utilizzare il machine learning di BigQuery ML per eseguire le seguenti operazioni:
- Comprendere il percorso utente end-to-end per i modelli di machine learning
- Gestisci il controllo dell'accesso per BigQuery ML
- Crea e addestra modelli BigQuery ML
tra cui:
- Previsioni di regressione lineare
- Classificazioni di regressioni logistiche binarie e multiclassi
- Clustering K per la segmentazione dei dati
- Serie temporali previsioni con i modelli Arima+
Sviluppatore dati
Indicazioni per le attività che possono esserti di aiuto se devi fare quanto segue:
- Carica i dati in BigQuery con:
Browser di esempio Google Cloud (ambito per BigQuery)
Tutorial video su BigQuery
La seguente serie di tutorial video ti permette di iniziare a utilizzare BigQuery:
Qualifica |
Descrizione |
|---|---|
| Come iniziare a utilizzare BigQuery (17:18) | Una panoramica che riassume cos'è BigQuery e come utilizzarlo. I segmenti includono: pipeline ETL, prezzi e ottimizzazione, BigQuery ML e BI Engine e conclusione di una demo di BigQuery in Google Cloud Console. |
| Che cos'è BigQuery? (04:39) | una panoramica di BigQuery su come BigQuery è progettato per importare e archiviare grandi quantità di dati per aiutare analisti e sviluppatori |
| Utilizzare la sandbox di BigQuery (3:05) | Come configurare una sandbox di BigQuery per eseguire query senza bisogno di una carta di credito |
| Fare domande, eseguire query (5:11) | Come scrivere ed eseguire query SQL nell'interfaccia utente di BigQuery e scegliere un numero di maglia vincente |
| Caricamento di dati in BigQuery (5:31) | Come importare e analizzare i dati in tempo reale o un'analisi collettiva dei dati in aggiunta ai gatti e ai cani |
| Visualizzazione dei risultati delle query (5:38) | In che modo la visualizzazione dei dati è utile per semplificare la comprensione e l'internalizzazione di set di dati complessi |
| Gestione dell'accesso con IAM (5:23) | Come consentire ad altri utenti di eseguire query sui tuoi set di dati in BigQuery con autorizzazioni IAM e controllo dell'accesso |
| Salvataggio e condivisione di query (6:17) | Come salvare e condividere le query in BigQuery senza problemi |
| Protezione dei dati sensibili con le viste autorizzate (7:12) | Come condividere facilmente set di dati con utenti diversi impostando controlli di accesso personalizzati |
| Esecuzione di query sui dati esterni con BigQuery (5:49) | Come configurare un'origine dati esterna in BigQuery ed eseguire query sui dati da Cloud Storage, Cloud SQL, Google Drive e altro ancora |
| Che cosa sono le funzioni definite dall'utente? (04:59) | Come creare funzioni definite dall'utente (UDF) per analizzare i set di dati in BigQuery |
Passaggi successivi
- Per una panoramica dello spazio di archiviazione di BigQuery, consulta Panoramica dello spazio di archiviazione di BigQuery.
- Per una panoramica delle query BigQuery, consulta Panoramica delle analisi BigQuery.
- Per una panoramica dell'amministrazione di BigQuery, consulta Introduzione all'amministrazione di BigQuery.
- Per una panoramica della sicurezza di BigQuery, vedi Panoramica sulla sicurezza e la governance dei dati.