Che cos'è BigQuery?
BigQuery è un data warehouse aziendale completamente gestito che consente di gestire e analizzare i dati con funzionalità integrate come machine learning, analisi geospaziale e business intelligence. L'architettura serverless di BigQuery consente di utilizzare le query SQL per rispondere alle principali domande della tua organizzazione senza il bisogno di gestire alcuna infrastruttura. Il motore di analisi scalabile e distribuito di BigQuery ti consente di eseguire query su petabyte e secondi in pochi minuti.
BigQuery massimizza la flessibilità separando il Compute Engine che analizza i dati dalle scelte di archiviazione. Puoi archiviare e analizzare i tuoi dati in BigQuery o utilizzare BigQuery per valutarli dove si trovano. Le query federate consentono di leggere i dati da origini esterne mentre il flusso supporta aggiornamenti continui dei dati. Potenti strumenti come BigQuery ML e BI Engine consentono di analizzare e comprendere questi dati.
Le interfacce BigQuery includono l'interfaccia della console Google Cloud e lo strumento a riga di comando di BigQuery. Sviluppatori e data scientist possono utilizzare le librerie client con una programmazione familiare, tra cui Python, Java, JavaScript e Go, nonché l'API REST e l'API RPC di BigQuery per trasformare e gestire i dati. I driver ODBC e JDBC forniscono l'interazione con le applicazioni esistenti, inclusi strumenti e utilità di terze parti.
In qualità di analista di dati, data engineer, amministratore di data warehouse o data scientist, la documentazione di BigQuery ML ti aiuta a scoprire, implementare e gestire gli strumenti per i dati per prendere decisioni aziendali critiche.
Inizia a utilizzare BigQuery
Puoi iniziare a esplorare BigQuery in pochi minuti. Sfrutta il livello di utilizzo gratuito o la sandbox senza costi di BigQuery per iniziare a caricare ed eseguire query sui dati.
- Sandbox di BigQuery: inizia a utilizzare la sandbox di BigQuery senza rischi e senza costi.
- Guida rapida alla console Google Cloud: acquisisci familiarità con la potenza della console BigQuery.
- Set di dati pubblici: scopri le prestazioni di BigQuery esplorando dati reali e di grandi dimensioni dal programma per i set di dati pubblici.
Esplora BigQuery
L'infrastruttura serverless di BigQuery ti consente di concentrarti sui dati anziché sulla gestione delle risorse. BigQuery combina un data warehouse basato su cloud e potenti strumenti di analisi.
Spazio di archiviazione BigQuery
BigQuery archivia i dati utilizzando un formato di archiviazione a colonne ottimizzato per le query analitiche. BigQuery presenta i dati in tabelle, righe e colonne e fornisce il supporto completo per la semantica delle transazioni del database (ACID). L'archiviazione BigQuery viene replicata automaticamente in più località per fornire disponibilità elevata.
- Scopri i pattern comuni per organizzare le risorse BigQuery nel data warehouse e nei data mart.
- Scopri di più sui set di dati, il container di primo livello di BigQuery con tabelle e viste.
- Carica i dati in BigQuery utilizzando:
- Streamare i dati con l'API Storage Write.
- Carica in batch i dati da file locali o Cloud Storage utilizzando formati che includono: Avro, Parquet, ORC, CSV, JSON, Datastore e Firestore.
- BigQuery Data Transfer Service automatizza l'importazione dati.
Per ulteriori informazioni, consulta la panoramica sullo spazio di archiviazione BigQuery.
Analisi di BigQuery
Usi dell'analisi descrittivi e prescrittive includono business intelligence, analisi ad hoc, analisi geospaziale e machine learning. Puoi eseguire query sui dati archiviati in BigQuery o sui dati in cui si trovano utilizzando tabelle esterne o query federate tra cui Cloud Storage, Bigtable, Spanner o Fogli Google archiviati su Google Drive.
- Query SQL standard ANSI (supporto SQL:2011) tra cui supporto per join, campi nidificati e ripetuti, funzioni di analisi e aggregazione, query multi-istruzione e una varietà di funzioni spaziali con analisi geospaziale - Sistemi informativi geografici.
- Crea viste per condividere la tua analisi.
- Supporto di strumenti di business intelligence, tra cui BI Engine con Looker Studio, Looker, Fogli Google e strumenti di terze parti come Tableau e Power BI.
- BigQuery ML offre modellazione del machine learning e analisi predittiva.
- Esegui query sui dati al di fuori di BigQuery con tabelle esterne e query federate.
Per ulteriori informazioni, consulta la panoramica di BigQuery Analytics.
Amministrazione di BigQuery
BigQuery offre la gestione centralizzata delle risorse di calcolo e dei dati, mentre Identity and Access Management (IAM) consente di proteggere queste risorse con il modello di accesso utilizzato in Google Cloud. Le best practice per la sicurezza di Google Cloud forniscono un approccio solido ma flessibile che può includere la tradizionale sicurezza del perimetro o un approccio di difesa in profondità più complesso e granulare.
- L'introduzione alla sicurezza e alla governance dei dati ti aiuta a comprendere la governance dei dati e quali controlli potrebbero essere necessari per proteggere le risorse BigQuery.
- I job sono azioni che BigQuery esegue per tuo conto per caricare, esportare, eseguire query o copiare dati.
- Le prenotazioni consentono di passare dai prezzi on demand ai costi fissi.
Per ulteriori informazioni, consulta la pagina Introduzione all'amministrazione di BigQuery.
Risorse di BigQuery
Esplora le risorse BigQuery:
- Le note di rilascio forniscono i log delle modifiche relativi a funzionalità, modifiche e ritiri.
Prezzi per l'analisi e l'archiviazione. Consulta anche i prezzi di BigQuery ML, BI Engine e Data Transfer Service.
Le località definiscono dove crei e archivi i set di dati (località con più regioni e più regioni).
I pattern di riferimento di analisi intelligenti forniscono link a codice campione e guide di riferimento tecniche per i casi d'uso comuni di analisi, tra cui le best practice per lo sviluppo di funzionalità di analisi comuni.
Stack Overflow ospita una community di sviluppatori e analisti coinvolti che utilizzano BigQuery.
L'assistenza BigQuery fornisce supporto per BigQuery.
Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning to Scale di Valliappa Lakshmanan e Jordan Tigani, spiega come funziona BigQuery e fornisce una procedura end-to-end su come utilizzare il servizio.
API, strumenti e riferimenti
Materiali di riferimento per sviluppatori e analisti BigQuery:
- Sintassi delle query SQL per i dettagli sull'utilizzo di GoogleSQL.
- L'API BigQuery e le librerie client offrono una panoramica delle funzionalità di BigQuery e del loro utilizzo.
- Gli esempi di codice BigQuery forniscono centinaia di snippet per le librerie client in C#, Go, Java, Node.js, Python e Ruby. Oppure visualizza il browser di esempio.
- La sintassi DML, DDL e user-defined (UDF) consente di gestire e trasformare i dati BigQuery.
- Il riferimento strumento a riga di comando bq documenta la sintassi, i comandi, i flag e gli argomenti per l'interfaccia dell'interfaccia a riga di comando
bq. - Integrazione ODBC / JDBC connetti BigQuery a strumenti e infrastruttura esistenti.
Ruoli e risorse BigQuery
BigQuery risponde alle esigenze dei professionisti dei dati per quanto riguarda i ruoli e le responsabilità seguenti.
Analista di dati
Indicazioni per le attività per aiutarti se devi:
- Esegui query su dati BigQuery utilizzando query interattive o batch con la sintassi delle query SQL
- Espressioni, funzioni e operatori SQL di riferimento per eseguire query sui dati
Utilizza gli strumenti per analizzare e visualizzare i dati BigQuery, tra cui: Looker, Looker Studio e Fogli Google.
Utilizza l'analisi geospaziale per analizzare e visualizzare i dati geospaziali con i sistemi di informazione geografica di BigQuery
Ottimizzare le prestazioni delle query utilizzando:
- Tabelle partizionate: pulisci tabelle di grandi dimensioni in base a intervalli di tempo o interi.
- Viste materializzate: definisci le visualizzazioni memorizzate nella cache per ottimizzare le query o fornire risultati permanenti.
- BI Engine: il servizio di analisi in memoria rapido di BigQuery.
Per fare un tour delle funzionalità di analisi dei dati di BigQuery direttamente nella console Google Cloud, fai clic su Fai un tour.
Amministratore dati
Indicazioni per le attività per aiutarti se devi:
- Gestisci i costi con le prenotazioni per bilanciare i prezzi on demand e a costo fisso.
- Comprendi la sicurezza e la governance dei dati per proteggere i dati in base a set di dati, tabella, colonna, riga o visualizzazione
- Esegui il backup dei dati con snapshot di tabella per preservare i contenuti di una tabella in un determinato momento.
- Visualizza BigQuery INFORMATION_SCHEMA per comprendere i metadati di set di dati, job, controllo dell'accesso, prenotazioni, tabelle e altro ancora.
- Utilizzare i job per consentire a BigQuery di caricare, esportare, eseguire query o copiare i dati sono azioni per tuo conto.
- Monitora i log e le risorse per comprendere BigQuery e i carichi di lavoro.
Per ulteriori informazioni, consulta la pagina Introduzione all'amministrazione di BigQuery.
Per fare un tour delle funzionalità di amministrazione dei dati BigQuery direttamente nella console Google Cloud, fai clic su Fai il tour.
Data scientist
Indicazioni sulle attività per aiutarti se hai bisogno di utilizzare il machine learning di BigQuery ML per eseguire le seguenti operazioni:
- Comprendi il percorso dell'utente end-to-end relativo ai modelli di machine learning
- Gestisci il controllo dell'accesso per BigQuery ML
- Crea e addestra modelli BigQuery ML, tra cui:
- Regressione lineare
- Classificazioni di regressione binaria e logistica multiclasse
- Clustering K-means per la segmentazione dei dati
- Serie temporali previsioni con i modelli Arima+
Sviluppatore dati
Indicazioni per le attività per aiutarti se devi:
- Carica i dati in BigQuery con:
Browser di esempio Google Cloud (ambito per BigQuery)
Tutorial video BigQuery
La seguente serie di tutorial video ti consente di iniziare a utilizzare BigQuery:
Title |
Descrizione |
|---|---|
| Come iniziare a utilizzare BigQuery (17:18) | Una panoramica che riassume cosa è BigQuery e come utilizzarlo. I segmenti includono: pipeline ETL, prezzi e ottimizzazione, BigQuery ML e BI Engine e conclusione di una demo di BigQuery nella console Google Cloud. |
| Che cos'è BigQuery? (04:39) | Una panoramica di BigQuery su come BigQuery è progettato per importare e archiviare grandi quantità di dati al fine di aiutare sia gli analisti che gli sviluppatori. |
| Utilizzare la sandbox di BigQuery (03:05) | Come configurare una sandbox di BigQuery, che consente di eseguire query senza bisogno di una carta di credito |
| Domande, esecuzione di query (5:11) | Come scrivere ed eseguire query SQL nell'interfaccia utente di BigQuery, oltre a scegliere un numero di maglia vincente |
| Caricamento di dati in BigQuery (05:31) | Come importare e analizzare i dati in tempo reale o eseguire un'analisi batch una tantum dei dati, più gatti e cani |
| Visualizzazione dei risultati delle query (5:38) | In che modo la visualizzazione dei dati è utile per semplificare la comprensione e l'interiorizzazione di set di dati complessi |
| Gestione dell'accesso con IAM (5:23) | Come consentire ad altri utenti di eseguire query sui tuoi set di dati in BigQuery con autorizzazioni e controllo dell'accesso IAM |
| Salvataggio e condivisione di query (06:17) | Come salvare e condividere le query in BigQuery senza problemi |
| Protezione dei dati sensibili con le visualizzazioni autorizzate (07:12) | Come condividere facilmente set di dati con utenti diversi impostando controlli di accesso personalizzati |
| Esecuzione di query su dati esterni con BigQuery (5:49) | Come configurare un'origine dati esterna in BigQuery ed eseguire query sui dati da Cloud Storage, Cloud SQL, Google Drive e altri servizi |
| Che cosa sono le funzioni definite dall'utente? (04:59) | Come creare funzioni definite dall'utente (UDF) per analizzare i set di dati in BigQuery |
Passaggi successivi
- Per una panoramica dello spazio di archiviazione BigQuery, consulta Panoramica dello spazio di archiviazione BigQuery.
- Per una panoramica delle query BigQuery, consulta Panoramica delle analisi BigQuery.
- Per una panoramica dell'amministrazione di BigQuery, consulta Introduzione all'amministrazione di BigQuery.
- Per una panoramica della sicurezza di BigQuery, consulta la panoramica sulla sicurezza e la governance dei dati.