Panoramica di BigQuery
BigQuery è un data warehouse aziendale completamente gestito che ti aiuta a gestire e analizzare i tuoi dati con funzionalità integrate come machine learning, analisi geospaziale e business intelligence. L'architettura serverless di BigQuery consente di utilizzare query SQL per rispondere alle domande più importanti della tua organizzazione senza alcuna gestione dell'infrastruttura. Le query federate consentono di leggere i dati da origini esterne, mentre il flusso supporta gli aggiornamenti continui dei dati. Il motore di analisi scalabile e distribuito di BigQuery ti consente di eseguire query su terabyte in pochi secondi e su petabyte in pochi minuti.
L'architettura di BigQuery è composta da due parti: un livello di archiviazione che importa, archivia e ottimizza i dati e un livello di computing che fornisce funzionalità di analisi. Questi livelli di computing e archiviazione operano in modo efficiente in modo indipendente l'uno dall'altro, grazie alla rete su scala ridotta di Google che consente la comunicazione necessaria tra loro.
In genere, i database legacy devono condividere le risorse per le operazioni di lettura/scrittura e le operazioni di analisi. Questo può causare conflitti tra le risorse e rallentare le query durante la scrittura o la lettura dei dati nello spazio di archiviazione. I pool di risorse condivisi possono essere ulteriormente sottoposti a tensione quando sono necessarie risorse per attività di gestione dei database, come l'assegnazione o la revoca delle autorizzazioni. La separazione di BigQuery tra i livelli di computing e archiviazione consente a ogni livello di allocare dinamicamente le risorse senza influire sulle prestazioni o sulla disponibilità dell'altro.
Questo principio di separazione consente a BigQuery di innovare più rapidamente, perché il deployment dei miglioramenti relativi all'archiviazione e al calcolo può essere eseguito in modo indipendente, senza tempi di inattività o un impatto negativo sulle prestazioni del sistema. È inoltre essenziale offrire un data warehouse serverless completamente gestito in cui il team di tecnici di BigQuery gestisca aggiornamenti e manutenzione. Il risultato è che non devi eseguire il provisioning o scalare manualmente le risorse, così puoi concentrarti sulla fornitura di valore anziché sulle attività tradizionali di gestione dei database.
Le interfacce di BigQuery includono l'interfaccia della console Google Cloud e lo strumento a riga di comando Sviluppatori e data scientist possono utilizzare librerie client con una programmazione familiare, tra cui Python, Java, JavaScript e Go, nonché l'API REST e l'API RPC di BigQuery per trasformare e gestire i dati. I driver ODBC e JDBC consentono di interagire con le applicazioni esistenti, inclusi strumenti e utilità di terze parti.
In qualità di analista di dati, data engineer, amministratore di data warehouse o data scientist, BigQuery ti aiuta a caricare, elaborare e analizzare i dati per prendere decisioni aziendali critiche.
Inizia a utilizzare BigQuery
Puoi iniziare a esplorare BigQuery in pochi minuti. Sfrutta il livello di utilizzo gratuito o la sandbox senza costi di BigQuery per iniziare a caricare ed eseguire query sui dati.
- Sandbox di BigQuery: inizia a utilizzare la sandbox di BigQuery, senza rischi e senza costi.
- Guida rapida della console Google Cloud: Acquisisci familiarità con la potenza della console BigQuery.
- Set di dati pubblici: scopri le prestazioni di BigQuery esplorando grandi dati reali dal programma per set di dati pubblici.
Esplora BigQuery
L'infrastruttura serverless di BigQuery ti consente di concentrarti sui dati anziché sulla gestione delle risorse. BigQuery combina un data warehouse basato su cloud e potenti strumenti di analisi.
Spazio di archiviazione BigQuery
BigQuery archivia i dati utilizzando un formato di archiviazione a colonne ottimizzato per le query analitiche. BigQuery presenta i dati in tabelle, righe e colonne e offre il supporto completo per la semantica delle transazioni del database (ACID). L'archiviazione BigQuery viene replicata automaticamente in più località per fornire disponibilità elevata.
- Scopri i pattern comuni per organizzare le risorse BigQuery nel data warehouse e nei data mart.
- Scopri di più sui set di dati, il container di primo livello di BigQuery di tabelle e viste.
- Carica i dati in BigQuery utilizzando:
- Trasmetti il flusso di dati con l'API Storage Scrivi.
- Carica i dati in batch da file locali o Cloud Storage utilizzando formati che includono: Avro, Parquet, ORC, CSV, JSON, Datastore e Firestore.
- BigQuery Data Transfer Service automatizza l'importazione datii.
Per ulteriori informazioni, consulta Panoramica dello spazio di archiviazione di BigQuery.
Analisi di BigQuery
Gli utilizzi dell'analisi descrittiva e prescrittiva includono business intelligence, analisi ad hoc, analisi geospaziale e machine learning. Puoi eseguire query sui dati archiviati in BigQuery o eseguire query sui dati in cui si trovano utilizzando tabelle esterne o query federate, tra cui Cloud Storage, Bigtable, Spanner o Fogli Google archiviati su Google Drive.
- Query SQL standard ANSI (supporto SQL:2011), tra cui supporto per join, campi nidificati e ripetuti, funzioni di analisi e aggregazione, query multi-istruzione e una serie di funzioni spaziali con l'analisi geospaziale - Geographic Information Systems.
- Crea viste per condividere le tue analisi.
- Supporto per strumenti di business intelligence tra cui BI Engine con Looker Studio, Looker, Fogli Google e strumenti di terze parti come Tableau e Power BI.
- BigQuery ML offre machine learning e analisi predittiva.
- BigQuery Studio offre funzionalità come i blocchi note Python e il controllo della versione sia per i blocchi note che per le query salvate. Queste funzionalità semplificano il completamento dei flussi di lavoro di analisi dei dati e machine learning (ML) in BigQuery.
- Esegui query sui dati al di fuori di BigQuery con tabelle esterne e query federate.
Per ulteriori informazioni, consulta Panoramica dell'analisi di BigQuery.
Amministrazione di BigQuery
BigQuery offre la gestione centralizzata dei dati e delle risorse di calcolo, mentre Identity and Access Management (IAM) consente di proteggere queste risorse con il modello di accesso utilizzato in Google Cloud. Le best practice per la sicurezza di Google Cloud offrono un approccio solido ma flessibile che può includere la tradizionale sicurezza perimetrale o un approccio alla difesa in profondità più complesso e granulare.
- L'introduzione alla sicurezza e alla governance dei dati ti aiuta a comprendere la governance dei dati e i controlli di cui potresti aver bisogno per proteggere le risorse di BigQuery.
- I job sono azioni che BigQuery esegue per tuo conto al fine di caricare, esportare, eseguire query o copiare i dati.
- Le prenotazioni ti consentono di passare dai prezzi on demand a quelli basati sulla capacità.
Per ulteriori informazioni, consulta Introduzione all'amministrazione di BigQuery.
Risorse di BigQuery
Esplora le risorse BigQuery:
- Le note di rilascio forniscono i log delle modifiche relativi a funzionalità, modifiche e ritiri.
Prezzi per analisi e archiviazione. Vedi anche: prezzi di BigQuery ML, BI Engine e Data Transfer Service.
Le località definiscono le località in cui crei e archivi i set di dati (località a livello di una o più regioni).
Pattern di riferimento per l'analisi intelligente fornisce link a codice campione e guide di riferimento tecniche per casi d'uso di analisi comuni, incluse le best practice per lo sviluppo di funzionalità di analisi comuni.
Stack Overflow ospita una community coinvolta di sviluppatori e analisti che lavorano con BigQuery.
L'assistenza di BigQuery fornisce aiuto con BigQuery.
Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale di Valliappa Lakshmanan e Jordan Tigani, spiega come funziona BigQuery e fornisce una procedura dettagliata end-to-end su come utilizzare il servizio.
API, strumenti e riferimenti
Materiali di riferimento per sviluppatori e analisti di BigQuery:
- Sintassi delle query SQL per i dettagli sull'utilizzo di GoogleSQL.
- L'API BigQuery e le librerie client presentano una panoramica delle funzionalità di BigQuery e del loro utilizzo.
- Gli esempi di codice BigQuery forniscono centinaia di snippet per le librerie client in C#, Go, Java, Node.js, Python e Ruby. Oppure visualizza il browser di esempio.
- La sintassi DML, DDL e funzioni definite dall'utente ti consentono di gestire e trasformare i dati di BigQuery.
- Il riferimento dello strumento a riga di comando bq
documenta la sintassi, i comandi, i flag e gli argomenti per l'interfaccia dell'interfaccia a riga di comando
bq. - L'integrazione ODBC / JDBC collega BigQuery agli strumenti e all'infrastruttura esistenti.
Ruoli e risorse di BigQuery
BigQuery risponde alle esigenze dei professionisti dei dati per i ruoli e le responsabilità seguenti.
Analista di dati
Indicazioni per le attività utili se devi:
- Esegui query sui dati BigQuery con query interattive o batch utilizzando la sintassi delle query SQL.
- Espressioni, funzioni e operatori SQL di riferimento per eseguire query sui dati
Utilizza strumenti per analizzare e visualizzare i dati di BigQuery, tra cui: Looker, Looker Studio e Fogli Google.
Utilizza l'analisi geospaziale per analizzare e visualizzare i dati geospaziali con i sistemi di informazione geografica di BigQuery
Ottimizza le prestazioni delle query utilizzando:
- Tabelle partizionate: elimina le tabelle di grandi dimensioni in base a intervalli di tempo o interi.
- Viste materializzate: definisci le visualizzazioni memorizzate nella cache per ottimizzare le query o fornire risultati permanenti.
- BI Engine: il rapido servizio di analisi in memoria di BigQuery.
Per fare un tour delle funzionalità di analisi dei dati di BigQuery direttamente nella console Google Cloud, fai clic su Inizia il tour.
Amministratore dati
Indicazioni per le attività utili se devi:
- Gestisci i costi con le prenotazioni per bilanciare i prezzi on demand e basati sulla capacità.
- Comprendi la sicurezza e la governance dei dati per proteggere i dati per set di dati, tabella, colonna, riga o visualizzazione
- Esegui il backup dei dati con snapshot delle tabelle per conservare i contenuti di una tabella in un determinato momento.
- Visualizza BigQuery INFORMATION_SCHEMA per comprendere i metadati di set di dati, job, controllo dell'accesso, prenotazioni, tabelle e altro ancora.
- Utilizza i job per fare in modo che BigQuery carichi, esporti, esegua query o copi i dati siano azioni eseguite per tuo conto.
- Monitora i log e le risorse per comprendere BigQuery e i carichi di lavoro.
Per ulteriori informazioni, consulta Introduzione all'amministrazione BigQuery.
Per fare un tour delle funzionalità di amministrazione dei dati di BigQuery direttamente nella console Google Cloud, fai clic su Inizia il tour.
Data scientist
Linee guida per le attività utili se devi utilizzare il machine learning di BigQuery ML per eseguire queste operazioni:
- Comprendere il percorso dell'utente end-to-end per i modelli di machine learning
- Gestisci il controllo dell'accesso per BigQuery ML
- Creare e addestrare un modello BigQuery ML, tra cui:
- Previsione di regressione lineare
- Classificazioni di regressione logistica binaria e logistica multiclasse
- Cluster K-means per la segmentazione dei dati
- Serie temporali per la previsione con i modelli Arima+
Sviluppatore dati
Indicazioni per le attività utili se devi:
- Carica i dati in BigQuery con:
Utilizza la libreria di esempio di codice, che include:
Browser di esempio Google Cloud (ambito per BigQuery)
Tutorial video su BigQuery
La seguente serie di tutorial video ti consente di iniziare a utilizzare BigQuery:
Titolo |
Descrizione |
|---|---|
| Come iniziare a utilizzare BigQuery (17:18) | Una panoramica che riassume cos'è BigQuery e come utilizzarlo. I segmenti includono: pipeline ETL, prezzi e ottimizzazione, BigQuery ML e BI Engine e infine una demo di BigQuery nella console Google Cloud. |
| Che cos'è BigQuery? (04:39) | Una panoramica di BigQuery sulla progettazione di BigQuery per importare e archiviare grandi quantità di dati al fine di aiutare analisti e sviluppatori |
| Utilizzo della sandbox di BigQuery (3:05) | Come configurare una sandbox di BigQuery, che ti permette di eseguire query senza bisogno di una carta di credito |
| Porre domande ed eseguire query (5:11) | Come scrivere ed eseguire query SQL nella UI di BigQuery e scegliere un numero di Jersey vincente |
| Caricamento di dati in BigQuery (5:31) | Come importare e analizzare i dati in tempo reale o solo un'analisi in batch una tantum dei dati, più gatti e cani |
| Visualizzazione dei risultati delle query (5:38) | In che modo la visualizzazione dei dati è utile per semplificare la comprensione e l'interiorizzazione di set di dati |
| Gestione dell'accesso con IAM (5:23) | Come consentire ad altri utenti di eseguire query sui tuoi set di dati in BigQuery con autorizzazioni e controllo dell'accesso dell'accesso IAM |
| Salvataggio e condivisione delle query (6:17) | Come salvare e condividere facilmente le query in BigQuery |
| Protezione dei dati sensibili con le viste autorizzate (7:12) | Come condividere facilmente i set di dati con diversi utenti impostando controlli dell'accesso personalizzati |
| Esecuzione di query su dati esterni con BigQuery (5:49) | Come configurare un'origine dati esterna in BigQuery ed eseguire query sui dati di Cloud Storage, Cloud SQL, Google Drive e altro ancora |
| Cosa sono le funzioni definite dall'utente? (04:59) | Come creare funzioni definite dall'utente per l'analisi di set di dati in BigQuery |
Passaggi successivi
- Per una panoramica dello spazio di archiviazione di BigQuery, consulta Panoramica dello spazio di archiviazione di BigQuery.
- Per una panoramica delle query di BigQuery, consulta Panoramica dell'analisi di BigQuery.
- Per una panoramica dell'amministrazione di BigQuery, consulta Introduzione all'amministrazione di BigQuery.
- Per una panoramica della sicurezza di BigQuery, consulta Panoramica della sicurezza e della governance dei dati.