Panoramica di BigQuery
BigQuery è una piattaforma dati completamente gestita e predisposta per l'AI che ti aiuta a gestire e analizzare i dati con funzionalità integrate come machine learning, ricerca, analisi geospaziale e business intelligence. L'architettura serverless di BigQuery consente di utilizzare linguaggi come SQL e Python per rispondere alle domande più importanti della tua organizzazione senza il bisogno di gestire alcuna infrastruttura.
BigQuery offre un modo uniforme per lavorare con i dati strutturati e non strutturati e supporta formati di tabelle aperte come Apache Iceberg, Delta e Hudi. BigQuery streaming supporta l'importazione e l'analisi continua dei dati, mentre il motore di analisi distribuito e scalabile di BigQuery ti consente di eseguire query su terabyte in pochi secondi e su petabyte in pochi minuti.
L'architettura di BigQuery è composta da due parti: un livello di archiviazione che importa, archivia e ottimizza i dati e un livello di calcolo che fornisce funzionalità di analisi. Questi livelli di calcolo e archiviazione operano in modo efficiente indipendentemente l'uno dall'altro grazie alla rete di Google su scala petabit che consente la comunicazione necessaria tra di loro.
I database legacy di solito devono condividere le risorse tra le operazioni di lettura e scrittura e le operazioni di analisi. Ciò può comportare conflitti di risorse e può rallentare le query durante la scrittura o la lettura dei dati dall'archiviazione. I pool di risorse condivise possono essere ulteriormente sotto stress quando le risorse sono richieste per attività di gestione del database come l'assegnazione o la revoca delle autorizzazioni. La separazione dei livelli di calcolo e archiviazione di BigQuery consente a ciascun livello di allocare le risorse in modo dinamico senza influire sulle prestazioni o sulla disponibilità dell'altro.
Questo principio di separazione consente a BigQuery di innovare più velocemente perché i miglioramenti di archiviazione e calcolo possono essere implementati in modo indipendente, senza tempi di inattività o impatto negativo sulle prestazioni del sistema. È inoltre essenziale offrire un data warehouse serverless completamente gestito in cui il team di ingegneri di BigQuery gestisce gli aggiornamenti e la manutenzione. Di conseguenza, non devi eseguire il provisioning o scalare manualmente le risorse, ma puoi concentrarti sul fornire valore anziché sulle attività di gestione del database tradizionali.
Le interfacce BigQuery includono l'interfaccia della console Google Cloud e lo strumento a riga di comando BigQuery. Gli sviluppatori e i data scientist possono utilizzare librerie client con linguaggi di programmazione comuni, tra cui Python, Java, JavaScript e Go, nonché l'API REST e l'API RPC di BigQuery per trasformare e gestire i dati. I driver ODBC e JDBC consentono l'interazione con le applicazioni esistenti, inclusi strumenti e utilità di terze parti.
In qualità di data analyst, data engineer, amministratore di data warehouse o data scientist, BigQuery ti aiuta a caricare, elaborare e analizzare i dati per supportare le decisioni aziendali critiche.
Inizia a utilizzare BigQuery
Puoi iniziare a esplorare BigQuery in pochi minuti. Sfrutta il livello di utilizzo gratuito o la sandbox senza costi di BigQuery per iniziare a caricare e eseguire query sui dati.
- Sandbox di BigQuery: inizia a utilizzare la sandbox di BigQuery senza rischi e senza costi.
- Guida rapida alla console Google Cloud: familiarizza con la potenza della console BigQuery.
- Set di dati pubblici: prova le prestazioni di BigQuery esplorando dati di grandi dimensioni e reali del programma per i set di dati pubblici.
Esplora BigQuery
L'infrastruttura serverless di BigQuery ti consente di concentrarti sui dati anziché sulla gestione delle risorse. BigQuery combina un data warehouse basato su cloud e potenti strumenti di analisi.
Spazio di archiviazione BigQuery
BigQuery archivia i dati utilizzando un formato di archiviazione a colonne ottimizzato per le query di analisi. BigQuery presenta i dati in tabelle, righe e colonne e fornisce il supporto completo per la semantica delle transazioni del database (ACID). Lo spazio di archiviazione BigQuery viene replicato automaticamente in più località per garantire un'alta disponibilità.
- Scopri i pattern comuni per organizzare le risorse BigQuery nel data warehouse e nei data mart.
- Scopri di più sui set di dati, il contenitore di primo livello di tabelle e visualizzazioni di BigQuery.
- Carica i dati in BigQuery utilizzando:
- Esegui lo streaming dei dati con l'API Storage Write.
- Carica i dati in batch da file locali o Cloud Storage utilizzando formati che includono: Avro, Parquet, ORC, CSV, JSON, Datastore, e Firestore.
- BigQuery Data Transfer Service automatizza l'importazione dati.
Per ulteriori informazioni, consulta la Panoramica dello spazio di archiviazione BigQuery.
BigQuery Analytics
Le analisi descrittive e prescrittive includono business intelligence, analisi ad hoc, analisi geospaziali e machine learning. Puoi eseguire query sui dati archiviati in BigQuery o sui dati nella posizione in cui si trovano utilizzando tabelle esterne o query federate, tra cui Cloud Storage, Bigtable, Spanner o Fogli Google archiviati in Google Drive.
- Query SQL standard ANSI (supporto di SQL:2011), incluso il supporto di join, campi nidificati e ripetuti, funzioni di analisi e aggregazione, query con più istruzioni e una serie di funzioni spaziali con analisi geospaziali - sistemi di informazione geografica.
- Crea visualizzazioni per condividere la tua analisi.
- Supporto degli strumenti di business intelligence, tra cui BI Engine con Looker Studio, Looker, Fogli Google e strumenti di terze parti come Tableau e Power BI.
- BigQuery ML fornisce machine learning e analisi predittiva.
- BigQuery Studio offre funzionalità come i notebook Python e il controllo della versione sia per i notebook sia per le query salvate. Queste funzionalità ti consentono di completare più facilmente i flussi di lavoro di analisi dei dati e di machine learning (ML) in BigQuery.
- Esegui query sui dati al di fuori di BigQuery con tabelle esterne e query federate.
Per ulteriori informazioni, consulta Panoramica di BigQuery Analytics.
Amministrazione di BigQuery
BigQuery fornisce la gestione centralizzata delle risorse di dati e calcolo, mentre Identity and Access Management (IAM) ti aiuta a proteggere queste risorse con il modello di accesso utilizzato in tutto Google Cloud. Le best practice per la sicurezza di Google Cloud forniscono un approccio solido ma flessibile che può includere la sicurezza perimetrale tradizionale o un approccio di difesa in profondità più complesso e granulare.
- Introduzione alla sicurezza e alla governance dei dati ti aiuta a comprendere la governance dei dati e i controlli di cui potresti avere bisogno per proteggere le risorse BigQuery.
- I job sono azioni eseguite da BigQuery per tuo conto per caricare, esportare, eseguire query o copiare i dati.
- Le prenotazioni ti consentono di passare dai prezzi on demand a quelli basati sulla capacità.
Per ulteriori informazioni, consulta Introduzione all'amministrazione di BigQuery.
Risorse di BigQuery
Esplora le risorse BigQuery:
- Le note di rilascio forniscono i log delle modifiche di funzionalità, modifiche e ritiri.
Prezzi per l'analisi e lo spazio di archiviazione. Consulta anche i prezzi di BigQuery ML, BI Engine e Data Transfer Service.
Le località definiscono dove creare e archiviare i set di dati (località a livello di una o più regioni).
Stack Overflow ospita una community impegnata di sviluppatori e analisti che lavorano con BigQuery.
L'assistenza BigQuery fornisce assistenza per BigQuery.
Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale di Valliappa Lakshmanan e Jordan Tigani, spiega come funziona BigQuery e fornisce una procedura dettagliata end-to-end su come utilizzare il servizio.
API, strumenti e riferimenti
Materiali di riferimento per sviluppatori e analisti BigQuery:
- Sintassi delle query SQL per dettagli sull'utilizzo di GoogleSQL.
- L'API BigQuery e le librerie client presentano panoramiche delle funzionalità di BigQuery e del loro utilizzo.
- Gli esempi di codice BigQuery forniscono centinaia di snippet per le librerie client in C#, Go, Java, Node.js, Python, Ruby. In alternativa, visualizza il browser di esempio.
- La sintassi DML, DDL e funzioni definite dall'utente (UDF) ti consente di gestire e trasformare i dati BigQuery.
- Il riferimento allo strumento a riga di comando bq descrive la sintassi, i comandi, i flag e gli argomenti per l'interfaccia a riga di comando
bq
. - L'integrazione ODBC / JDBC consente di collegare BigQuery agli strumenti e all'infrastruttura esistenti.
Ruoli e risorse BigQuery
BigQuery soddisfa le esigenze dei professionisti dei dati nei seguenti ruoli e responsabilità.
Analista di dati
Indicazioni sulle attività per aiutarti se devi svolgere le seguenti operazioni:
- Esegui query sui dati di BigQuery utilizzando query interattive o batch con la sintassi delle query SQL
- Fai riferimento alle functions, agli operatori e alle espressioni condizionali SQL per eseguire query sui dati
Utilizza strumenti per analizzare e visualizzare i dati di BigQuery, tra cui Looker, Looker Studio e Fogli Google.
Utilizza l'analisi geospaziale per analizzare e visualizzare i dati geospaziali con i sistemi GIS (Geographic Information Systems) di BigQuery
Ottimizza le prestazioni delle query utilizzando:
- Tabelle partizionate: elimina le tabelle di grandi dimensioni in base a intervalli di tempo o interi.
- Viste materializzate: definisci le viste memorizzate nella cache per ottimizzare le query o fornire risultati permanenti.
- BI Engine: il servizio di analisi in memoria rapido di BigQuery.
Per fare un tour delle funzionalità di analisi dei dati di BigQuery direttamente nella console Google Cloud, fai clic su Fai il tour.
Amministratore dati
Indicazioni sulle attività per aiutarti se devi svolgere le seguenti operazioni:
- Gestisci i costi con le reservations per bilanciare i prezzi on demand e basati sulla capacità.
- Comprendi la sicurezza e la governance dei dati per proteggere i dati in base a set di dati, tabella, colonna, riga o visualizzazione
- Esegui il backup dei dati con gli snapshot delle tabelle per conservare i contenuti di una tabella in un determinato momento.
- Visualizza INFORMATION_SCHEMA di BigQuery per comprendere i metadati di set di dati, job, controllo dell'accesso, reservations, tabelle e altro ancora.
- Utilizza i job per consentire a BigQuery di caricare, esportare, eseguire query o copiare i dati per tuo conto.
- Monitora i log e le risorse per comprendere BigQuery e i carichi di lavoro.
Per ulteriori informazioni, consulta Introduzione all'amministrazione di BigQuery.
Per fare un tour delle funzionalità di amministrazione dei dati di BigQuery direttamente nella console Google Cloud, fai clic su Fai il tour.
Data scientist
Indicazioni sulle attività per aiutarti se devi utilizzare il machine learning di BigQuery ML per svolgere le seguenti operazioni:
- Comprendere il percorso end-to-end dell'utente per i modelli di machine learning
- Gestire il controllo dell'accesso per BigQuery ML
- Creare e addestrare modelli BigQuery ML, tra cui:
- Previsione con regressione lineare
- Classificazioni di regressione logistica binaria e logistica multiclasse
- Clustering K-means per la segmentazione dei dati
- Previsione delle serie temporali con i modelli ARIMA+
Data Developer
Indicazioni sulle attività per aiutarti se devi svolgere le seguenti operazioni:
- Carica i dati in BigQuery
con:
- Caricare i dati in batch per i formati Avro, Parquet, ORC, CSV, JSON, Datastore e Firestore.
- BigQuery Data Transfer Service
- API BigQuery Storage Write
Utilizza esempio di codice codice, che include:
Browser di esempio Google Cloud (con ambito BigQuery)
Tutorial video su BigQuery
La seguente serie di tutorial video ti aiuta a iniziare a utilizzare BigQuery:
Titolo |
Descrizione |
---|---|
Come iniziare a utilizzare BigQuery (17:18) | Una panoramica che riassume che cos'è BigQuery e come usarlo. I segmenti includono: pipeline ETL, prezzi e ottimizzazione, BigQuery ML e BI Engine e una demo di BigQuery nella console Google Cloud. |
Che cos'è BigQuery? (4:39) | Una panoramica di BigQuery e di come è progettato per importare e archiviare grandi quantità di dati per aiutare sia gli analisti sia gli sviluppatori |
Utilizzare la sandbox di BigQuery (3:05) | Come configurare una sandbox di BigQuery per eseguire query senza bisogno di una carta di credito |
Porre domande, eseguire query (5:11) | Come scrivere ed eseguire query SQL nell'interfaccia utente di BigQuery, oltre a scegliere un numero di maglia vincente |
Caricare i dati in BigQuery (5:31) | Come importare e analizzare i dati in tempo reale o eseguire un'analisi in batch una tantum dei dati, oltre a gatti e cani |
Visualizzazione dei risultati delle query (5:38) | In che modo la visualizzazione dei dati è utile per comprendere e interiorizzare più facilmente i set di dati complessi |
Gestire l'accesso con IAM (5:23) | Come consentire ad altri utenti di eseguire query sui tuoi set di dati in BigQuery con le autorizzazioni IAM e controllo dell'accesso#39;accesso |
Salvataggio e condivisione delle query (6:17) | Come salvare e condividere facilmente le query in BigQuery |
Protezione dei dati sensibili con le viste autorizzate (7:12) | Come condividere facilmente set di dati con utenti diversi impostando controlli di accesso personalizzati |
Eseguire query sui dati esterni con BigQuery (5:49) | Come configurare un'origine dati esterna in BigQuery ed eseguire query su dati di Cloud Storage, Cloud SQL, Google Drive e altro ancora |
Che cosa sono le funzioni definite dall'utente? (4:59) | Come creare funzioni definite dall'utente (UDF) per analizzare i set di dati in BigQuery |
Passaggi successivi
- Per una panoramica dello spazio di archiviazione BigQuery, consulta Panoramica dello spazio di archiviazione BigQuery.
- Per una panoramica delle query BigQuery, consulta Panoramica di BigQuery Analytics.
- Per una panoramica dell'amministrazione di BigQuery, consulta Introduzione all'amministrazione di BigQuery.
- Per una panoramica della sicurezza di BigQuery, consulta Panoramica della sicurezza e della governance dei dati.