Panoramica di BigQuery
BigQuery è una piattaforma di dati completamente gestita e predisposta per l'AI che ti aiuta a gestire e analizzare i dati con funzionalità integrate come machine learning, ricerca, analisi geospaziale e business intelligence. L'architettura serverless di BigQuery ti consente di utilizzare linguaggi come SQL e Python per rispondere alle domande più importanti della tua organizzazione senza alcuna gestione dell'infrastruttura.
BigQuery offre un modo uniforme di lavorare con dati strutturati e non strutturati e supporta formati di tabelle aperte come Apache Iceberg, Delta e Hudi. Lo streaming BigQuery supporta l'importazione e l'analisi continue dei dati, mentre il motore di analisi scalabile e distribuito di BigQuery ti consente di eseguire query su terabyte in pochi secondi e su petabyte in pochi minuti.
BigQuery offre funzionalità di governance integrate che consentono di scoprire e organizzare i dati, nonché di gestire i metadati e la qualità dei dati. Grazie a funzionalità come la ricerca semantica e la derivazione dei dati, puoi trovare e convalidare i dati pertinenti per l'analisi. Puoi condividere dati e asset AI all'interno della tua organizzazione con i vantaggi del controllo dell'accesso#39;accesso. Queste funzionalità sono basate su Dataplex Universal Catalog, una soluzione di governance unificata e intelligente per dati e asset di AI in Google Cloud.
L'architettura di BigQuery è composta da due parti: un livello di archiviazione che acquisisce, archivia e ottimizza i dati e un livello di calcolo che fornisce funzionalità di analisi. Questi livelli di calcolo e archiviazione operano in modo efficiente indipendentemente l'uno dall'altro grazie alla rete di petabit di Google che consente la comunicazione necessaria tra loro.
I database legacy di solito devono condividere le risorse tra le operazioni di lettura e scrittura e le operazioni di analisi. Ciò può causare conflitti di risorse e query lente durante la scrittura o la lettura dei dati dall'archiviazione. I pool di risorse condivisi possono essere ulteriormente messi a dura prova quando le risorse sono necessarie per attività di gestione del database come l'assegnazione o la revoca delle autorizzazioni. La separazione dei livelli di calcolo e archiviazione di BigQuery consente a ogni livello di allocare dinamicamente le risorse senza influire sulle prestazioni o sulla disponibilità dell'altro.
Questo principio di separazione consente a BigQuery di innovare più rapidamente perché i miglioramenti di archiviazione e calcolo possono essere implementati in modo indipendente, senza tempi di inattività o impatto negativo sulle prestazioni del sistema. È anche essenziale per offrire un data warehouse serverless completamente gestito in cui il team di ingegneri di BigQuery gestisce aggiornamenti e manutenzione. Il risultato è che non devi eseguire il provisioning o scalare manualmente le risorse, il che ti consente di concentrarti sulla creazione di valore anziché sulle attività tradizionali di gestione dei database.
Le interfacce BigQuery includono l'interfaccia della console e lo strumento a riga di comando BigQuery. Google Cloud Sviluppatori e data scientist possono utilizzare librerie client con linguaggi di programmazione familiari, tra cui Python, Java, JavaScript e Go, nonché l'API REST e l'API RPC di BigQuery per trasformare e gestire i dati. I driver ODBC e JDBC consentono l'interazione con le applicazioni esistenti, inclusi strumenti e utilità di terze parti.
In qualità di analista dei dati, data engineer, amministratore del data warehouse o data scientist, BigQuery ti aiuta a caricare, elaborare e analizzare i dati per prendere decisioni aziendali fondamentali.
Inizia a utilizzare BigQuery
Puoi iniziare a esplorare BigQuery in pochi minuti. Sfrutta il livello di utilizzo gratuito o la sandbox senza costi di BigQuery per iniziare a caricare ed eseguire query sui dati.
- Sandbox di BigQuery: inizia a utilizzare la sandbox di BigQuery senza rischi e senza costi.
- Google Cloud Guida rapida alla console: Acquisisci familiarità con la potenza di BigQuery Studio.
- Set di dati pubblici: scopri le prestazioni di BigQuery esplorando dati reali di grandi dimensioni del programma per i set di dati pubblici.
Esplora BigQuery
L'infrastruttura serverless di BigQuery ti consente di concentrarti sui dati anziché sulla gestione delle risorse. BigQuery combina un data warehouse basato su cloud e potenti strumenti di analisi.
Spazio di archiviazione BigQuery
BigQuery archivia i dati utilizzando un formato di archiviazione a colonne ottimizzato per le query analitiche. BigQuery presenta i dati in tabelle, righe e colonne e fornisce il supporto completo per la semantica delle transazioni di database (ACID). Lo spazio di archiviazione BigQuery viene replicato automaticamente in più località per garantire un'elevata disponibilità.
- Scopri i pattern comuni per organizzare le risorse BigQuery nel data warehouse e nei data mart.
- Scopri di più sui set di dati, il container di primo livello di tabelle e viste di BigQuery.
- BigQuery Data Transfer Service automatizza l'importazione dati.
- Carica i dati in BigQuery utilizzando:
- Trasmetti in streaming i dati con l'API Storage Write.
- Carica i dati in batch da file locali o Cloud Storage utilizzando formati che includono: Avro, Parquet, ORC, CSV, JSON, Datastore, e Firestore formati.
Per ulteriori informazioni, vedi Panoramica dello spazio di archiviazione BigQuery.
BigQuery Analytics
L'analisi descrittiva e prescrittiva viene utilizzata per la business intelligence, l'analisi ad hoc, l'analisi geospaziale e il machine learning. Puoi eseguire query sui dati archiviati in BigQuery o eseguire query sui dati nella posizione in cui si trovano utilizzando tabelle esterne o query federate, inclusi Cloud Storage, Bigtable, Spanner o Google Sheets archiviati in Google Drive.
- Query SQL standard ANSI (supporto di SQL:2011) incluso il supporto per join, campi nidificati e ripetuti, funzioni analitiche e di aggregazione, query con più istruzioni e una serie di funzioni spaziali con analisi geospaziale - Sistemi informativi geografici.
- Crea visualizzazioni per condividere la tua analisi.
- Supporto di strumenti di business intelligence, tra cui BI Engine con Looker Studio, Looker, Fogli Google e strumenti di terze parti come Tableau e Power BI.
- BigQuery ML fornisce machine learning e analisi predittiva.
- BigQuery Studio offre funzionalità come notebook Python e controllo delle versioni per notebook e query salvate. Queste funzionalità semplificano il completamento dei flussi di lavoro di analisi dei dati e machine learning (ML) in BigQuery.
- Esegui query sui dati al di fuori di BigQuery con query federate e tabelle esterne.
Per ulteriori informazioni, vedi Panoramica di BigQuery Analytics.
Amministrazione di BigQuery
BigQuery fornisce una gestione centralizzata delle risorse di dati e di calcolo, mentre Identity and Access Management (IAM) ti aiuta a proteggere queste risorse con il modello di accesso utilizzato in Google Cloud.LeGoogle Cloud best practice per la sicurezza forniscono un approccio solido ma flessibile che può includere la sicurezza perimetrale o un approccio di difesa in profondità più complesso e granulare.
- Introduzione alla sicurezza e alla governance dei dati ti aiuta a comprendere la governance dei dati e quali controlli potresti dover proteggere le risorse BigQuery.
- I job sono azioni che BigQuery esegue per tuo conto per caricare, esportare, eseguire query o copiare i dati.
- Le prenotazioni ti consentono di passare dai prezzi on demand a quelli basati sulla capacità.
Per ulteriori informazioni, vedi Introduzione all'amministrazione di BigQuery.
Risorse di BigQuery
Esplora le risorse BigQuery:
- Le note di rilascio forniscono i log delle modifiche di funzionalità, modifiche e ritiri.
- Prezzi per l'analisi e l'archiviazione. Vedi anche: BigQuery ML, BI Engine e Data Transfer Service prezzi.
- Le località definiscono dove creare e archiviare i set di dati (località regionali e multiregionali).
- Stack Overflow ospita una community attiva di sviluppatori e analisti che lavorano con BigQuery.
- BigQuery Support fornisce assistenza per BigQuery.
- Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale di Valliappa Lakshmanan e Jordan Tigani, spiega come funziona BigQuery e fornisce una procedura dettagliata end-to-end su come utilizzare il servizio.
API, strumenti e riferimenti
Materiali di riferimento per sviluppatori e analisti BigQuery:
- L'API BigQuery e le librerie client presentano panoramiche delle funzionalità di BigQuery e del loro utilizzo.
- Sintassi delle query SQL per informazioni dettagliate sull'utilizzo di GoogleSQL.
- Gli esempi di codice BigQuery forniscono centinaia di snippet per le librerie client in C#, Go, Java, Node.js, Python e Ruby. In alternativa, visualizza il browser di esempio.
- La sintassi di DML, DDL e funzioni definite dall'utente (UDF) consente di gestire e trasformare i dati BigQuery.
- Il riferimento allo strumento a riga di comando bq
documenta la sintassi, i comandi, i flag e gli argomenti per l'interfaccia a riga di comando
bq. - Integrazione ODBC / JDBC collega BigQuery ai tuoi strumenti e alla tua infrastruttura esistenti.
Funzionalità di Gemini in BigQuery
Gemini in BigQuery fa parte della suite di prodotti Gemini for Google Cloud che fornisce assistenza basata sull'AI per aiutarti a utilizzare i tuoi dati.
Gemini in BigQuery fornisce assistenza AI per aiutarti a:
- Esplora e comprendi i tuoi dati con gli approfondimenti sui dati. Gli insight sui dati offrono un modo automatizzato e intuitivo per scoprire pattern ed eseguire analisi statistiche utilizzando query utili generate dai metadati delle tabelle. Questa funzionalità è particolarmente utile per affrontare le sfide del cold start della prima esplorazione dei dati. Per ulteriori informazioni, consulta la pagina Generare insight sui dati in BigQuery.
- Scopri, trasforma, esegui query e visualizza i dati con il canvas di dati di BigQuery. Puoi utilizzare il linguaggio naturale con Gemini in BigQuery per trovare, unire ed eseguire query sugli asset delle tabelle, visualizzare i risultati e collaborare facilmente con altri utenti durante l' intero processo. Per saperne di più, vedi Analizzare con data canvas.
- Ricevi assistenza per l'analisi dei dati SQL e Python. Puoi utilizzare Gemini in
BigQuery per generare o suggerire codice in SQL o Python e per spiegare
una query SQL esistente. Puoi anche utilizzare query in linguaggio naturale per iniziare l'analisi dei dati. Per
scoprire come generare, completare e riepilogare il codice, consulta la seguente documentazione:
- Assistenza per il codice SQL
- Assistenza per il codice Python
- Prepara i dati per l'analisi. La preparazione dei dati in BigQuery fornisce consigli sulla trasformazione basati sul contesto e generati dall'AI per pulire i dati per l'analisi. Per maggiori informazioni, consulta Preparare i dati con Gemini.
- Personalizza le traduzioni SQL con le regole di traduzione. (Anteprima) Crea regole di traduzione ottimizzate con Gemini per personalizzare le traduzioni SQL quando utilizzi il traduttore SQL interattivo. Puoi descrivere le modifiche all'output della traduzione SQL utilizzando prompt in linguaggio naturale o specificare pattern SQL da trovare e sostituire. Per saperne di più, vedi Creare una regola di traduzione.
Per scoprire come configurare Gemini in BigQuery, consulta Configura Gemini in BigQuery.
Ruoli e risorse BigQuery
BigQuery soddisfa le esigenze dei professionisti dei dati nei seguenti ruoli e responsabilità.
Analista di dati
Indicazioni per le attività per aiutarti se devi:
- Esegui query sui dati BigQuery utilizzando query interattive o batch utilizzando la sintassi delle query SQL
- Fai riferimento a funzioni, operatori ed espressioni condizionali SQL per eseguire query sui dati.
Utilizza strumenti per analizzare e visualizzare i dati BigQuery, tra cui Looker, Looker Studio e Fogli Google.
Utilizza l'analisi geospaziale per analizzare e visualizzare i dati geospaziali con i sistemi informativi geografici di BigQuery
Ottimizza le prestazioni delle query utilizzando:
- Tabelle partizionate: elimina le tabelle di grandi dimensioni in base a intervalli di tempo o di numeri interi.
- Viste materializzate: definisci le viste memorizzate nella cache per ottimizzare le query o fornire risultati persistenti.
- BI Engine: Il servizio di analisi in memoria rapido di BigQuery.
Per fare un tour delle funzionalità di analisi dei dati di BigQuery direttamente nella console Google Cloud , fai clic su Fai il tour.
Amministratore dei dati
Indicazioni per le attività per aiutarti se devi:
- Gestisci i costi con le prenotazioni per bilanciare i prezzi on demand e basati sulla capacità.
- Comprendere la sicurezza e la governance dei dati per proteggere i dati per dataset, tabella, colonna, riga o vista.
- Esegui il backup dei dati con gli snapshot delle tabelle per conservare i contenuti di una tabella in un determinato momento.
- Visualizza INFORMATION_SCHEMA di BigQuery per comprendere i metadati di set di dati, job, controllo dell'accesso, prenotazioni, tabelle e altro ancora.
- Utilizza i job per fare in modo che BigQuery carichi, esporti, esegua query o copi i dati per tuo conto.
- Monitora i log e le risorse per comprendere BigQuery e i carichi di lavoro.
Per ulteriori informazioni, vedi Introduzione all'amministrazione di BigQuery.
Per fare un tour delle funzionalità di amministrazione dei dati di BigQuery direttamente nella Google Cloud console, fai clic su Fai il tour.
Data scientist
Indicazioni per le attività per aiutarti se devi utilizzare il machine learning di BigQuery ML per svolgere le seguenti operazioni:
- Comprendere il percorso utente end-to-end per i modelli di machine learning
- Gestisci il controllo dell'accesso per BigQuery ML
- Crea e addestra un modello BigQuery ML
inclusi:
- Previsione con regressione lineare
- Classificazioni di regressione logistica binaria e logistica multiclasse
- Clustering K-means per la segmentazione dei dati
- Previsione di serie temporali con modelli ARIMA+
Data Developer
Indicazioni per le attività per aiutarti se devi:
- Carica i dati in BigQuery
con:
- Carica in batch i dati per i formati Avro, Parquet, ORC, CSV, JSON, Datastore, e Firestore
- BigQuery Data Transfer Service
- API BigQuery Storage Write
Utilizza esempio di codice codice, tra cui:
Browser di esempiGoogle Cloud (ambito di BigQuery)
Tutorial video su BigQuery
La seguente serie di tutorial video ti aiuta a iniziare a utilizzare BigQuery:
Titolo |
Descrizione |
|---|---|
| Come iniziare a utilizzare BigQuery (17:18) | Una panoramica che riassume cos'è BigQuery e come utilizzarlo. I segmenti includono: pipeline ETL, prezzi e ottimizzazione, BigQuery ML e BI Engine e si concludono con una demo di BigQuery nella console Google Cloud . |
| Che cos'è BigQuery? (4:39) | Una panoramica di BigQuery su come è progettato per importare e archiviare grandi quantità di dati per aiutare analisti e sviluppatori |
| Utilizzo della sandbox di BigQuery (3:05) | Come configurare una sandbox di BigQuery, che ti consente di eseguire query senza carta di credito |
| Porre domande, eseguire query (5:11) | Come scrivere ed eseguire query SQL nella UI di BigQuery, oltre a scegliere un numero di maglia vincente |
| Caricamento dei dati in BigQuery (5:31) | Come importare e analizzare i dati in tempo reale o eseguire un'analisi batch una tantum dei dati, oltre a gatti contro cani |
| Visualizzare i risultati della query (5:38) | In che modo la visualizzazione dei dati è utile per rendere più comprensibili e interiorizzati i set di dati complessi |
| Gestione dell'accesso con IAM (5:23) | Come consentire ad altri utenti di eseguire query sui tuoi set di dati in BigQuery con autorizzazioni IAM e controllo dell'accesso#39;accesso |
| Salvataggio e condivisione delle query (6:17) | Come salvare e condividere le query in BigQuery senza problemi |
| Protezione dei dati sensibili con le visualizzazioni autorizzate (7:12) | Come condividere set di dati con utenti diversi impostando controlli di accesso personalizzati |
| Esecuzione di query sui dati esterni con BigQuery (5:49) | Come configurare un'origine dati esterna in BigQuery ed eseguire query sui dati di Cloud Storage, Cloud SQL, Google Drive e altro ancora |
| Che cosa sono le funzioni definite dall'utente? (4:59) | Come creare funzioni definite dall'utente (UDF) per analizzare i set di dati in BigQuery |
Passaggi successivi
- Per una panoramica dello spazio di archiviazione BigQuery, consulta Panoramica dello spazio di archiviazione BigQuery.
- Per una panoramica delle query BigQuery, consulta Panoramica di BigQuery Analytics.
- Per una panoramica dell'amministrazione di BigQuery, consulta Introduzione all'amministrazione di BigQuery.
- Per una panoramica della sicurezza di BigQuery, consulta Panoramica della sicurezza e della governance dei dati.