Generare approfondimenti sui dati in BigQuery
Gli Approfondimenti dei dati offrono un modo automatizzato per esplorare e comprendere i tuoi dati. Con gli approfondimenti dei dati, Gemini utilizza i metadati per generare domande in linguaggio naturale sulla tua tabella e le query per rispondere. In questo modo, puoi individuare pattern, valutare la qualità dei dati ed eseguire analisi statistiche.
Questo documento descrive le funzionalità principali degli approfondimenti sui dati e la procedura per automatizzare la generazione di query per un'esplorazione approfondita dei dati.
Prima di iniziare
Gli approfondimenti sui dati vengono generati utilizzando Gemini in BigQuery. Per iniziare a generare approfondimenti, devi prima configurare Gemini in BigQuery.
Ruoli obbligatori
Per creare, gestire e recuperare approfondimenti sui dati, chiedi all'amministratore di concederti i seguenti ruoli IAM:
Dataplex DataScan Editor (
roles/dataplex.dataScanEditor
) o Dataplex DataScan Administrator (roles/dataplex.dataScanAdmin
) nel progetto in cui vuoi generare approfondimenti.Visualizzatore dati BigQuery (
roles/bigquery.dataViewer
) nelle tabelle BigQuery per le quali vuoi generare approfondimenti.Utente BigQuery (
roles/bigquery.user
) o Utente BigQuery Studio (roles/bigquery.studioUser
) nel progetto in cui vuoi generare approfondimenti.
Per ottenere l'accesso di sola lettura ai dati generati, chiedi all'amministratore di concederti il seguente ruolo IAM:
- DataViewer di DataScan di Dataplex (
roles/dataplex.dataScanDataViewer
) nel progetto contenente le tabelle BigQuery per le quali vuoi visualizzare gli approfondimenti.
Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso agli account di servizio.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti. Per visualizzare le autorizzazioni esatte necessarie per generare approfondimenti, espandi la sezione Autorizzazioni richieste:
Autorizzazioni obbligatorie
bigquery.jobs.create
bigquery.tables.get
bigquery.tables.getData
dataplex.datascans.create
dataplex.datascans.get
dataplex.datascans.getData
dataplex.datascans.run
Abilita API
Per utilizzare gli approfondimenti sui dati, abilita le seguenti API nel tuo progetto:
Per saperne di più sull'attivazione dell'API Gemini for Google Cloud, consulta Attivare l'API Gemini for Google Cloud in un progetto Google Cloud.
Informazioni sugli approfondimenti sui dati
Quando esplorano una nuova tabella sconosciuta, gli analisti di dati si trovano spesso a dover affrontare il problema del cold start. Il problema spesso comporta incertezze sulla struttura dei dati, sui pattern chiave e sugli approfondimenti pertinenti al loro interno, rendendo difficile iniziare a scrivere query.
Gli approfondimenti dei dati risolvono il problema del cold start generando automaticamente query in linguaggio naturale e i relativi equivalenti SQL in base ai metadati di una tabella. Anziché iniziare con un editor di query vuoto, puoi iniziare rapidamente l'esplorazione dei dati con query significative che offrono approfondimenti utili. Per approfondire, puoi fare domande aggiuntive nel canvas di dati.
Esempio di esecuzione di Approfondimenti
Considera una tabella denominata telco_churn
con i seguenti metadati:
Nome campo | Tipo |
---|---|
CustomerID | STRING |
Genere | STRING |
Periodo di incarico | INT64 |
InternetService | STRING |
StreamingTV | STRING |
OnlineBackup | STRING |
Contratto | STRING |
TechSupport | STRING |
PaymentMethod | STRING |
MonthlyCharges | FLOAT |
Tasso di abbandono | BOOLEAN |
Di seguito sono riportate alcune delle query di esempio generate da Approfondimenti dei dati per questa tabella:
Identifica i clienti che hanno sottoscritto tutti i servizi premium e sono clienti da più di 50 mesi.
SELECT CustomerID, Contract, Tenure FROM agentville_datasets.telco_churn WHERE OnlineBackup = 'Yes' AND TechSupport = 'Yes' AND StreamingTV = 'Yes' AND Tenure > 50;
Identifica il servizio internet con il maggior numero di clienti dimissionari.
SELECT InternetService, COUNT(DISTINCT CustomerID) AS total_customers FROM agentville_datasets.telco_churn WHERE Churn = TRUE GROUP BY InternetService ORDER BY total_customers DESC LIMIT 1;
Identifica i tassi di abbandono per segmento tra i clienti di alto valore.
SELECT Contract, InternetService, Gender, PaymentMethod, COUNT(DISTINCT CustomerID) AS total_customers, SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers, (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID)) * 100 AS churn_rate FROM agentville_datasets.telco_churn WHERE MonthlyCharges > 100 GROUP BY Contract, InternetService, Gender, PaymentMethod;
Best practice
Per migliorare l'accuratezza degli approfondimenti generati, segui queste best practice:
Basate su dati ricavati dai risultati della profilazione dei dati
Nell'AI generativa, il grounding è la capacità di collegare l'output del modello a fonti di informazione verificabili. Puoi basare gli approfondimenti generati sui risultati della profilazione dei dati. La profilazione dei dati analizza le colonne nelle tabelle BigQuery e identifica caratteristiche statistiche comuni, come valori di dati e distribuzione dei dati tipici. Quando crei una scansione di profilazione dei dati per una tabella, puoi scegliere di pubblicare i risultati della scansione in BigQuery e in Dataplex Catalog. BigQuery utilizza i risultati del profiling dei dati per creare query più accurate e pertinenti nel seguente modo:
- Analizza i risultati della profilazione dei dati per identificare pattern, tendenze o valori anomali interessanti nei dati.
- Genera query incentrate su questi pattern, tendenze o valori anomali per ricavare informazioni.
- Convalida le query generate in base ai risultati della profilazione dei dati per garantire che le query restituiscano risultati significativi.
Senza le analisi di profilazione dei dati, le query generate da Gemini hanno maggiori probabilità di includere clausole imprecise o di produrre risultati privi di significato.
Assicurati che la scansione del profilo dati per la tabella sia aggiornata e che i risultati siano pubblicati in BigQuery.
Puoi modificare le impostazioni di profilazione dei dati per aumentare la dimensione del campione e eliminare le righe e le colonne. Dopo aver eseguito una nuova analisi di profilazione dei dati, rigenera le informazioni.
Aggiungere una descrizione della tabella
Descrizioni dettagliate delle tabelle che descrivono ciò che vuoi analizzare nella tabella possono aiutare Gemini in BigQuery a produrre approfondimenti più pertinenti. Dopo aver aggiunto una descrizione della tabella, rigenera gli approfondimenti.
Ad esempio, potresti aggiungere la seguente descrizione alla tabella telco_churn
: "Questa tabella monitora i dati sulla sfiducia dei clienti, inclusi i dettagli dell'abbonamento, la durata e l'utilizzo del servizio, per prevedere il comportamento di sfiducia dei clienti".
Aggiungere descrizioni delle colonne
Le descrizioni delle colonne che spiegano che cosa sono o come una colonna è correlata a un'altra possono migliorare la qualità degli approfondimenti. Dopo aver aggiornato le descrizioni delle colonne nella tabella, rigenera gli approfondimenti.
Ad esempio, puoi aggiungere le seguenti descrizioni a colonne specifiche della tabella telco_churn
:
Tenure
: "Il numero di mesi in cui il cliente utilizza il servizio".Churn
: "Indica se il cliente ha smesso di utilizzare il servizio. TRUE indica che il cliente non utilizza più il servizio, FALSE indica che il cliente è attivo."
Generare approfondimenti per una tabella BigQuery
Per generare approfondimenti per una tabella BigQuery, devi accedere alla voce della tabella in BigQuery utilizzando BigQuery Studio.
Nella console Google Cloud, vai a BigQuery Studio.
Nel riquadro Explorer, seleziona la tabella per la quale vuoi generare informazioni.
Fai clic sulla scheda Approfondimenti. Se la scheda è vuota, significa che le informazioni per questa tabella non sono ancora state generate.
Per attivare la pipeline di approfondimenti, fai clic su Genera approfondimenti.
L'inserimento degli approfondimenti richiede alcuni minuti.
Se sono disponibili risultati della profilazione dei dati pubblicati per la tabella, vengono utilizzati per generare approfondimenti. In caso contrario, gli approfondimenti vengono generati in base ai nomi e alle descrizioni delle colonne.
Nella scheda Approfondimenti, esplora le domande in linguaggio naturale generate.
Per visualizzare la query SQL che risponde a una domanda, fai clic sulla domanda.
Per aprire una query in BigQuery, fai clic su Copia in Query.
Per fare domande successive:
Fai clic su Fai una domanda aggiuntiva. La query si apre in un nuovo canvas di dati.
Fai clic su Esegui, quindi su Esegui query su questi risultati.
Per porre una domanda di follow-up, inserisci un prompt nel campo prompt Linguaggio naturale o modifica il codice SQL nell'editor query.
Per generare un nuovo insieme di query, fai clic su Genera approfondimenti e attiva nuovamente la pipeline.
Dopo aver generato gli approfondimenti per una tabella, chiunque disponga dell'autorizzazione dataplex.datascans.getData
e dell'accesso alla tabella può visualizzarli.
Generare approfondimenti per una tabella esterna BigQuery
Le statistiche dei dati di BigQuery supportano la generazione di approfondimenti per le tabelle esterne di BigQuery con dati in Cloud Storage.
Tu e l'account di servizio Dataplex per il progetto corrente dovete disporre del ruolo Visualizzatore oggetti Storage (roles/storage.objectViewer
) nel bucket Cloud Storage contenente i dati. Per ulteriori informazioni, consulta Aggiungere un principale a un criterio a livello di bucket.
Per generare approfondimenti per una tabella esterna BigQuery, segui le istruzioni descritte nella sezione Generare approfondimenti per una tabella BigQuery di questo documento.
Generare insight per una tabella BigLake
Per generare approfondimenti per una tabella BigLake:
Attiva l'API BigQuery Connection nel tuo progetto.
Crea una connessione BigQuery. Per saperne di più, consulta Gestire le connessioni.
Concedi il ruolo IAM Visualizzatore oggetti archiviazione (
roles/storage.objectViewer
) all'account di servizio corrispondente alla connessione BigQuery che hai creato.Puoi recuperare l'ID account di servizio dai dettagli della connessione.
Per generare approfondimenti, segui le istruzioni descritte nella sezione Generare approfondimenti per una tabella BigQuery di questo documento.
Prezzi
Per informazioni dettagliate sui prezzi di questa funzionalità, consulta la panoramica dei prezzi di Gemini in BigQuery.
Quote e limiti
Per informazioni su quote e limiti per questa funzionalità, consulta Quote per Gemini in BigQuery.
Limitazioni
- Le statistiche dei dati sono disponibili per le tabelle BigQuery, le tabelle BigLake, le tabelle esterne e le viste.
- Per i clienti multicloud, i dati di altri cloud non sono disponibili.
- Approfondimenti dei dati non supporta i tipi di colonne
Geo
oJSON
. - Le esecuzioni di Approfondimenti non garantiscono la presentazione delle query ogni volta. Per aumentare la probabilità di generare query più coinvolgenti, riavvia la pipeline di insight.
- Per le tabelle con controllo dell'accesso a livello di colonna (ACL) e autorizzazioni utente limitate, puoi generare approfondimenti se disponi dell'accesso in lettura a tutte le colonne della tabella. Per eseguire le query generate, devi disporre di autorizzazioni sufficienti.
Passaggi successivi
- Scopri di più sulla profilazione dei dati di Dataplex.
- Scopri come scrivere query con l'assistenza di Gemini in BigQuery.