Esplora e visualizza i dati in BigQuery all'interno di JupyterLab

Esplora e visualizza i dati in BigQuery all'interno di JupyterLab

Questa pagina mostra alcuni esempi di come esplorare e visualizzare i dati archiviati in BigQuery dall'interfaccia JupyterLab della tua istanza di Vertex AI Workbench.

Prima di iniziare

Se non l'hai ancora fatto, crea un'istanza di Vertex AI Workbench.

Ruoli obbligatori

Per assicurarti che l'account di servizio della tua istanza disponga delle autorizzazioni necessarie per eseguire query sui dati in BigQuery, chiedi all'amministratore di concedere all'account di servizio dell'istanza il ruolo IAM Consumer utilizzo (roles/serviceusage.serviceUsageConsumer) per il progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

L'amministratore potrebbe anche essere in grado di concedere all'account di servizio dell'istanza le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Apri JupyterLab

1. Nella console Google Cloud, vai alla pagina Istanze.

   Vai a Istanze

2. Accanto al nome dell'istanza di Vertex AI Workbench, fai clic su Apri JupyterLab.

   L'istanza di Vertex AI Workbench apre JupyterLab.

Leggere i dati da BigQuery

Nelle due sezioni successive leggi i dati di BigQuery che utilizzerai per visualizzarli in seguito. Questi passaggi sono identici a quelli descritti in Eseguire query sui dati in BigQuery da JupyterLab. Se li hai già completati, puoi passare a Ottenere un riepilogo dei dati in una tabella BigQuery.

Eseguire query sui dati utilizzando il comando magic %%bigquery

In questa sezione scriverai il codice SQL direttamente nelle celle del blocco note e leggi i dati da BigQuery nel blocco note Python.

I comandi magici che utilizzano un carattere di percentuale singola o doppia (% o %%) consentono di utilizzare una sintassi minima per interagire con BigQuery all'interno del blocco note. La libreria client di BigQuery per Python viene installata automaticamente in un'istanza di Vertex AI Workbench. Dietro le quinte, il comando magico %%bigquery utilizza la libreria client di BigQuery per Python per eseguire la query, convertire i risultati in un DataFrame pandas, salvare facoltativamente i risultati in una variabile e quindi visualizzare i risultati.

Nota: a partire dalla versione 1.26.0 del pacchetto Python google-cloud-bigquery, per impostazione predefinita viene utilizzata l'API BigQuery Storage per scaricare i risultati della magia %%bigquery.

1. Per aprire un file di blocco note, seleziona File > Nuovo > Blocco note.

2. Nella finestra di dialogo Seleziona kernel, seleziona Python 3, quindi fai clic su Seleziona.

   Si apre il nuovo file IPYNB.

3. Per ottenere il numero di regioni per paese nel set di dati international_top_terms, inserisci la seguente istruzione:

   %%bigquery
   SELECT
     country_code,
     country_name,
     COUNT(DISTINCT region_code) AS num_regions
   FROM
     `bigquery-public-data.google_trends.international_top_terms`
   WHERE
     refresh_date = DATE_SUB(CURRENT_DATE, INTERVAL 1 DAY)
   GROUP BY
     country_code,
     country_name
   ORDER BY
     num_regions DESC;
   

4. Fai clic su  Esegui cella.

   L'output è simile al seguente:

   Query complete after 0.07s: 100%|██████████| 4/4 [00:00<00:00, 1440.60query/s]
   Downloading: 100%|██████████| 41/41 [00:02><00:00, 20.21rows/s]
   ... country_code country_name num_regions 0 TR Turkey 81 1 TH Thailand 77 2 VN Vietnam 63 3 JP Japan 47 4 RO Romania 42 5 NG Nigeria 37 6 IN India 36 7 ID Indonesia 34 8 CO Colombia 33 9 MX Mexico 32 10 BR Brazil 27 11 EG Egypt 27 12 UA Ukraine 27 13 CH Switzerland 26 14 AR Argentina 24 15 FR France 22 16 SE Sweden 21 17 HU Hungary 20 18 IT Italy 20 19 PT Portugal 20 20 NO Norway 19 21 FI Finland 18 22 NZ New Zealand 17 23 PH Philippines 17>

   Nota: i tuoi risultati potrebbero essere diversi da quelli riportati sopra, poiché il set di dati google_trends oggetto della query viene aggiornato costantemente con nuovi dati.

5. Nella cella successiva (sotto l'output della cella precedente), inserisci il comando seguente per eseguire la stessa query, ma questa volta salva i risultati in un nuovo DataFrame pandas denominato regions_by_country. Puoi fornire questo nome utilizzando un argomento con il comando magico %%bigquery.

   %%bigquery regions_by_country
   SELECT
     country_code,
     country_name,
     COUNT(DISTINCT region_code) AS num_regions
   FROM
     `bigquery-public-data.google_trends.international_top_terms`
   WHERE
     refresh_date = DATE_SUB(CURRENT_DATE, INTERVAL 1 DAY)
   GROUP BY
     country_code, country_name
   ORDER BY
     num_regions DESC;
   

   Nota: per ulteriori informazioni sugli argomenti disponibili per il comando %%bigquery, consulta la documentazione sulle magie delle librerie client.

6. Fai clic su  Esegui cella.

7. Nella cella successiva, inserisci il seguente comando per esaminare le prime righe dei risultati della query che hai appena letto:

   regions_by_country.head()
   

8. Fai clic su  Esegui cella.

   Il DataFrame Pandas regions_by_country è pronto per il tracciamento.

Query sui dati utilizzando direttamente la libreria client di BigQuery

In questa sezione utilizzerai la libreria client di BigQuery per Python, per leggere i dati direttamente nel blocco note Python.

La libreria client offre un maggiore controllo sulle query e consente di utilizzare configurazioni più complesse per query e job. Le integrazioni della libreria con pandas consentono di combinare la potenza dell'SQL dichiarativo con il codice imperativo (Python) per analizzare, visualizzare e trasformare i dati.

Nota: puoi utilizzare diverse librerie di analisi dei dati, data wrangling e visualizzazione in Python, ad esempio numpy, pandas, matplotlib e molte altre. Molte di queste librerie sono basate su un oggetto DataFrame.

1. Nella cella successiva, inserisci il codice Python seguente per importare la libreria client di BigQuery per Python e inizializzare un client:

   from google.cloud import bigquery
   
   client = bigquery.Client()
   

   Il client BigQuery viene utilizzato per inviare e ricevere messaggi dall'API BigQuery.

2. Fai clic su  Esegui cella.

3. Nella cella successiva, inserisci il seguente codice per recuperare la percentuale di termini principali giornalieri negli Stati Uniti top_terms che si sovrappongono nel tempo per numero di giorni l'uno dall'altro. L'idea è quella di esaminare i termini principali di ogni giorno e vedere quale percentuale si sovrappone ai termini principali del giorno precedente, 2 giorni prima, 3 giorni prima e così via (per tutte le coppie di date nell'arco di circa un mese).

   sql = """
   WITH
     TopTermsByDate AS (
       SELECT DISTINCT refresh_date AS date, term
       FROM `bigquery-public-data.google_trends.top_terms`
     ),
     DistinctDates AS (
       SELECT DISTINCT date
       FROM TopTermsByDate
     )
   SELECT
     DATE_DIFF(Dates2.date, Date1Terms.date, DAY)
       AS days_apart,
     COUNT(DISTINCT (Dates2.date || Date1Terms.date))
       AS num_date_pairs,
     COUNT(Date1Terms.term) AS num_date1_terms,
     SUM(IF(Date2Terms.term IS NOT NULL, 1, 0))
       AS overlap_terms,
     SAFE_DIVIDE(
       SUM(IF(Date2Terms.term IS NOT NULL, 1, 0)),
       COUNT(Date1Terms.term)
       ) AS pct_overlap_terms
   FROM
     TopTermsByDate AS Date1Terms
   CROSS JOIN
     DistinctDates AS Dates2
   LEFT JOIN
     TopTermsByDate AS Date2Terms
     ON
       Dates2.date = Date2Terms.date
       AND Date1Terms.term = Date2Terms.term
   WHERE
     Date1Terms.date <= Dates2.date
   GROUP BY
     days_apart
   
   ORDER BY
     days_apart;
   """
   pct_overlap_terms_by_days_apart = client.query(sql).to_dataframe()
   
   pct_overlap_terms_by_days_apart.head()
   

   Il codice SQL utilizzato viene incapsulato in una stringa Python e quindi passato al metodo query() per eseguire una query. Il metodo to_dataframe attende il completamento della query e scarica i risultati in un DataFrame Pandas utilizzando l'API BigQuery Storage.

4. Fai clic su  Esegui cella.

   Le prime righe di risultati della query vengono visualizzate sotto la cella di codice.

      days_apart   num_date_pairs  num_date1_terms overlap_terms   pct_overlap_terms
    0          0             32               800            800            1.000000
    1          1             31               775            203            0.261935
    2          2             30               750             73            0.097333
    3          3             29               725             31            0.042759
    4          4             28               700             23            0.032857
   

   Nota: i tuoi risultati potrebbero essere diversi da quelli riportati sopra, poiché il set di dati google_trends oggetto della query viene aggiornato costantemente con nuovi dati.

Per ulteriori informazioni sull'uso delle librerie client di BigQuery, consulta la guida rapida Utilizzo delle librerie client.

Visualizzare un riepilogo dei dati in una tabella BigQuery

In questa sezione utilizzerai una scorciatoia per il blocco note per ottenere statistiche e visualizzazioni di riepilogo per tutti i campi di una tabella BigQuery. Questo può essere un modo rapido per profilare i dati prima di proseguire nell'esplorazione.

La libreria client di BigQuery fornisce un comando magico, %bigquery_stats, che puoi chiamare con un nome di tabella specifico per fornire una panoramica della tabella e statistiche dettagliate su ciascuna colonna della tabella.

1. Nella cella successiva, inserisci il seguente codice per eseguire l'analisi nella tabella top_terms degli Stati Uniti:

   %bigquery_stats bigquery-public-data.google_trends.top_terms
   

2. Fai clic su  Esegui cella.

   Dopo un po' di tempo, viene visualizzata un'immagine con varie statistiche su ognuna delle sette variabili nella tabella top_terms. L'immagine seguente mostra parte di alcuni output di esempio:

   

Nota: i tuoi risultati potrebbero essere diversi da quelli riportati sopra, poiché il set di dati google_trends oggetto della query viene aggiornato costantemente con nuovi dati.

Visualizzare i dati di BigQuery

In questa sezione utilizzerai le funzionalità di tracciamento per visualizzare i risultati delle query che hai eseguito in precedenza nel tuo blocco note Jupyter.

1. Nella cella successiva, inserisci il seguente codice per utilizzare il metodo DataFrame.plot() pandas per creare un grafico a barre che mostri i risultati della query che restituisce il numero di regioni per paese:

   regions_by_country.plot(kind="bar", x="country_name", y="num_regions", figsize=(15, 10))
   

2. Fai clic su  Esegui cella.

   Il grafico è simile al seguente:

   

3. Nella cella successiva, inserisci il seguente codice per utilizzare il metodo DataFrame.plot() panda per creare un grafico a dispersione che visualizzi i risultati della query relativi alla percentuale di sovrapposizione dei principali termini di ricerca per giorni di distanza:

   pct_overlap_terms_by_days_apart.plot(
     kind="scatter",
     x="days_apart",
     y="pct_overlap_terms",
     s=len(pct_overlap_terms_by_days_apart["num_date_pairs"]) * 20,
     figsize=(15, 10)
     )
   

4. Fai clic su  Esegui cella.

   Il grafico è simile al seguente. La dimensione di ogni punto riflette il numero di coppie di date a intervalli di così tanti giorni. Ad esempio, ci sono più coppie distanti 1 giorno e 30 giorni l'una dall'altra, perché i principali termini di ricerca vengono visualizzati ogni giorno nell'arco di un mese.

   

Per ulteriori informazioni sulla visualizzazione dei dati, consulta la documentazione di Panda.

Passaggi successivi

Per visualizzare un esempio di esplorazione e visualizzazione dei dati BigQuery nell'ambito di un flusso di lavoro completo in Vertex AI Workbench, esegui l'analisi esplorativa interattiva dei dati BigQuery in un blocco note" in uno dei seguenti ambienti:

Apri in Colab | Apri in Colab Enterprise | Apri nei blocchi note gestiti dall'utente di Vertex AI Workbench | Visualizza su GitHub