Esplorare i risultati delle query nei notebook

Puoi esplorare i risultati delle query di BigQuery utilizzando i notebook di Colab Enterprise in BigQuery.

In questo tutorial esegui query sui dati di un set di dati pubblico BigQuery ed esamini i risultati della query in un notebook.

Obiettivi

  • Crea ed esegui una query in BigQuery.
  • Esplora i risultati di query in un notebook.

Costi

Questo tutorial utilizza un set di dati disponibile tramite il programma per i set di dati pubblici di Google Cloud. Google sostiene le spese per lo spazio in cui sono archiviati questi set di dati e fornisce l'accesso pubblico ai dati. Ti vengono addebitati gli importi relativi alle query che esegui sui dati. Per maggiori informazioni, consulta la sezione Prezzi di BigQuery.

Prima di iniziare

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the BigQuery API.

    Enable the API

    Per i nuovi progetti, BigQuery viene attivato automaticamente.

Attivare BigQuery Studio

Segui le istruzioni riportate in Abilitare BigQuery Studio per la gestione degli asset per salvare, condividere e gestire le versioni degli asset di codice, come i notebook.

Autorizzazioni obbligatorie

Per creare ed eseguire i notebook, devi disporre dei seguenti ruoli IAM (Identity and Access Management):

Aprire i risultati della query in un blocco note

Puoi eseguire una query SQL e poi utilizzare un notebook per esplorare i dati. Questo approccio è utile se vuoi modificare i dati in BigQuery prima di utilizzarli o se hai bisogno solo di un sottoinsieme di campi della tabella.

  1. Nella console Google Cloud, vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel campo Digita per effettuare la ricerca, inserisci bigquery-public-data.

    Se il progetto non viene visualizzato, inserisci bigquery nel campo di ricerca, quindi fai clic su Cerca in tutti i progetti in modo da confrontare la stringa di ricerca con i progetti esistenti.

  3. Seleziona bigquery-public-data > ml_datasets > penguins.

  4. Per la tabella pinguini, fai clic su Visualizza azioni, e poi su Query.

  5. Aggiungi un asterisco (*) per la selezione dei campi alla query generata, in modo che sia simile all'esempio seguente:

    SELECT * FROM `bigquery-public-data.ml_datasets.penguins` LIMIT 1000;

  6. Fai clic su Esegui.

  7. Nella sezione Risultati delle query, fai clic su Esplora i dati e poi su Esplora con il blocco note Python.

Preparare il notebook per l'uso

Prepara il notebook per l'uso connettendoti a un runtime e impostando i valori predefiniti dell'applicazione.

  1. Nell'intestazione del notebook, fai clic su Connetti per connetterti al runtime predefinito.
  2. Nel blocco di codice Configurazione, fai clic su Esegui cella.

esplora i dati

  1. Per caricare i dati di penguins in un DataFrame BigQuery e mostrare i risultati, fai clic su Esegui cella nel blocco di codice nella sezione Set di risultati caricato dal job BigQuery come DataFrame.
  2. Per ottenere le metriche descrittive per i dati, fai clic su Esegui cella nel blocco di codice nella sezione Mostrare le statistiche descrittive utilizzando describe().
  3. (Facoltativo) Utilizza altre funzioni o altri pacchetti Python per esplorare e analizzare i dati.

Il seguente esempio di codice mostra l'utilizzo di bigframes.pandas per analizzare i dati e bigframes.ml per creare un modello di regressione lineare dai dati di penguins in un DataFrame BigQuery:

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

# Create the Linear Regression model
from bigframes.ml.linear_model import LinearRegression

# Filter down to the data we want to analyze
adelie_data = bq_df[bq_df.species == "Adelie Penguin (Pygoscelis adeliae)"]

# Drop the columns we don't care about
adelie_data = adelie_data.drop(columns=["species"])

# Drop rows with nulls to get our training data
training_data = adelie_data.dropna()

# Pick feature columns and label column
X = training_data[
    [
        "island",
        "culmen_length_mm",
        "culmen_depth_mm",
        "flipper_length_mm",
        "sex",
    ]
]
y = training_data[["body_mass_g"]]

model = LinearRegression(fit_intercept=False)
model.fit(X, y)
model.score(X, y)

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Il modo più semplice per eliminare la fatturazione è eliminare il progetto Google Cloud che hai creato per questo tutorial.

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Passaggi successivi