Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.
Guida rapida: creare modelli di machine learning in BigQuery ML

Crea modelli di machine learning in BigQuery ML

Questo tutorial presenta agli utenti BigQuery ML tramite la console Google Cloud.

BigQuery ML consente agli utenti di creare ed eseguire modelli di machine learning in BigQuery utilizzando le query SQL. L'obiettivo è democratizzare il machine learning consentendo ai professionisti SQL di creare modelli utilizzando i loro strumenti esistenti e di aumentare la velocità di sviluppo eliminando la necessità di spostare i dati.

In questo tutorial, utilizzerai l'esempio di set di dati di esempio di Google Analytics per BigQuery per creare un modello che prevede se un visitatore del sito web effettuerà una transazione. Per informazioni sullo schema del set di dati Analytics, consulta lo schema di esportazione di BigQuery nel Centro assistenza Google Analytics.

Obiettivi

In questo tutorial utilizzerai:

  • BigQuery ML per creare un modello di regressione logistica binaria utilizzando l'istruzione CREATE MODEL
  • La funzione ML.EVALUATE per valutare il modello ML
  • La funzione ML.PREDICT per fare previsioni utilizzando il modello ML

Costi

Questo tutorial utilizza componenti fatturabili di Google Cloud, tra cui:

  • BigQuery
  • BigQuery ML

Per ulteriori informazioni sui costi di BigQuery, consulta la pagina Prezzi di BigQuery.

Per ulteriori informazioni sui costi di BigQuery ML, consulta la pagina Prezzi di BigQuery ML.

Prima di iniziare

  1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
  2. Nella pagina del selettore dei progetti in Google Cloud Console, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

  3. Assicurati che la fatturazione sia attivata per il tuo progetto Cloud. Scopri come verificare se la fatturazione è abilitata su un progetto.

  4. Nella pagina del selettore dei progetti in Google Cloud Console, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

  5. Assicurati che la fatturazione sia attivata per il tuo progetto Cloud. Scopri come verificare se la fatturazione è abilitata su un progetto.

  6. La funzionalità BigQuery viene attivata automaticamente nei nuovi progetti. Per attivare BigQuery in un progetto preesistente, vai a

    Attiva l'API BigQuery.

    Abilita l'API

Passaggio 1: crea il set di dati

Il primo passaggio consiste nel creare un set di dati BigQuery per archiviare il tuo modello ML. Per creare il set di dati:

  1. In Google Cloud Console, vai alla pagina BigQuery.

    Vai alla pagina BigQuery

  2. Nel pannello di navigazione, nella sezione Risorse, fai clic sul nome del tuo progetto.

  3. Sul lato destro, nel riquadro dei dettagli, fai clic su Crea set di dati.

    Crea set di dati

  4. Nella pagina Crea set di dati:

    • In ID set di dati, inserisci bqml_tutorial.
    • Per Località dei dati, scegli Stati Uniti (US). Attualmente, i set di dati pubblici sono archiviati nella località multiregione US. Per semplicità, devi posizionare il set di dati nella stessa posizione.

      Crea la pagina del set di dati

  5. Lascia invariate tutte le altre impostazioni predefinite e fai clic su Crea set di dati.

Passaggio 2: crea il modello

Quindi, puoi creare un modello di regressione logistica utilizzando il set di dati di esempio di Google Analytics per BigQuery. La seguente query SQL standard viene utilizzata per creare il modello utilizzato per prevedere se un visitatore del sito web effettuerà una transazione.

#standardSQL
CREATE MODEL `bqml_tutorial.sample_model`
OPTIONS(model_type='logistic_reg') AS
SELECT
  IF(totals.transactions IS NULL, 0, 1) AS label,
  IFNULL(device.operatingSystem, "") AS os,
  device.isMobile AS is_mobile,
  IFNULL(geoNetwork.country, "") AS country,
  IFNULL(totals.pageviews, 0) AS pageviews
FROM
  `bigquery-public-data.google_analytics_sample.ga_sessions_*`
WHERE
  _TABLE_SUFFIX BETWEEN '20160801' AND '20170630'

Oltre a creare il modello, eseguire una query che contiene l'istruzione CREATE MODEL addestra il modello utilizzando i dati recuperati dall'istruzione SELECT della query.

Dettagli query

La clausola CREATE MODEL viene utilizzata per creare e addestrare il modello denominato bqml_tutorial.sample_model.

La clausola OPTIONS(model_type='logistic_reg') indica che stai creando un modello di regressione logistica. Un modello di regressione logistica tenta di suddividere i dati di input in due classi e dà la probabilità che i dati siano in una delle classi. In genere, ciò che stai tentando di rilevare (ad esempio se un'email è spam) è rappresentato da 1, mentre tutto il resto è rappresentato da 0. Se il modello di regressione logistica genera 0,9, esiste una probabilità del 90% che l'input corrisponda a ciò che stai tentando di rilevare.

L'istruzione SELECT di questa query recupera le seguenti colonne che vengono utilizzate dal modello per prevedere la probabilità che un cliente completi una transazione:

  • totals.transactions: numero totale di transazioni e-commerce all'interno della sessione. Se il numero di transazioni è NULL, il valore nella colonna label è impostato su 0. In caso contrario, è impostato su 1. Questi valori rappresentano i possibili risultati. La creazione di un alias denominato label è un'alternativa all'impostazione dell'opzione input_label_cols= nell'istruzione CREATE MODEL.
  • device.operatingSystem: il sistema operativo del dispositivo del visitatore.
  • device.isMobile: indica se il dispositivo del visitatore è un dispositivo mobile.
  • geoNetwork.country: il paese da cui hanno origine le sessioni, in base all'indirizzo IP.
  • totals.pageviews: il numero totale di visualizzazioni di pagina nella sessione.

La clausola FROM (bigquery-public-data.google_analytics_sample.ga_sessions_*) indica che stai eseguendo query sul set di dati di esempio Google Analytics. Questo set di dati è nel progetto bigquery-public-data. Stai eseguendo una query su un set di tabelle con sharding per data. È rappresentato dal carattere jolly nel nome della tabella: google_analytics_sample.ga_sessions_*.

La clausola WHERE_TABLE_SUFFIX BETWEEN '20160801' AND '20170630' limita il numero di tabelle analizzate dalla query. L'intervallo di date scansionato va dal 1° agosto 2016 al 30 giugno 2017.

Esegui la query CREATE MODEL

Per eseguire la query CREATE MODEL per creare e addestrare il modello:

  1. In Google Cloud Console, fai clic sul pulsante Crea nuova query. Se questo testo non è disponibile per il clic, l'Editor query è già aperto.

    Pulsante Scrivi query

  2. Inserisci la seguente query SQL standard nell'area di testo Editor query.

    #standardSQL
    CREATE MODEL `bqml_tutorial.sample_model`
    OPTIONS(model_type='logistic_reg') AS
    SELECT
      IF(totals.transactions IS NULL, 0, 1) AS label,
      IFNULL(device.operatingSystem, "") AS os,
      device.isMobile AS is_mobile,
      IFNULL(geoNetwork.country, "") AS country,
      IFNULL(totals.pageviews, 0) AS pageviews
    FROM
      `bigquery-public-data.google_analytics_sample.ga_sessions_*`
    WHERE
      _TABLE_SUFFIX BETWEEN '20160801' AND '20170630'
    
  3. Fai clic su Esegui.

    Il completamento della query richiede diversi minuti. Una volta completata la prima iterazione, il modello (sample_model) viene visualizzato nel pannello di navigazione. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, non vedi i risultati.

    Puoi osservare il modello mentre viene addestrato visualizzando la scheda Statistiche del modello. La scheda viene aggiornata non appena viene completata la prima iterazione. Le statistiche continuano ad essere aggiornate al termine di ogni iterazione.

(Facoltativo) Passaggio 3: consulta le statistiche di addestramento

Per vedere i risultati dell'addestramento del modello, puoi utilizzare la funzione ML.TRAINING_INFO o visualizzare le statistiche in Google Cloud Console. In questo tutorial, utilizzerai Google Cloud Console.

Il machine learning consiste nel creare un modello che può utilizzare i dati per fare una previsione. Il modello è essenzialmente una funzione che prende input e applica i calcoli agli input per produrre un output: una previsione.

Gli algoritmi di machine learning funzionano prendendo diversi esempi in cui la previsione è già nota (come i dati storici degli acquisti degli utenti) e aggiustando iterativamente vari valori del modello in modo che le previsioni del modello corrispondano ai valori reali. Questo avviene riducendo al minimo l'errore che il modello ha utilizzato utilizzando una metrica chiamata perdita.

Si prevede che per ogni iterazione la perdita dovrebbe diminuire (preferibilmente fino a zero). Una perdita pari a zero indica che il modello è preciso al 100%.

Per visualizzare le statistiche di addestramento del modello generate quando hai eseguito la query CREATE MODEL:

  1. Nel pannello di navigazione di Google Cloud Console, nella sezione Risorse, espandi [PROJECT_ID] > bqml_tutorial e fai clic su sample_model.

  2. Fai clic sulla scheda Statistiche del modello. I risultati dovrebbero avere l'aspetto seguente:

    Output ML.TRAINING_INFO

    La colonna Perdita dei dati di addestramento rappresenta la metrica della perdita calcolata dopo l'iterazione data nel set di dati dell'addestramento. Poiché hai eseguito una regressione logistica, questa colonna è la perdita dei log. La colonna Perdita dei dati di valutazione è la stessa metrica di perdita calcolata sul set di dati di holdout (dati bloccati dall'addestramento per convalidare il modello).

    BigQuery ML suddivide automaticamente i dati di input in un set di addestramento e in un set di holdout per evitare l'overfitting del modello. Questo è necessario per fare in modo che l'algoritmo di addestramento non si adatti così strettamente ai dati noti che non verrà generale a nuovi esempi invisibili.

    La perdita di dati di addestramento e la perdita di dati di valutazione sono valori di perdita medi, calcolati in media su tutti gli esempi nei rispettivi set.

    Per maggiori dettagli sulla funzione ML.TRAINING_INFO, consulta la pagina di riferimento sulla sintassi di BigQuery ML.

Passaggio 4: valuta il modello

Dopo aver creato il modello, valuti le prestazioni della categoria di classificazione utilizzando la funzione ML.EVALUATE. La funzione ML.EVALUATE valuta i valori previsti in base ai dati effettivi. Puoi anche utilizzare la funzione ML.ROC_CURVE per metriche specifiche di regressione logistica.

In questo tutorial utilizzerai un modello di classificazione binaria che rileva le transazioni. Le due classi sono i valori nella colonna label: 0 (nessuna transazione) e 1 (transazione effettuata).

La query utilizzata per valutare il modello è la seguente:

#standardSQL
SELECT
  *
FROM
  ML.EVALUATE(MODEL `bqml_tutorial.sample_model`, (
SELECT
  IF(totals.transactions IS NULL, 0, 1) AS label,
  IFNULL(device.operatingSystem, "") AS os,
  device.isMobile AS is_mobile,
  IFNULL(geoNetwork.country, "") AS country,
  IFNULL(totals.pageviews, 0) AS pageviews
FROM
  `bigquery-public-data.google_analytics_sample.ga_sessions_*`
WHERE
  _TABLE_SUFFIX BETWEEN '20170701' AND '20170801'))

Dettagli query

L'istruzione SELECT più in alto recupera le colonne dal modello.

La clausola FROM utilizza la funzione ML.EVALUATE sul tuo modello: bqml_tutorial.sample_model.

L'istruzione SELECT e la clausola FROM nidificate di questa query sono uguali a quelle della query CREATE MODEL.

La clausola WHERE_TABLE_SUFFIX BETWEEN '20170701' AND '20170801' limita il numero di tabelle analizzate dalla query. L'intervallo di date scansionato va dal 1° luglio 2017 al 1° agosto 2017. Questi sono i dati che stai utilizzando per valutare le prestazioni predittive del modello. Sono state raccolte nel mese immediatamente successivo al periodo di tempo compreso nei dati di addestramento.

Esegui la query ML.EVALUATE

Per eseguire la query ML.EVALUATE che valuta il modello:

  1. In Google Cloud Console, fai clic sul pulsante Crea nuova query.

  2. Inserisci la seguente query SQL standard nell'area di testo Editor query.

    #standardSQL
    SELECT
      *
    FROM
      ML.EVALUATE(MODEL `bqml_tutorial.sample_model`, (
    SELECT
      IF(totals.transactions IS NULL, 0, 1) AS label,
      IFNULL(device.operatingSystem, "") AS os,
      device.isMobile AS is_mobile,
      IFNULL(geoNetwork.country, "") AS country,
      IFNULL(totals.pageviews, 0) AS pageviews
    FROM
      `bigquery-public-data.google_analytics_sample.ga_sessions_*`
    WHERE
      _TABLE_SUFFIX BETWEEN '20170701' AND '20170801'))
    
  3. Fai clic su Esegui.

  4. Quando la query è completa, fai clic sulla scheda Risultati sotto l'area del testo della query. I risultati dovrebbero avere l'aspetto seguente:

    +--------------------+---------------------+--------------------+--------------------+---------------------+----------+
    |     precision      |       recall        |      accuracy      |      f1_score      |      log_loss       | roc_auc  |
    +--------------------+---------------------+--------------------+--------------------+---------------------+----------+
    | 0.4451901565995526 | 0.08879964301651048 | 0.9716829479411401 | 0.1480654761904762 | 0.07921781778780206 | 0.970706 |
    +--------------------+---------------------+--------------------+--------------------+---------------------+----------+
    

    Poiché hai eseguito una regressione logistica, i risultati includono le seguenti colonne:

    • precision - Una metrica per i modelli di classificazione. La precisione identifica la frequenza con cui un modello era corretto quando prevedeva la classe positiva.
    • recall - Una metrica per i modelli di classificazione che risponde alla seguente domanda: Tra tutte le possibili etichette positive, quante ha identificato correttamente il modello?
    • accuracy - L'accuratezza è la frazione di previsione corretta di un modello di classificazione.
    • f1_score: una misura dell'accuratezza del modello. Il punteggio f1 è la media armonica della precisione e del richiamo. Il miglior punteggio di f1 è 1. Il valore peggiore è 0.
    • log_loss - La funzione di perdita utilizzata in una regressione logistica. Questa indica la distanza delle previsioni del modello dalle etichette corrette.
    • roc_auc: l'area sotto la curva ROC. Questa è la probabilità che un classificatore sia più sicuro che un esempio positivo scelto casualmente sia effettivamente positivo rispetto a un esempio negativo scelto casualmente. Per ulteriori informazioni, consulta la sezione Classificazione nel corso sugli arresti anomali del machine learning.

Passaggio 5: utilizza il modello per prevedere i risultati

Ora che hai valutato il modello, il passaggio successivo prevede di utilizzarlo per prevedere un risultato. Utilizzi il modello per prevedere il numero di transazioni effettuate dai visitatori del sito web di ogni paese.

La query utilizzata per prevedere il risultato è la seguente:

#standardSQL
SELECT
  country,
  SUM(predicted_label) as total_predicted_purchases
FROM
  ML.PREDICT(MODEL `bqml_tutorial.sample_model`, (
SELECT
  IFNULL(device.operatingSystem, "") AS os,
  device.isMobile AS is_mobile,
  IFNULL(totals.pageviews, 0) AS pageviews,
  IFNULL(geoNetwork.country, "") AS country
FROM
  `bigquery-public-data.google_analytics_sample.ga_sessions_*`
WHERE
  _TABLE_SUFFIX BETWEEN '20170701' AND '20170801'))
GROUP BY country
ORDER BY total_predicted_purchases DESC
LIMIT 10

Dettagli query

L'istruzione SELECT più in alto recupera la colonna country e somma la colonna predicted_label. Questa colonna è generata dalla funzione ML.PREDICT. Quando utilizzi la funzione ML.PREDICT, il nome della colonna di output per il modello è predicted_<label_column_name>. Per i modelli di regressione lineare, predicted_label è il valore stimato di label. Per i modelli di regressione logistica, predicted_label è l'etichetta più probabile, in questo caso 0 o 1.

La funzione ML.PREDICT viene utilizzata per prevedere i risultati utilizzando il modello: bqml_tutorial.sample_model.

L'istruzione SELECT e la clausola FROM nidificate di questa query sono uguali a quelle della query CREATE MODEL.

La clausola WHERE_TABLE_SUFFIX BETWEEN '20170701' AND '20170801' limita il numero di tabelle analizzate dalla query. L'intervallo di date scansionato va dal 1° luglio 2017 al 1° agosto 2017. Questi sono i dati per i quali stai effettuando previsioni. Sono state raccolte nel mese immediatamente successivo al periodo di tempo compreso nei dati di addestramento.

Le clausole GROUP BY e ORDER BY raggruppano i risultati per paese e li ordinano in base alla somma degli acquisti previsti in ordine decrescente.

La clausola LIMIT viene utilizzata qui per visualizzare solo i primi 10 risultati.

Esegui la query ML.PREDICT

Per eseguire la query che utilizza il modello per prevedere un risultato:

  1. In Google Cloud Console, fai clic sul pulsante Crea nuova query.

  2. Inserisci la seguente query SQL standard nell'area di testo Editor query.

    #standardSQL
    SELECT
      country,
      SUM(predicted_label) as total_predicted_purchases
    FROM
      ML.PREDICT(MODEL `bqml_tutorial.sample_model`, (
    SELECT
      IFNULL(device.operatingSystem, "") AS os,
      device.isMobile AS is_mobile,
      IFNULL(totals.pageviews, 0) AS pageviews,
      IFNULL(geoNetwork.country, "") AS country
    FROM
      `bigquery-public-data.google_analytics_sample.ga_sessions_*`
    WHERE
      _TABLE_SUFFIX BETWEEN '20170701' AND '20170801'))
    GROUP BY country
    ORDER BY total_predicted_purchases DESC
    LIMIT 10
    
  3. Fai clic su Esegui.

  4. Quando la query è completa, fai clic sulla scheda Risultati sotto l'area del testo della query. I risultati dovrebbero avere l'aspetto seguente:

    +----------------+---------------------------+
    |    country     | total_predicted_purchases |
    +----------------+---------------------------+
    | United States  |                       209 |
    | Taiwan         |                         6 |
    | Canada         |                         4 |
    | Turkey         |                         2 |
    | India          |                         2 |
    | Japan          |                         2 |
    | Indonesia      |                         1 |
    | United Kingdom |                         1 |
    | Guyana         |                         1 |
    +----------------+---------------------------+
    

(Facoltativo) Previsione degli acquisti per utente

In questo esempio, provi a prevedere il numero di transazioni effettuate da ogni visitatore del sito web. Questa query è identica alla query precedente, ad eccezione della clausola GROUP BY. In questo caso la clausola GROUP BY (GROUP BY fullVisitorId) viene utilizzata per raggruppare i risultati in base all'ID visitatore.

Per eseguire la query:

  1. In Google Cloud Console, fai clic sul pulsante Crea nuova query.

  2. Inserisci la seguente query SQL standard nell'area di testo Editor query.

    #standardSQL
    SELECT
      fullVisitorId,
      SUM(predicted_label) as total_predicted_purchases
    FROM
      ML.PREDICT(MODEL `bqml_tutorial.sample_model`, (
    SELECT
      IFNULL(device.operatingSystem, "") AS os,
      device.isMobile AS is_mobile,
      IFNULL(totals.pageviews, 0) AS pageviews,
      IFNULL(geoNetwork.country, "") AS country,
      fullVisitorId
    FROM
      `bigquery-public-data.google_analytics_sample.ga_sessions_*`
    WHERE
      _TABLE_SUFFIX BETWEEN '20170701' AND '20170801'))
    GROUP BY fullVisitorId
    ORDER BY total_predicted_purchases DESC
    LIMIT 10
    
  3. Fai clic su Esegui.

  4. Quando la query è completa, fai clic sulla scheda Risultati sotto l'area del testo della query. I risultati dovrebbero avere l'aspetto seguente:

    +---------------------+---------------------------+
    |    fullVisitorId    | total_predicted_purchases |
    +---------------------+---------------------------+
    | 9417857471295131045 |                         4 |
    | 2158257269735455737 |                         3 |
    | 5073919761051630191 |                         3 |
    | 7104098063250586249 |                         2 |
    | 4668039979320382648 |                         2 |
    | 1280993661204347450 |                         2 |
    | 7701613595320832147 |                         2 |
    | 0376394056092189113 |                         2 |
    | 9097465012770697796 |                         2 |
    | 4419259211147428491 |                         2 |
    +---------------------+---------------------------+
    

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi:

  • Puoi eliminare il progetto che hai creato.
  • In alternativa, puoi mantenere il progetto ed eliminare il set di dati.

Eliminazione del set di dati

L'eliminazione del progetto rimuove tutti i set di dati e tutte le tabelle che contiene. Se preferisci riutilizzare il progetto, puoi eliminare il set di dati che hai creato in questo tutorial:

  1. Se necessario, apri la pagina BigQuery in Google Cloud Console.

    Vai alla pagina BigQuery

  2. Nella navigazione, seleziona il set di dati bqml_tutorial che hai creato.

  3. Fai clic su Elimina set di dati sul lato destro della finestra. Questa azione elimina il set di dati, la tabella e tutti i dati.

    Elimina set di dati

  4. Nella finestra di dialogo Elimina set di dati, conferma il comando di eliminazione digitando il nome del set di dati (bqml_tutorial) e fai clic su Elimina.

Eliminazione del progetto in corso...

Per eliminare il progetto:

  1. In Google Cloud Console, vai alla pagina Gestisci risorse.

    Vai a Gestisci risorse

  2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
  3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

Passaggi successivi