Utilizzare BigQuery ML per generare suggerimenti dai dati di Google Analytics

---

Nota: i modelli di fattorizzazione Matrix sono disponibili solo per i clienti con costo fisso o i clienti con prenotazioni. I clienti on demand sono incoraggiati a utilizzare gli slot flessibili per usare la fattorizzazione della matrice.

Questo tutorial introduce gli analisti di dati al modello di fattorizzazione della matrice in BigQuery ML. BigQuery ML consente agli utenti di creare ed eseguire modelli di machine learning in BigQuery utilizzando query SQL. L'obiettivo è democratizzare il machine learning, consentendo ai professionisti SQL di creare modelli utilizzando gli strumenti esistenti e aumentare la velocità di sviluppo, eliminando la necessità di spostare i dati.

In questo tutorial imparerai a creare un modello di fattorizzazione della matrice dal feedback implicito utilizzando la tabella di esempio GA360_test.ga_sessions_sample per dare suggerimenti in base a un ID visitatore e a un ID contenuto.

La tabella ga_sessions_sample contiene informazioni su una sezione dei dati sulle sessioni raccolti da Google Analytics 360 e inviati a BigQuery.

Obiettivi

In questo tutorial, utilizzerai:

• BigQuery ML: per creare un modello di suggerimenti implicito utilizzando l'istruzione CREATE MODEL.
• La funzione ML.EVALUATE: per valutare i modelli di machine learning.
• La funzione ML.WEIGHTS: per controllare le ponderazioni dei fattori latenti generati durante l'addestramento.
• La funzione ML.RECOMMEND: per generare consigli per un utente.

Costi

Questo tutorial utilizza i componenti fatturabili di Google Cloud, tra cui:

• BigQuery
• BigQuery ML

Per ulteriori informazioni sui costi di BigQuery, consulta la pagina Prezzi di BigQuery.

Per ulteriori informazioni sui costi di BigQuery ML, consulta Prezzi di BigQuery ML.

Prima di iniziare

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. Nella console di Google Cloud Console, nella pagina del selettore dei progetti, seleziona o crea un progetto Google Cloud.

   Nota: se non prevedi di conservare le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto e rimuovere tutte le risorse associate.

   Vai al selettore progetti

3. Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud. Scopri come verificare se la fatturazione è abilitata per un progetto.

4. Nella console di Google Cloud Console, nella pagina del selettore dei progetti, seleziona o crea un progetto Google Cloud.

   Nota: se non prevedi di conservare le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto e rimuovere tutte le risorse associate.

   Vai al selettore progetti

5. Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud. Scopri come verificare se la fatturazione è abilitata per un progetto.

6. BigQuery è abilitato automaticamente nei nuovi progetti. Per attivare BigQuery in un progetto preesistente, vai a

   Attiva l'API BigQuery.

   Abilita l'API

Passaggio 1: crea il set di dati

Crea un set di dati BigQuery per archiviare il tuo modello ML:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai alla pagina BigQuery

2. Nel riquadro Explorer, fai clic sul nome del progetto.

3. Fai clic su Visualizza azioni > Crea set di dati.

   

4. Nella pagina Crea set di dati, procedi nel seguente modo:

   • In ID set di dati, inserisci bqml_tutorial.

   • Per Tipo di località, seleziona Più aree geografiche e poi Stati Uniti (più aree geografiche negli Stati Uniti).

     I set di dati pubblici sono archiviati nell'area geografica multipla US. Per semplicità, archivia il set di dati nella stessa posizione.

   • Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.

     

Passaggio 2: carica i dati di Analytics 360 in BigQuery

Nella maggior parte dei casi, le valutazioni nei dati non riflettono un valore impostato esplicitamente da un utente. In questi casi, possiamo concepire un proxy per questi valori sotto forma di valutazione implicita e utilizzare un algoritmo diverso per il calcolo dei suggerimenti. In questo campione, utilizzeremo un set di dati di esempio di Analytics 360. Questo esempio si basa sul seguente articolo.

Di seguito è riportata una query da eseguire per creare un set di dati con valutazioni implicite dalla durata della sessione che un visitatore ha avuto su una pagina da cloud-training-demos.GA360_test.ga_sessions_sample. L'obiettivo di questa query è creare un set di dati con tre colonne che possiamo mappare a una colonna utente, una colonna elemento e una colonna di valutazione.

1. Nella console Google Cloud, fai clic sul pulsante Crea nuova query.

2. Inserisci la seguente query GoogleSQL nell'area di testo Query editor.

   #standardSQL
   CREATE OR REPLACE TABLE
    bqml_tutorial.analytics_session_data AS
   WITH
    visitor_page_content AS (
    SELECT
      fullVisitorID,
      (
      SELECT
        MAX(
        IF
          (index=10,
            value,
            NULL))
      FROM
        UNNEST(hits.customDimensions)) AS latestContentId,
      (LEAD(hits.time, 1)
        OVER (PARTITION BY fullVisitorId ORDER BY hits.time ASC) - hits.time)
                AS session_duration
    FROM
      `cloud-training-demos.GA360_test.ga_sessions_sample`,
      UNNEST(hits) AS hits
    WHERE
      # only include hits on pages
      hits.type = "PAGE"
    GROUP BY
      fullVisitorId,
      latestContentId,
      hits.time )
    # aggregate web stats
   SELECT
    fullVisitorID AS visitorId,
    latestContentId AS contentId,
    SUM(session_duration) AS session_duration
   FROM
    visitor_page_content
   WHERE
    latestContentId IS NOT NULL
   GROUP BY
    fullVisitorID,
    latestContentId
   HAVING
    session_duration > 0
   ORDER BY
    latestContentId
   

3. (Facoltativo) Per impostare la località di elaborazione, fai clic su Altro > Impostazioni query. In Località di elaborazione, scegli US. Questo passaggio è facoltativo perché la località di elaborazione viene rilevata automaticamente in base alla località del set di dati.

   

4. Fai clic su Esegui.

   Al termine della query, (bqml_tutorial.analytics_session_data) verrà visualizzato nel pannello di navigazione. Poiché la query utilizza un'istruzione CREATE TABLE per creare una tabella, i risultati non sono visualizzati.

5. Se osservi la tabella prodotta, dovrebbe essere simile alla seguente:

   

   Tieni presente che questo risultato è specifico per il modo in cui i dati sono stati esportati in BigQuery. La query per estrarre i tuoi dati potrebbe essere diversa.

Passaggio 3: crea il tuo modello di consigli impliciti

A questo punto, crea un modello di suggerimenti implicito utilizzando la tabella di Google Analytics caricata nel passaggio precedente. La seguente query GoogleSQL viene utilizzata per creare il modello, che verrà utilizzato per prevedere una valutazione di affidabilità per ogni coppia contentId visitorId. Viene creata una valutazione centrata e scalando in base alla durata della sessione mediana e filtrando questi record in cui la durata della sessione è superiore a 3, 33 volte la mediana come valori anomali.

#standardSQL
CREATE OR REPLACE MODEL bqml_tutorial.my_implicit_mf_model
OPTIONS
  (model_type='matrix_factorization',
   feedback_type='implicit',
   user_col='visitorId',
   item_col='contentId',
   rating_col='rating',
   l2_reg=30,
   num_factors=15) AS
SELECT
  visitorId,
  contentId,
  0.3 * (1 + (session_duration - 57937) / 57937) AS rating
FROM bqml_tutorial.analytics_session_data
WHERE 0.3 * (1 + (session_duration - 57937) / 57937) < 1

Dettagli query

La clausola CREATE MODEL viene utilizzata per creare e addestrare il modello denominato bqml_tutorial.my_implicit_mf_model.

La clausola OPTIONS(model_type='matrix_factorization', feedback_type='IMPLICIT', user_col='visitorId', ...) indica che stai creando un modello di fattorizzazione della matrice. Poiché viene specificato feedback_type='IMPLICIT', verrà addestrato un modello di fattorizzazione della matrice implicita. Un esempio di come creare un modello esplicito di fattorizzazione della matrice è spiegato nella sezione Creare un modello esplicito di fattorizzazione della matrice.

L'istruzione SELECT di questa query utilizza le seguenti colonne per generare suggerimenti.

• visitorId: l'ID visitatore (INT64).
• contentId: l'ID contenuto (INT64).
• rating: la valutazione implicita da 0 a 1 calcolata per visitorId e i relativi contentId centrati e scalati (FLOAT64).

La clausola FROM, bqml_tutorial.analytics_session_data, indica che stai eseguendo query sulla tabella analytics_session_data nel set di dati bqml_tutorial. Questo set di dati è nel tuo progetto BigQuery se sono state seguite le istruzioni nei passaggi 2 e 8.

Esegui la query CREATE MODEL

Per eseguire la query CREATE MODEL per creare e addestrare il modello:

1. Nella console Google Cloud, fai clic sul pulsante Crea nuova query.

2. Inserisci la seguente query GoogleSQL nell'area di testo Query editor.

   #standardSQL
   CREATE OR REPLACE MODEL bqml_tutorial.my_implicit_mf_model
   OPTIONS
    (model_type='matrix_factorization',
     feedback_type='implicit',
     user_col='visitorId',
     item_col='contentId',
     rating_col='rating',
     l2_reg=30,
     num_factors=15) AS
   SELECT
    visitorId,
    contentId,
    0.3 * (1 + (session_duration - 57937) / 57937) AS rating
   FROM bqml_tutorial.analytics_session_data
   

3. Fai clic su Esegui.

   La query richiede circa 12 minuti, trascorsi i quali il modello (my_implicit_mf_model) viene visualizzato nel pannello di navigazione. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, i risultati della query non sono visibili.

(Facoltativo) Passaggio 4: consulta le statistiche di addestramento

Per visualizzare i risultati dell'addestramento del modello, puoi utilizzare la funzione ML.TRAINING_INFO o visualizzare le statistiche nella console Google Cloud. In questo tutorial, utilizzerai la console Google Cloud.

Un algoritmo di machine learning crea un modello esaminando molti esempi e provando a trovare un modello che riduca al minimo la perdita. Questa procedura è chiamata "minimizzazione del rischio empirica".

Per visualizzare le statistiche di addestramento del modello generate quando hai eseguito la query CREATE MODEL:

1. Nel pannello di navigazione della console Google Cloud, nella sezione Risorse, espandi [PROJECT_ID] > bqml_tutorial e fai clic su my_implicit_mf_model.

2. Fai clic sulla scheda Formazione e poi su Tabella. I risultati dovrebbero avere il seguente aspetto:

   

   La colonna Perdita dei dati di addestramento rappresenta la metrica di perdita calcolata dopo che il modello è stato addestrato sul set di dati di addestramento. Poiché hai eseguito la fattorizzazione matrice, questa colonna rappresenta l'errore al quadrato medio. Per impostazione predefinita, i modelli di fattorizzazione della matrice non suddividono i dati, pertanto la colonna Perdita dei dati di valutazione non sarà presente a meno che non venga specificato un set di dati di holdout perché la suddivisione dei dati ha la possibilità di perdere tutte le valutazioni per un utente o un elemento. Di conseguenza, il modello non avrà informazioni sul fattore di latenza su utenti o elementi mancanti.

   Per maggiori dettagli sulla funzione ML.TRAINING_INFO, consulta il riferimento per la sintassi BigQuery ML.

Passaggio 5: valuta il modello

Dopo aver creato il modello, valuti le prestazioni del motore per suggerimenti utilizzando la funzione ML.EVALUATE. La funzione ML.EVALUATE valuta le valutazioni previste rispetto alle valutazioni effettive.

La query utilizzata per valutare il modello è la seguente:

#standardSQL
SELECT
  *
FROM
  ML.EVALUATE(MODEL `bqml_tutorial.my_implicit_mf_model`)

Dettagli query

L'istruzione SELECT più in alto recupera le colonne dal modello.

La clausola FROM utilizza la funzione ML.EVALUATE rispetto al modello: bqml_tutorial.my_implicit_mf_model.

Esegui la query ML.EVALUATE

Per eseguire la query ML.EVALUATE che valuta il modello:

1. Nella console Google Cloud, fai clic sul pulsante Crea nuova query.

2. Inserisci la seguente query GoogleSQL nell'area di testo Query editor.

   #standardSQL
   SELECT
    *
   FROM
    ML.EVALUATE(MODEL bqml_tutorial.my_implicit_mf_model)
   

3. (Facoltativo) Per impostare la località di elaborazione, fai clic su Altro > Impostazioni query. In Località di elaborazione, scegli US. Questo passaggio è facoltativo perché la località di elaborazione viene rilevata automaticamente in base alla località del set di dati.

   

4. Fai clic su Esegui.

5. Al termine della query, fai clic sulla scheda Risultati sotto l'area di testo della query. I risultati dovrebbero avere il seguente aspetto:

   

   Poiché hai eseguito un fattore di matrice implicito, i risultati includono le seguenti colonne:

   • mean_average_precision
   • mean_squared_error
   • normalized_discounted_cumulative_gain
   • average_rank

   mean_average_precision, normalized_discounted_cumulative_gain e average_rank sono metriche di ranking spiegate qui: Metriche implicite di fattorizzazione della matrice

Passaggio 6. Prevedi valutazioni e consigli

Utilizza il modello per prevedere le valutazioni e dare consigli

Trova tutte le confidenza di valutazione contentId per un insieme di visitorIds

ML.RECOMMEND non deve assumere altri argomenti oltre al modello, ma può utilizzare una tabella facoltativa. Se la tabella di input ha una sola colonna che corrisponde al nome dell'input user o la colonna di input item, tutte le valutazioni degli elementi previste per ogni user verranno restituite e viceversa. Tieni presente che se tutti i valori users o tutti i valori items si trovano nella tabella di input, verranno restituiti gli stessi risultati del passaggio di nessun argomento facoltativo a ML.RECOMMEND.

Di seguito è riportato un esempio di una query per recuperare tutte le confidenza di valutazione previste per 5 visitatori.

#standardSQL
SELECT
  *
FROM
  ML.RECOMMEND(MODEL bqml_tutorial.my_implicit_mf_model,
    (
    SELECT
      visitorId
    FROM
      bqml_tutorial.analytics_session_data
    LIMIT 5))

Dettagli query

L'istruzione SELECT più in alto recupera la colonna visitorId, contentId e predicted_rating_confidence. Questa ultima colonna viene generata dalla funzione ML.RECOMMEND. Quando utilizzi la funzione ML.RECOMMEND, il nome della colonna di output per i modelli di fattorizzazione della matrice implicita è predicted_rating-column-name_confidence. Per i modelli di fattorizzazione implicita delle matrici, predicted_rating_confidence è la confidenza stimata per la coppia user/item. Questo valore di affidabilità è approssimato compreso tra 0 e 1, dove la confidenza più alta indica che user preferisce item rispetto a un item con un valore di affidabilità più basso.

La funzione ML.RECOMMEND viene utilizzata per prevedere le valutazioni utilizzando il modello: bqml_tutorial.my_implicit_mf_model.

L'istruzione nidificata SELECT di questa query seleziona solo la colonna visitorId dalla tabella originale utilizzata per l'addestramento.

La clausola LIMIT, LIMIT 5, escluderà in modo casuale 5 visitorId da inviare a ML.RECOMMEND.

Trova le valutazioni per tutte le coppie visitorId contentId

Ora che hai valutato il modello, il passaggio successivo consiste nell'utilizzarlo per ottenere una valutazione sicura. Puoi utilizzare il tuo modello per prevedere il grado di confidenza di ogni combinazione utente-elemento nella seguente query:

#standardSQL
SELECT
  *
FROM
  ML.RECOMMEND(MODEL bqml_tutorial.my_implicit_mf_model)

Dettagli query

L'istruzione SELECT più in alto recupera la colonna visitorId, contentId e predicted_rating_confidence. Questa ultima colonna viene generata dalla funzione ML.RECOMMEND. Quando utilizzi la funzione ML.RECOMMEND, il nome della colonna di output per i modelli di fattorizzazione della matrice implicita è predicted_rating-column-name_confidence. Per i modelli di fattorizzazione della matrice implicita, predicted_rating_confidence è l'affidabilità stimata per la coppia user/item. Questo valore di affidabilità è compreso tra 0 e 1 circa, dove la maggiore affidabilità indica che user preferisce item rispetto a un item con un valore di affidabilità più basso.

La funzione ML.RECOMMEND viene utilizzata per prevedere le valutazioni utilizzando il modello: bqml_tutorial.my_implicit_mf_model.

Nota: questa query genera una valutazione prevista per ogni coppia. Di conseguenza, può trattarsi di un output di dimensioni piuttosto grandi. Si consiglia di salvare l'output in una tabella che viene quindi utilizzata in altre query per l'analisi.

Un modo per salvare il risultato nella tabella è:

#standardSQL
CREATE OR REPLACE TABLE bqml_tutorial.recommend_content
OPTIONS() AS
SELECT
  *
FROM
  ML.RECOMMEND(MODEL bqml_tutorial.my_implicit_mf_model)

Se si verifica un errore Query Exceeded Resource Limits per ML.RECOMMEND, riprova con un livello di fatturazione più elevato. Nello strumento a riga di comando di BigQuery, questo valore può essere impostato utilizzando --maximum_billing_tier.

Genera suggerimenti

La seguente query utilizza ML.RECOMMEND per estrarre i primi cinque contentId consigliati per visitorId.

#standardSQL
SELECT
  visitorId,
  ARRAY_AGG(STRUCT(contentId, predicted_rating_confidence)
    ORDER BY predicted_rating_confidence DESC LIMIT 5) AS rec
FROM
  bqml_tutorial.recommend_content
GROUP BY
  visitorId

Dettagli query

L'istruzione SELECT aggrega i risultati della query ML.RECOMMEND utilizzando GROUP BY visitorId per aggregare contentId e predicted_rating_confidence in ordine decrescente e conserva solo i primi 5 ID contenuti.

Utilizzando la query dei consigli precedenti, possiamo ordinare i prodotti in base alla valutazione prevista e produrre i migliori risultati previsti per ciascun utente. La query seguente unisce i item_ids con i movie_ids trovati nella tabella movielens.movie_titles caricati in precedenza e restituisce i primi 5 film consigliati per utente.

Esegui la query ML.RECOMMEND

Per eseguire la query ML.RECOMMEND che restituisce i primi 5 ID contenuti consigliati per ID visitatore:

1. Nella console Google Cloud, fai clic sul pulsante Crea nuova query.

2. Inserisci la seguente query GoogleSQL nell'area di testo Query editor.

   #standardSQL
   CREATE OR REPLACE TABLE bqml_tutorial.recommend_content
   OPTIONS() AS
   SELECT
    *
   FROM
    ML.RECOMMEND(MODEL bqml_tutorial.my_implicit_mf_model)
   

3. Fai clic su Esegui.

   Al termine della query, (bqml_tutorial.recommend_content) verrà visualizzato nel pannello di navigazione della console Google Cloud. Poiché la query utilizza un'istruzione CREATE TABLE per creare una tabella, i risultati non sono visualizzati.

4. Scrivi un'altra nuova query. Inserisci la seguente query GoogleSQL nell'area di testo Editor query al termine della query precedente.

   #standardSQL
   SELECT
    visitorId,
    ARRAY_AGG(STRUCT(contentId, predicted_rating_confidence)
      ORDER BY predicted_rating_confidence DESC LIMIT 5) AS rec
   FROM
    `bqml_tutorial.recommend_content`
   GROUP BY
    visitorId
   

5. (Facoltativo) Per impostare la località di elaborazione, fai clic su Altro > Impostazioni query. In Località di elaborazione, scegli US. Questo passaggio è facoltativo perché la località di elaborazione viene rilevata automaticamente in base alla località del set di dati.

   

6. Fai clic su Esegui.

7. Al termine della query, fai clic sulla scheda Risultati sotto l'area di testo della query. I risultati dovrebbero avere il seguente aspetto:

   

Esegui la pulizia

Per evitare che al tuo Account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

• Puoi eliminare il progetto che hai creato.
• In alternativa, puoi mantenere il progetto ed eliminare il set di dati.

Elimina il set di dati

L'eliminazione del progetto comporta la rimozione di tutti i set di dati e di tutte le tabelle al suo interno. Se preferisci riutilizzare il progetto, puoi eliminare il set di dati che hai creato in questo tutorial:

1. Se necessario, apri la pagina BigQuery nella console Google Cloud.

   Vai alla pagina BigQuery

2. Nella barra di navigazione, fai clic sul set di dati bqml_tutorial creato.

3. Fai clic su Elimina set di dati sul lato destro della finestra. Questa azione elimina il set di dati, la tabella e tutti i dati.

4. Nella finestra di dialogo Elimina set di dati, conferma il comando di eliminazione digitando il nome del set di dati (bqml_tutorial) e fai clic su Elimina.

Elimina il progetto

Per eliminare il progetto:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per questo tutorial, quando lo elimini elimini anche tutti gli altri lavori che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più tutorial e guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

Passaggi successivi

• Per saperne di più sul machine learning, consulta il corso sugli arresti anomali del machine learning.
• Per una panoramica di BigQuery ML, consulta Introduzione a BigQuery ML.
• Per scoprire di più sulla console Google Cloud, consulta Utilizzo della console Google Cloud.