Creare consigli basati su feedback espliciti con un modello di fattorizzazione matriciale

---

Questo tutorial ti insegna a creare un modello di fattorizzazione matriciale e ad addestrarlo sulle valutazioni dei film dei clienti nel set di dati movielens1m. Poi, utilizzi il modello di fattorizzazione matriciale per generare consigli sui film per gli utenti.

L'utilizzo delle valutazioni fornite dai clienti per addestrare il modello si chiama addestramento con feedback esplicito. I modelli di fattorizzazione della matrice vengono addestrati utilizzando l'algoritmo dei minimi quadrati alternati quando utilizzi feedback espliciti come dati di addestramento.

Importante: per utilizzare un modello di fattorizzazione della matrice, devi disporre di una prenotazione. Per ulteriori informazioni, consulta la sezione Prezzi.

Obiettivi

Questo tutorial ti guida nella realizzazione delle seguenti attività:

• Creare un modello di fattorizzazione matriciale utilizzando l'istruzione CREATE MODEL.
• Valutare il modello utilizzando la funzione ML.EVALUATE.
• Generare consigli sui film per gli utenti utilizzando il modello con la funzione ML.RECOMMEND.

Costi

Questo tutorial utilizza i componenti fatturabili di Google Cloud, tra cui:

• BigQuery
• BigQuery ML

Per ulteriori informazioni sui costi di BigQuery, consulta la pagina relativa ai prezzi di BigQuery.

Per ulteriori informazioni sui costi di BigQuery ML, consulta Prezzi di BigQuery ML.

Prima di iniziare

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. BigQuery viene attivato automaticamente nei nuovi progetti. Per attivare BigQuery in un progetto preesistente, vai a

   Enable the BigQuery API.

   Enable the API

Autorizzazioni richieste

• Per creare il set di dati, devi disporre dell'autorizzazione IAM bigquery.datasets.create.

• Per creare la risorsa di connessione, devi disporre delle seguenti autorizzazioni:

  • bigquery.connections.create
  • bigquery.connections.get

• Per creare il modello, devi disporre delle seguenti autorizzazioni:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.connections.delegate

• Per eseguire l'inferenza, devi disporre delle seguenti autorizzazioni:

  • bigquery.models.getData
  • bigquery.jobs.create

Per saperne di più sui ruoli e sulle autorizzazioni IAM in BigQuery, consulta Introduzione a IAM.

Crea un set di dati

Crea un set di dati BigQuery per archiviare il tuo modello ML:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai alla pagina BigQuery

2. Nel riquadro Explorer, fai clic sul nome del progetto.

3. Fai clic su Visualizza azioni > Crea set di dati.

   

4. Nella pagina Crea set di dati:

   • In ID set di dati, inserisci bqml_tutorial.

   • Per Tipo di località, seleziona Più regioni e poi Stati Uniti (più regioni negli Stati Uniti).

     I set di dati pubblici sono archiviati nella US multiregione. Per semplicità, archivia il set di dati nella stessa posizione.

   • Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.

     

Carica i dati di MovieLens

Carica i dati di movielens1m in BigQuery utilizzando lo strumento a riga di comando bq.

Per caricare i dati movielens1m:

1. Apri Cloud Shell:

   Attivare Cloud Shell

2. Carica i dati sulle valutazioni nella tabella ratings. Nella riga di comando, incolla la seguente query e premi Enter:

   curl -O 'http://files.grouplens.org/datasets/movielens/ml-1m.zip'
   unzip ml-1m.zip
   sed 's/::/,/g' ml-1m/ratings.dat > ratings.csv
   bq load --source_format=CSV bqml_tutorial.ratings ratings.csv \
     user_id:INT64,item_id:INT64,rating:FLOAT64,timestamp:TIMESTAMP
   

3. Carica i dati del film nella tabella movies. Nella riga di comando, incolla la seguente query e premi Enter:

   sed 's/::/@/g' ml-1m/movies.dat > movie_titles.csv
   bq load --source_format=CSV --field_delimiter=@ \
   bqml_tutorial.movies movie_titles.csv \
   movie_id:INT64,movie_title:STRING,genre:STRING
   

Crea il modello

Crea un modello di fattorizzazione matriciale e addestralo sui dati della tabella ratings. Il modello viene addestrato a prevedere una valutazione per ogni coppia utente-elemento, basata sulle valutazioni dei film fornite dai clienti.

Il seguente statement CREATE MODEL utilizza queste colonne per generare consigli:

• user_id: l'ID utente.
• item_id: l'ID del film.
• rating: la valutazione esplicita da 1 a 5 assegnata dall'utente all'elemento.

Per creare il modello:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, incolla la seguente query e fai clic su Esegui:

   CREATE OR REPLACE MODEL `bqml_tutorial.mf_explicit`
     OPTIONS (
       MODEL_TYPE = 'matrix_factorization',
       FEEDBACK_TYPE = 'explicit',
       USER_COL = 'user_id',
       ITEM_COL = 'item_id',
       L2_REG = 9.83,
       NUM_FACTORS = 34)
   AS
   SELECT
     user_id,
     item_id,
     rating
   FROM `bqml_tutorial.ratings`;

   Il completamento della query richiede circa 10 minuti, dopodiché il mf_explicit modello viene visualizzato nel riquadro Explorer. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, non vengono visualizzati i risultati della query.

Visualizzare le statistiche di addestramento

Se vuoi, puoi visualizzare le statistiche di addestramento del modello nella console Google Cloud.

Un algoritmo di machine learning crea un modello creando molte iterazioni del modello utilizzando parametri diversi e poi selezionando la versione del modello che riduce al minimo la perdita. Questo processo è noto come minimizzazione empirica del rischio. Le statistiche di addestramento del modello ti consentono di vedere la perdita associata a ogni iterazione del modello.

Per visualizzare le statistiche di addestramento del modello:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, espandi il progetto, il set di dati bqml_tutorial e la cartella Modelli.

3. Fai clic sul modello mf_explicit e poi sulla scheda Addestramento.

4. Nella sezione Visualizza come, fai clic su Tabella. I risultati dovrebbero essere simili ai seguenti:

   +-----------+--------------------+--------------------+
   | Iteration | Training Data Loss | Duration (seconds) |
   +-----------+--------------------+--------------------+
   |  11       | 0.3943             | 42.59              |
   +-----------+--------------------+--------------------+
   |  10       | 0.3979             | 27.37              |
   +-----------+--------------------+--------------------+
   |   9       | 0.4038             | 40.79              |
   +-----------+--------------------+--------------------+
   |  ...      | ...                | ...                |
   +-----------+--------------------+--------------------+
   

   La colonna Perdita di dati di addestramento rappresenta la metrica relativa alla perdita calcolata dopo l'addestramento del modello. Poiché si tratta di un modello di fattorizzazione della matrice, questa colonna mostra l'errore quadratico medio.

Puoi anche utilizzare la funzione ML.TRAINING_INFO per visualizzare le statistiche di addestramento del modello.

Valuta il modello

Valuta le prestazioni del modello utilizzando la funzione ML.EVALUATE. La funzione ML.EVALUATE valuta le valutazioni dei film previste restituite dal modello rispetto alle valutazioni dei film effettive degli utenti ricavate dai dati di addestramento.

Per valutare il modello:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, incolla la seguente query e fai clic su Esegui:

   SELECT
     *
   FROM
     ML.EVALUATE(
       MODEL `bqml_tutorial.mf_explicit`,
       (
         SELECT
           user_id,
           item_id,
           rating
         FROM
           `bqml_tutorial.ratings`
       ));

   I risultati dovrebbero essere simili ai seguenti:

   +---------------------+---------------------+------------------------+-----------------------+--------------------+--------------------+
   | mean_absolute_error | mean_squared_error  | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
   +---------------------+---------------------+------------------------+-----------------------+--------------------+--------------------+
   | 0.48494444327829156 | 0.39433706592870565 |   0.025437895793637522 |   0.39017059802629905 | 0.6840033369412044 | 0.6840033369412264 |
   +---------------------+---------------------+------------------------+-----------------------+--------------------+--------------------+
   

   Una metrica importante nei risultati della valutazione è il coefficiente R². Il coefficiente R² è una misura statistica che determina se le predizioni della regressione lineare si avvicinano ai dati effettivi. Un valore 0 indica che il modello non spiega nessuna delle variabilità dei dati di risposta attorno alla media. Un valore 1 indica che il modello spiega tutta la variabilità dei dati di risposta attorno alla media.

   Per saperne di più sull'output della funzione ML.EVALUATE, consulta Modelli di fattorizzazione della matrice.

Puoi anche chiamare ML.EVALUATE senza fornire i dati di input. Utilizzerà le metriche di valutazione calcolate durante l'addestramento.

Ottenere le valutazioni previste per un sottoinsieme di coppie utente-elemento

Utilizza ML.RECOMMEND per ottenere la valutazione prevista per ogni film per cinque utenti.

Per ottenere le valutazioni previste:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, incolla la seguente query e fai clic su Esegui:

   SELECT
     *
   FROM
     ML.RECOMMEND(
       MODEL `bqml_tutorial.mf_explicit`,
       (
         SELECT
           user_id
         FROM
           `bqml_tutorial.ratings`
         LIMIT 5
       ));

   I risultati dovrebbero essere simili ai seguenti:

   +--------------------+---------+---------+
   | predicted_rating   | user_id | item_id |
   +--------------------+---------+---------+
   | 4.2125303962491873 | 4       | 3169    |
   +--------------------+---------+---------+
   | 4.8068920531981263 | 4       | 3739    |
   +--------------------+---------+---------+
   | 3.8742203494732403 | 4       | 3574    |
   +--------------------+---------+---------+
   | ...                | ...     | ...     |
   +--------------------+---------+---------+
   

Genera suggerimenti

Utilizza le valutazioni previste per generare i cinque film consigliati migliori per ciascun utente.

Per generare consigli:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Scrivi le valutazioni previste in una tabella. Nell'editor di query, incolla la seguente query e fai clic su Esegui:

   CREATE OR REPLACE TABLE `bqml_tutorial.recommend`
   AS
   SELECT
     *
   FROM
     ML.RECOMMEND(MODEL `bqml_tutorial.mf_explicit`);

3. Unisci le valutazioni previste con le informazioni sui film e seleziona i cinque risultati migliori per utente. Nell'editor di query, incolla la seguente query e fai clic su Esegui:

   SELECT
     user_id,
     ARRAY_AGG(STRUCT(movie_title, genre, predicted_rating) ORDER BY predicted_rating DESC LIMIT 5)
   FROM
     (
       SELECT
         user_id,
         item_id,
         predicted_rating,
         movie_title,
         genre
       FROM
         `bqml_tutorial.recommend`
       JOIN
         `bqml_tutorial.movies`
         ON
           item_id = movie_id
     )
   GROUP BY
     user_id;

   I risultati dovrebbero essere simili ai seguenti:

   +---------+-------------------------------------+------------------------+--------------------+
   | user_id | f0_movie_title                      | f0_genre               | predicted_rating   |
   +---------+-------------------------------------+------------------------+--------------------+
   | 4597    | Song of Freedom (1936)              | Drama                  | 6.8495752907364009 |
   |         | I Went Down (1997)                  | Action/Comedy/Crime    | 6.7203235758772877 |
   |         | Men With Guns (1997)                | Action/Drama           | 6.399407352232001  |
   |         | Kid, The (1921)                     | Action                 | 6.1952890198126731 |
   |         | Hype! (1996)                        | Documentary            | 6.1895766097451475 |
   +---------+-------------------------------------+------------------------+--------------------+
   | 5349    | Fandango (1985)                     | Comedy                 | 9.944574012151549  |
   |         | Breakfast of Champions (1999)       | Comedy                 | 9.55661860430112   |
   |         | Funny Bones (1995)                  | Comedy                 | 9.52778917835076   |
   |         | Paradise Road (1997)                | Drama/War              | 9.1643621767929133 |
   |         | Surviving Picasso (1996)            | Drama                  | 8.807353289233772  |
   +---------+-------------------------------------+------------------------+--------------------+
   | ...     | ...                                 | ...                    | ...                |
   +---------+-------------------------------------+------------------------+--------------------+
   

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

• Puoi eliminare il progetto che hai creato.
• In alternativa, puoi conservare il progetto ed eliminare il set di dati.

Eliminare il set di dati

L'eliminazione del progetto rimuove tutti i set di dati e tutte le tabelle nel progetto. Se preferisci riutilizzare il progetto, puoi eliminare il set di dati creato in questo tutorial:

1. Se necessario, apri la pagina BigQuery nella console Google Cloud.

   Vai alla pagina BigQuery

2. Nella barra di navigazione, fai clic sul set di dati bqml_tutorial che hai creato.

3. Fai clic su Elimina set di dati sul lato destro della finestra. Questa azione elimina il set di dati, la tabella e tutti i dati.

4. Nella finestra di dialogo Elimina set di dati, conferma il comando di eliminazione digitando il nome del set di dati (bqml_tutorial) e poi fai clic su Elimina.

Elimina il progetto

Per eliminare il progetto:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Passaggi successivi

• Prova a creare un modello di fattorizzazione matriciale basato sul feedback implicito.
• Per una panoramica di BigQuery ML, consulta Introduzione a BigQuery ML.
• Per saperne di più sul machine learning, consulta Machine Learning Crash Course.