Questo tutorial presenta agli analisti di dati il modello di fattorizzazione della matrice in BigQuery ML. BigQuery ML consente agli utenti di creare ed eseguire modelli di machine learning in BigQuery utilizzando query SQL. L'obiettivo è democratizzare il machine learning consentendo ai professionisti SQL di creare modelli utilizzando gli strumenti esistenti e di aumentare la velocità di sviluppo eliminando la necessità di spostamento dei dati.
In questo tutorial imparerai a creare un modello di fattorizzazione della matrice dal feedback implicito utilizzando la tabella di esempio GA360_test.ga_sessions_sample
per fornire consigli in base a un ID visitatore e a un ID contenuto.
La tabella ga_sessions_sample
contiene informazioni su una porzione dei dati della sessione raccolti da Google Analytics 360 e inviati a BigQuery.
Obiettivi
Questo tutorial è composto dai seguenti strumenti:
- BigQuery ML: per creare un modello di commenti implicito utilizzando
l'istruzione
CREATE MODEL
. - La funzione
ML.EVALUATE
: per valutare i modelli di machine learning. - La funzione
ML.WEIGHTS
: per controllare i pesi del fattore latente generati durante l'addestramento. - La funzione
ML.RECOMMEND
: generare consigli per un utente.
Costi
Questo tutorial utilizza componenti fatturabili di Google Cloud, tra cui:
- BigQuery
- BigQuery ML
Per ulteriori informazioni sui costi di BigQuery, consulta la pagina Prezzi di BigQuery.
Per ulteriori informazioni sui costi di BigQuery ML, consulta la pagina Prezzi di BigQuery ML.
Prima di iniziare
- Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
-
Nella pagina del selettore dei progetti in Google Cloud Console, seleziona o crea un progetto Google Cloud.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Cloud. Scopri come verificare se la fatturazione è abilitata su un progetto.
-
Nella pagina del selettore dei progetti in Google Cloud Console, seleziona o crea un progetto Google Cloud.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Cloud. Scopri come verificare se la fatturazione è abilitata su un progetto.
- BigQuery viene abilitato automaticamente nei nuovi progetti.
Per attivare BigQuery in un progetto preesistente, vai a
Attiva l'API BigQuery.
Passaggio 1: crea il set di dati
Il primo passaggio consiste nel creare un set di dati BigQuery per archiviare il tuo modello di machine learning. Per creare il tuo set di dati:
In Cloud Console, vai alla pagina BigQuery.
Nella sezione Risorse, fai clic sul nome del tuo progetto.
Nel riquadro dei dettagli, fai clic su Crea set di dati.
Nella pagina Crea set di dati:
- In ID set di dati, inserisci
bqml_tutorial
. In Località dei dati, scegli Stati Uniti (US). Attualmente, i set di dati pubblici sono archiviati nella località con più aree geografiche
US
. Per semplicità, il set di dati deve essere nella stessa posizione.
- In ID set di dati, inserisci
Lascia invariate tutte le altre impostazioni predefinite e fai clic su Crea set di dati.
Passaggio 2: carica i dati di Google Analytics 360 su BigQuery
Nella maggior parte dei casi, le valutazioni nei tuoi dati non riflettono un valore che un utente imposta in modo esplicito. In questi casi, possiamo conferire a questi valori un proxy come valutazione implicita e utilizzare un algoritmo diverso per calcolare i consigli. In questo esempio verrà utilizzato un set di dati di esempio Google Analytics 360. Questo esempio si basa sul seguente articolo.
Di seguito è riportata una query da eseguire per creare un set di dati con valutazioni implicite
dalla durata della sessione che un visitatore ha avuto su una pagina da
cloud-training-demos.GA360_test.ga_sessions_sample
. L'obiettivo di questa query è
creare un set di dati con tre colonne che possiamo mappare a una colonna utente, una colonna elemento
e una colonna di valutazione.
In Cloud Console, fai clic sul pulsante Crea nuova query.
Inserisci la seguente query SQL standard nell'area di testo Editor query.
#standardSQL CREATE OR REPLACE TABLE bqml_tutorial.analytics_session_data AS WITH visitor_page_content AS ( SELECT fullVisitorID, ( SELECT MAX( IF (index=10, value, NULL)) FROM UNNEST(hits.customDimensions)) AS latestContentId, (LEAD(hits.time, 1) OVER (PARTITION BY fullVisitorId ORDER BY hits.time ASC) - hits.time) AS session_duration FROM `cloud-training-demos.GA360_test.ga_sessions_sample`, UNNEST(hits) AS hits WHERE # only include hits on pages hits.type = "PAGE" GROUP BY fullVisitorId, latestContentId, hits.time ) # aggregate web stats SELECT fullVisitorID AS visitorId, latestContentId AS contentId, SUM(session_duration) AS session_duration FROM visitor_page_content WHERE latestContentId IS NOT NULL GROUP BY fullVisitorID, latestContentId HAVING session_duration > 0 ORDER BY latestContentId
(Facoltativo) Per impostare la località di elaborazione, fai clic su Altro &Impostazioni impostazioni di query. In Località di elaborazione, scegli
US
. Questo passaggio è facoltativo perché la località di elaborazione viene rilevata automaticamente in base alla posizione del set di dati.Fai clic su Esegui.
Quando la query termina l'esecuzione, (
bqml_tutorial.analytics_session_data
) comparirà nel pannello di navigazione. Poiché la query utilizza un'istruzioneCREATE TABLE
per creare una tabella, non visualizzi i risultati.Se dai un'occhiata alla tabella prodotta, dovresti vedere un aspetto simile al seguente:
Tieni presente che questo risultato è specifico per il modo in cui i dati sono stati esportati in BigQuery. La query per l'estrazione dei tuoi dati potrebbe essere diversa.
Passaggio 3: crea il modello di suggerimenti impliciti
Il prossimo passaggio consiste nel creare un modello di suggerimenti implicito utilizzando la tabella di Google Analytics che è stata caricata nel passaggio precedente. La seguente query SQL standard viene utilizzata per creare il modello, che verrà utilizzato per prevedere una valutazione di affidabilità per ogni coppia visitorId
contentId
. Viene creata una valutazione centrando e scalando in base alla durata media della sessione e filtrando tali record in cui la durata della sessione è superiore a 3, 33 volte la mediana come outlier.
#standardSQL CREATE OR REPLACE MODEL bqml_tutorial.my_implicit_mf_model OPTIONS (model_type='matrix_factorization', feedback_type='implicit', user_col='visitorId', item_col='contentId', rating_col='rating', l2_reg=30, num_factors=15) AS SELECT visitorId, contentId, 0.3 * (1 + (session_duration - 57937) / 57937) AS rating FROM bqml_tutorial.analytics_session_data WHERE 0.3 * (1 + (session_duration - 57937) / 57937) < 1
Dettagli query
La clausola CREATE MODEL
viene utilizzata per creare e addestrare il modello denominato bqml_tutorial.my_implicit_mf_model
.
La clausola OPTIONS(model_type='matrix_factorization', feedback_type='IMPLICIT',
user_col='visitorId', ...)
indica che stai creando un modello di fattorizzazione matrice. Perché
feedback_type='IMPLICIT'
è specificato un modello di fattorizzazione implicito della matrice.
Un esempio di come creare un modello di fattorizzazione a matrice esplicita è spiegato in Creare un modello di fattorizzazione a matrice esplicita.
L'istruzione SELECT
di questa query utilizza le seguenti colonne per generare suggerimenti.
visitorId
: l'ID visitatore (INT64).contentId
: l'ID contenuto (INT64).rating
: la valutazione implicita da 0 a 1 calcolata pervisitorId
e i relativicontentId
centrati e scalati (FLOAT64).
La clausola FROM
—bqml_tutorial.analytics_session_data
indica che stai eseguendo una query sulla tabella analytics_session_data
nel set di dati bqml_tutorial
. Questo set di dati è nel tuo progetto BigQuery se sono state seguite le istruzioni nei passaggi 2 e 8.
Esegui la query CREATE MODEL
Per eseguire la query CREATE MODEL
per creare e addestrare il modello:
In Cloud Console, fai clic sul pulsante Crea nuova query.
Inserisci la seguente query SQL standard nell'area di testo Editor query.
#standardSQL CREATE OR REPLACE MODEL bqml_tutorial.my_implicit_mf_model OPTIONS (model_type='matrix_factorization', feedback_type='implicit', user_col='visitorId', item_col='contentId', rating_col='rating', l2_reg=30, num_factors=15) AS SELECT visitorId, contentId, 0.3 * (1 + (session_duration - 57937) / 57937) AS rating FROM bqml_tutorial.analytics_session_data
Fai clic su Esegui.
Per completare la query sono necessari circa 12 minuti, dopodiché il modello (
my_implicit_mf_model
) verrà visualizzato nel pannello di navigazione. Poiché la query utilizza un'istruzioneCREATE MODEL
per creare un modello, non vedi i risultati delle query.
(Facoltativo) Passaggio 4: ricevi le statistiche di addestramento
Per visualizzare i risultati dell'addestramento del modello, puoi utilizzare la funzione ML.TRAINING_INFO
o visualizzare le statistiche in Cloud Console. In questo tutorial utilizzerai Cloud Console.
Un algoritmo di machine learning crea un modello esaminando molti esempi e tentando di trovare un modello che riduca al minimo la perdita. Questo processo è chiamato minimizzazione del rischio empirico.
Per visualizzare le statistiche di addestramento del modello generate quando hai eseguito la query
CREATE MODEL
:
Nel riquadro di navigazione di Cloud Console, nella sezione Risorse, espandi [PROJECT_ID] > bqml_tutorial e fai clic su my_implicit_mf_model.
Fai clic sulla scheda Formazione, quindi su Tabella. I risultati dovrebbero avere il seguente aspetto:
La colonna Perdita di dati di addestramento rappresenta la metrica relativa alla perdita calcolata dopo l'addestramento del modello nel set di dati di addestramento. Poiché hai eseguito la fattorizzazione della matrice, questa colonna è l'errore quadratico medio. Per impostazione predefinita, i modelli di fattorizzazione della matrice non suddividono i dati, quindi la colonna Perdita dei dati di valutazione non sarà presente a meno che non venga specificato un set di dati di riserva perché la suddivisione dei dati ha la possibilità di perdere tutte le valutazioni per un utente o un elemento. Di conseguenza, il modello non avrà informazioni sul fattore latente su utenti o articoli mancanti.
Per maggiori dettagli sulla funzione
ML.TRAINING_INFO
, consulta il riferimento per la sintassi di BigQuery ML.
Passaggio 5: valuta il modello
Dopo aver creato il modello, valuti le prestazioni del motore per suggerimenti utilizzando la funzione ML.EVALUATE
. La funzione ML.EVALUATE
valuta le valutazioni
previste in base alle valutazioni effettive.
La query utilizzata per valutare il modello è la seguente:
#standardSQL SELECT * FROM ML.EVALUATE(MODEL `bqml_tutorial.my_implicit_mf_model`)
Dettagli query
L'istruzione SELECT
più in alto recupera le colonne dal modello.
La clausola FROM
utilizza la funzione ML.EVALUATE
sul tuo modello: bqml_tutorial.my_implicit_mf_model
.
Esegui la query ML.EVALUATE
Per eseguire la query ML.EVALUATE
che valuta il modello:
In Cloud Console, fai clic sul pulsante Crea nuova query.
Inserisci la seguente query SQL standard nell'area di testo Editor query.
#standardSQL SELECT * FROM ML.EVALUATE(MODEL bqml_tutorial.my_implicit_mf_model)
(Facoltativo) Per impostare la località di elaborazione, fai clic su Altro &Impostazioni impostazioni di query. In Località di elaborazione, scegli
US
. Questo passaggio è facoltativo perché la località di elaborazione viene rilevata automaticamente in base alla posizione del set di dati.Fai clic su Esegui.
Una volta completata la query, fai clic sulla scheda Risultati sotto l'area di testo della query. Il risultato dovrebbe essere simile all'esempio seguente:
Poiché hai eseguito una fattorizzazione implicita della matrice, i risultati includono le seguenti colonne:
mean_average_precision
mean_squared_error
normalized_discounted_cumulative_gain
average_rank
mean_average_precision
,normalized_discounted_cumulative_gain
eaverage_rank
sono metriche di ranking spiegate qui: Metriche implicite per la fattorizzazione della matrice
Passaggio 6: utilizza il modello per prevedere le valutazioni e dare consigli
Trova tutte le classificazioni di contentId
per un insieme di visitorIds
ML.RECOMMEND
non richiede ulteriori argomenti oltre al modello,
ma può utilizzare una tabella facoltativa. Se la tabella di input ha solo una colonna che
corrisponde al nome dell'input user
o di colonna item
di input, tutte le
valutazioni di elementi previste per ogni user
verranno restituite e viceversa. Tieni presente che se tutti gli elementi users
o items
nella tabella di input
riporteranno gli stessi risultati, senza trasmettere alcun argomento facoltativo a ML.RECOMMEND
.
Di seguito è riportato un esempio di query per recuperare tutte le verifiche di valutazione previste per cinque visitatori.
#standardSQL SELECT * FROM ML.RECOMMEND(MODEL bqml_tutorial.my_implicit_mf_model, ( SELECT visitorId FROM bqml_tutorial.analytics_session_data LIMIT 5))
Dettagli query
L'istruzione SELECT
più in alto recupera le colonne visitorId
, contentId
e
predicted_rating_confidence
. Questa ultima colonna è generata dalla funzione ML.RECOMMEND
. Quando utilizzi la funzione ML.RECOMMEND
, il nome della colonna di output
per i modelli di fattorizzazione implicita è
predicted_rating-column-name_confidence
. Per i modelli di fattorizzazione implicita, predicted_rating_confidence
è l'affidabilità stimata per la coppia user
/item
. Questo valore di affidabilità è approssimativamente compreso tra 0 e 1 dove la confidenza più alta indica che user
preferisce
item
rispetto a un item
con un valore di affidabilità più basso.
La funzione ML.RECOMMEND
viene utilizzata per prevedere le valutazioni utilizzando il tuo modello: bqml_tutorial.my_implicit_mf_model
.
L'istruzione SELECT
nidificata di questa query seleziona solo la colonna visitorId
dalla
tabella originale utilizzata per l'addestramento.
La clausola LIMIT
(LIMIT 5
) filtra in modo casuale 5
visitorId
da inviare a ML.RECOMMEND
.
Trova le valutazioni per tutte le coppie contentId visitatore
Ora che hai valutato il tuo modello, il passaggio successivo è utilizzarlo per ottenere una confidenza di valutazione. Il modello viene utilizzato per prevedere l'affidabilità di ogni combinazione utente-elemento nella seguente query:
#standardSQL SELECT * FROM ML.RECOMMEND(MODEL bqml_tutorial.my_implicit_mf_model)
Dettagli query
L'istruzione SELECT
più in alto recupera le colonne visitorId
, contentId
e
predicted_rating_confidence
. Questa ultima colonna è generata dalla funzione ML.RECOMMEND
. Quando utilizzi la funzione ML.RECOMMEND
, il nome della colonna di output
per i modelli di fattorizzazione implicita è
predicted_rating-column-name_confidence
. Per i modelli di fattorizzazione implicita, predicted_rating_confidence
è l'affidabilità stimata per la coppia user
/item
. Questo valore di affidabilità è approssimativamente compreso tra 0 e 1, dove la confidenza maggiore indica che user
preferisce item
in più rispetto a un item
con un valore di affidabilità più basso.
La funzione ML.RECOMMEND
viene utilizzata per prevedere le valutazioni utilizzando il tuo modello: bqml_tutorial.my_implicit_mf_model
.
Un modo per salvare il risultato nella tabella è:
#standardSQL CREATE OR REPLACE TABLE bqml_tutorial.recommend_content OPTIONS() AS SELECT * FROM ML.RECOMMEND(MODEL bqml_tutorial.my_implicit_mf_model)
Se si verifica un errore Query Exceeded Resource Limits
per ML.RECOMMEND
, riprova con un livello di fatturazione superiore. Nello strumento a riga di comando di BigQuery, questo valore può essere impostato
--maximum_billing_tier
.
Genera consigli
La query seguente utilizza ML.RECOMMEND
per generare i primi 5
contentId
consigliati per visitorId
.
#standardSQL SELECT visitorId, ARRAY_AGG(STRUCT(contentId, predicted_rating_confidence) ORDER BY predicted_rating_confidence DESC LIMIT 5) AS rec FROM bqml_tutorial.recommend_content GROUP BY visitorId
Dettagli query
L'istruzione SELECT
aggrega i risultati della query ML.RECOMMEND
utilizzando GROUP BY visitorId
per aggregare contentId
e
predicted_rating_confidence
in ordine decrescente e mantenendo solo i primi 5
ID contenuti.
Utilizzando la query di consigli precedente, possiamo ordinare in base alla valutazione prevista e generare gli elementi previsti migliori per ciascun utente. La seguente query si unisce a
item_ids
con movie_ids
nella tabella movielens.movie_titles
caricata in precedenza e genera i primi 5 film consigliati per utente.
Esegui la query ML.RECOMMEND
Per eseguire la query ML.RECOMMEND
che genera i primi 5 ID contenuti consigliati
per ID visitatore:
In Cloud Console, fai clic sul pulsante Crea nuova query.
Inserisci la seguente query SQL standard nell'area di testo Editor query.
#standardSQL CREATE OR REPLACE TABLE bqml_tutorial.recommend_content OPTIONS() AS SELECT * FROM ML.RECOMMEND(MODEL bqml_tutorial.my_implicit_mf_model)
Fai clic su Esegui.
Quando la query termina l'esecuzione, (
bqml_tutorial.recommend_content
) comparirà nel pannello di navigazione di Cloud Console. Poiché la query utilizza un'istruzioneCREATE TABLE
per creare una tabella, non vedi i risultati della query.Scrivi un'altra nuova query. Inserisci la seguente query SQL standard nell'area di testo Editor query al termine della query precedente.
#standardSQL SELECT visitorId, ARRAY_AGG(STRUCT(contentId, predicted_rating_confidence) ORDER BY predicted_rating_confidence DESC LIMIT 5) AS rec FROM `bqml_tutorial.recommend_content` GROUP BY visitorId
(Facoltativo) Per impostare la località di elaborazione, fai clic su Altro &Impostazioni impostazioni di query. In Località di elaborazione, scegli
US
. Questo passaggio è facoltativo perché la località di elaborazione viene rilevata automaticamente in base alla posizione del set di dati.Fai clic su Esegui.
Una volta completata la query, fai clic sulla scheda Risultati sotto l'area di testo della query. Il risultato dovrebbe essere simile all'esempio seguente:
Esegui la pulizia
Per evitare che al tuo Account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.
- Puoi eliminare il progetto creato.
- In alternativa, puoi mantenere il progetto ed eliminare il set di dati.
Eliminazione del set di dati
L'eliminazione del progetto comporta la rimozione di tutti i set di dati e di tutte le tabelle al suo interno. Se preferisci riutilizzare il progetto, puoi eliminare il set di dati che hai creato in questo tutorial:
Se necessario, apri la pagina BigQuery in Cloud Console.
Nella navigazione, fai clic sul set di dati bqml_tutorial che hai creato.
Fai clic su Elimina set di dati sul lato destro della finestra. Questa azione elimina il set di dati, la tabella e tutti i dati.
Nella finestra di dialogo Elimina set di dati, conferma il comando Elimina digitando il nome del tuo set di dati (
bqml_tutorial
) e fai clic su Elimina.
Eliminazione del progetto
Per eliminare il progetto:
- In Cloud Console, vai alla pagina Gestisci risorse.
- Nell'elenco dei progetti, seleziona il progetto da eliminare, quindi fai clic su Elimina.
- Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.
Passaggi successivi
- Per scoprire di più sul machine learning, consulta il corso di arresto anomalo del machine learning.
- Per una panoramica di BigQuery ML, vedi Introduzione a BigQuery ML.
- Per saperne di più su Cloud Console, consulta Utilizzo di Cloud Console.