Criar recomendações de filmes personalizadas

---

Neste tutorial, usaremos o conjunto de dados Movielens para demonstrar como fazer upload do catálogo de produtos e dos eventos de usuário na Vertex AI para Pesquisa de varejo e treinar um modelo personalizado de recomendação de produtos. O conjunto de dados Movielens contém um catálogo de filmes (produtos) e classificações de filmes do usuário (eventos do usuário).

Trataremos cada classificação positiva de filme (classificação >= 4) como um evento de visualização da página do produto. Vamos treinar um modelo de recomendação do tipo "Outros que você possa gostar" que fará recomendações de filmes com base em qualquer usuário ou um filme semente no nosso conjunto de dados.

Tempo estimado:

• Etapas iniciais para iniciar o treinamento do modelo: aproximadamente 1,5 hora.
• Aguardando o treinamento do modelo: aproximadamente 2 dias.
• Avaliação das previsões do modelo e limpeza: aproximadamente 30 minutos.

Objetivos

• Saiba como importar dados de produtos e eventos do usuário do BigQuery para a Vertex AI para Pesquisa para varejo.
• Treine e avalie modelos de recomendação.

Custos

Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:

• Cloud Storage
• BigQuery
• Vertex AI para Pesquisa para varejo

Para mais informações sobre os custos do Cloud Storage, consulte a página Preços do Cloud Storage.

Para mais informações sobre os custos do BigQuery, consulte a página de preços.

Para mais informações sobre os custos da Vertex AI Search for Retail, consulte a página Preços da Vertex AI Search for Retail.

Antes de começar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

Preparar o conjunto de dados

Abra o console do Google Cloud e selecione seu projeto. Anote o ID do projeto no card Informações do projeto na página do painel. Você precisará do ID do projeto para as etapas a seguir. Em seguida, clique no botão Ativar o Cloud Shell na parte superior do Console.

Uma sessão do Cloud Shell é aberta em um novo frame na parte de baixo do console do Google Cloud e exibe um prompt de linha de comando.

Importar o conjunto de dados

1. Use o Cloud Shell para fazer o download do conjunto de dados de origem e descompactá-lo:

   wget https://files.grouplens.org/datasets/movielens/ml-latest.zip
   unzip ml-latest.zip
   

2. Crie um bucket do Cloud Storage e faça o upload dos dados para ele:

   gcloud storage buckets create gs://PROJECT_ID-movielens-data
   gcloud storage cp ml-latest/movies.csv ml-latest/ratings.csv \
     gs://PROJECT_ID-movielens-data
   

3. Crie um conjunto de dados do BigQuery:

   bq mk movielens
   

4. Carregue movies.csv em uma nova tabela de filmes do BigQuery:

   bq load --skip_leading_rows=1 movielens.movies \
     gs://PROJECT_ID-movielens-data/movies.csv \
     movieId:integer,title,genres
   

5. Carregue ratings.csv em uma nova tabela de classificações do BigQuery:

   bq load --skip_leading_rows=1 movielens.ratings \
     gs://PROJECT_ID-movielens-data/ratings.csv \
     userId:integer,movieId:integer,rating:float,time:timestamp
   

Criar visualizações do BigQuery

1. Crie uma visualização que converta a tabela "filmes" no esquema do catálogo de produtos de varejo:

   bq mk --project_id=PROJECT_ID \
    --use_legacy_sql=false \
    --view '
    SELECT
      CAST(movieId AS string) AS id,
      SUBSTR(title, 0, 128) AS title,
      SPLIT(genres, "|") AS categories
    FROM `PROJECT_ID.movielens.movies`' \
   movielens.products
   

   Agora, a nova visualização tem o esquema que a Vertex AI para Pesquisa para varejo espera. Em seguida, na barra lateral esquerda, escolha BIG DATA -> BigQuery. Em seguida, na na barra do explorador à esquerda, expanda o nome do projeto e selecione movielens -> products para abrir a página de consultas dessa visualização.

   

2. Agora, vamos converter as classificações de filmes em eventos de usuário. Também vamos:

   • Ignorar classificações negativas de filmes (<4>)
   • Trate todas as classificações positivas como um evento de visualização da página do produto (detail-page-view).
   • Redimensione a linha do tempo Movielens para os últimos 90 dias. Fazemos isso por dois motivos:
     • A Vertex AI para Pesquisa para Retail exige que os eventos do usuário tenham menos de 2015. As classificações do Movielens remontam a 1995.
     • A Vertex AI para Pesquisa para Retail usa os últimos 90 dias de eventos do usuário ao exibir a previsão solicitações para um usuário. Parece que cada usuário tem eventos recentes quando fazemos previsões para qualquer usuário posteriormente.

   Crie uma visualização do BigQuery. O comando a seguir usa uma consulta SQL que atende aos requisitos de conversão listados acima.

   bq mk --project_id=PROJECT_ID \
    --use_legacy_sql=false \
    --view '
    WITH t AS (
      SELECT
        MIN(UNIX_SECONDS(time)) AS old_start,
        MAX(UNIX_SECONDS(time)) AS old_end,
        UNIX_SECONDS(TIMESTAMP_SUB(
          CURRENT_TIMESTAMP(), INTERVAL 90 DAY)) AS new_start,
        UNIX_SECONDS(CURRENT_TIMESTAMP()) AS new_end
      FROM `PROJECT_ID.movielens.ratings`)
    SELECT
      CAST(userId AS STRING) AS visitorId,
      "detail-page-view" AS eventType,
      FORMAT_TIMESTAMP(
        "%Y-%m-%dT%X%Ez",
        TIMESTAMP_SECONDS(CAST(
          (t.new_start + (UNIX_SECONDS(time) - t.old_start) *
            (t.new_end - t.new_start) / (t.old_end - t.old_start))
        AS int64))) AS eventTime,
      [STRUCT(STRUCT(movieId AS id) AS product)] AS productDetails,
    FROM `PROJECT_ID.movielens.ratings`, t
    WHERE rating >= 4' \
   movielens.user_events
   

Importe o catálogo de produtos e os eventos do usuário

Agora estamos prontos para importar o catálogo de produtos e os dados de eventos do usuário para a Vertex AI para Pesquisa de varejo.

1. Ative a API Vertex AI para Pesquisa para varejo no seu projeto do Google Cloud.

   ATIVAR A API

2. Clique em Primeiros passos.

3. Acesse Dados> no console da Pesquisa para varejo.
   
   Acessar a página "Dados"

4. Clique em Importar.

Importar catálogo de produtos

1. Preencha o formulário para importar produtos da visualização do BigQuery que você criou acima:

   • Selecione o tipo de importação: Product Catalog.
   • Selecione o nome da ramificação padrão.
   • Selecione a fonte dos dados: BigQuery.
   • Selecione o esquema dos dados: Esquema de produto de varejo.

   • Insira o nome da visualização do BigQuery dos produtos que você criou acima (PROJECT_ID.movielens.products).

     Observação: o nome da visualização do BigQuery é obtido do ID da visualização substituindo o dois pontos (:) por um ponto (.). Você pode encontrar o ID da visualização na página BIG DATA -> BigQuery selecionando sua visualização no menu à esquerda e acessando a guia DETALHES.

2. Clique em Importar.

   Observação: pode levar alguns minutos para que a API Vertex AI Search for Retail seja totalmente ativada. Um erro será exibido nesta etapa se a ativação não tiver sido concluída. Se isso acontecer, tente novamente alguns minutos depois.

3. Aguarde até que todos os produtos sejam importados, o que deve levar de 5 a 10 minutos.

   É possível verificar a atividade de importação para o status da operação. Quando a importação for concluída, o status da operação de importação será alterado para Concluído.

   

Importar eventos do usuário

1. Importe a visualização user_events do BigQuery:

   • Selecione o tipo de importação: Eventos do usuário.
   • Selecione a fonte dos dados: BigQuery.
   • Selecione o esquema dos dados: Esquema de eventos do usuário de varejo.
   • Insira o nome da visualização user_events do BigQuery criada acima.

2. Clique em Importar.

3. Aguarde até que pelo menos um milhão de eventos tenham sido importados antes de prosseguir para a próxima etapa, a fim de atender aos requisitos de dados para treinar um novo modelo.

   É possível verificar a atividade de importação do status da operação. O processo leva cerca de uma hora para ser concluído.

   

Treinar e avaliar modelos de recomendação

Criar um modelo de recomendação

1. Acesse a página Modelos no console do Search for Retail.
   
   Acessar a página "Modelos"

2. Clique em Criar modelo.

   • Dê um nome ao modelo.
   • Selecione Outros itens que você pode gostar como o tipo de modelo.
   • Escolha Taxa de cliques (CTR) como o objetivo de negócio.

3. Clique em Criar.

   

   Seu novo modelo começa o treinamento.

   

Criar uma configuração de veiculação

1. Acesse a página Configurações de exibição no console do Search for Retail.
   
   Acessar a página "Configurações de exibição"

2. Clique em Criar configuração de veiculação:

   • Selecione Recomendação.
   • Dê um nome à configuração de veiculação.
   • Selecione o modelo que você criou.

3. Clique em Criar.

Aguarde até que o modelo esteja "Pronto para consulta"

Leva cerca de dois dias para que o modelo seja treinado e esteja pronto para consulta.

Para conferir o status, clique na configuração de exibição criada na página Configurações de exibição.

O campo Modelo pronto para consulta indica Sim quando o processo é concluído.

Recomendações de visualização

Quando o modelo estiver pronto para consulta:

1. Acesse a página Configurações de exibição no console da Pesquisa para varejo.
   
   Acessar a página "Configurações de exibição"
2. Clique no nome da configuração de veiculação para acessar a página de detalhes.
3. Clique na guia *Avaliar.

4. Digite o código do filme, como 4993, para "O Senhor dos Anéis" (2001).

   

5. Clique em Prediction preview para ver a lista de itens recomendados à direita da página.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Excluir o projeto

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Excluir recursos individuais

1. Acesse a página Configurações de exibição e exclua a configuração de exibição criada.

2. Acesse a página Modelos e exclua o modelo.

3. Exclua o conjunto de dados do BigQuery no Cloud Shell:

   bq rm --recursive --dataset movielens
   

4. Exclua o bucket do Cloud Storage e o conteúdo dele:

   gcloud storage rm gs://PROJECT_ID-movielens-data --recursive
   

A seguir

• Como implementar a Vertex AI para Pesquisa para varejo