Exportar métricas de análise para o BigQuery

Nesta página, descrevemos como exportar para o BigQuery métricas de análise de varejo da Vertex AI para Pesquisa. A exportação de métricas de análise permite reter as métricas e escrever SQL para sua própria análise.

As métricas de análise da Vertex AI para Pesquisa para varejo são geradas automaticamente. Para mais informações sobre como medir o impacto comercial da Vertex AI para Pesquisa para varejo com métricas de análise, consulte Conferir estatísticas.

Exportar dados de métricas para o BigQuery tem as seguintes limitações:

• Os dados exportados para tabelas do BigQuery no projeto da Vertex AI para Pesquisa para Retail são visualizações autorizadas, não visualizações materializadas.

• Não é possível alterar ou atualizar os dados nessas tabelas. Se você precisar alterar ou atualizar seus dados, exporte ou copie a visualização para outro destino.

• Não é possível exportar métricas para eventos do usuário com mais de 180 dias ou para métricas geradas há mais de 180 dias. As métricas geradas antes desse período não podem ser recuperadas.

Antes de começar

Antes de exportar as métricas para o BigQuery, conclua os procedimentos descritos em Antes de começar. Isso inclui a importação de eventos de usuário e, opcionalmente, as informações do catálogo.

Para mais informações sobre importação, consulte:

• Importar informações do catálogo
• Registrar eventos do usuário em tempo real
• Importar eventos históricos do usuário

Criar um conjunto de dados no BigQuery

Você precisa criar um conjunto de dados no BigQuery para armazenar seus dados de métricas de análise.

Crie os conjuntos de dados no mesmo projeto em que você implementou a Vertex AI para Pesquisa para Retail.

1. Se você nunca usou o BigQuery no seu projeto, ative a API BigQuery e verifique se você tem o papel do IAM que permite criar conjuntos de dados e tabelas.

   Consulte Antes de começar e Controle de acesso com o IAM.

   na documentação do BigQuery.

2. Crie um conjunto de dados no BigQuery na multirregião EUA (várias regiões nos Estados Unidos). Por exemplo, dê o nome retail_data a ela. Se você criar o conjunto de dados em uma região diferente, a exportação dos dados para o BigQuery falhará. A CMEK do conjunto de dados não é compatível. Se ela for ativada, a exportação vai falhar.

   Para informações sobre como criar um conjunto de dados, consulte Como criar conjuntos de dados na documentação do BigQuery.

   Esse conjunto de dados será usado para armazenar as tabelas de dados que você exportar. Os procedimentos a seguir descrevem como exportar.

Exportar suas métricas de análise para uma tabela do BigQuery

Use o método exportAnalyticsMetrics para exportar seu catálogo de varejo para uma tabela do BigQuery.

Observação:o comando a seguir pressupõe que você fez login na CLI gcloud com sua conta de usuário executando gcloud init ou gcloud auth login ou usando o Cloud Shell, que conecta você automaticamente à CLI gcloud.

Antes de usar os dados da solicitação, faça as substituições a seguir:

• PROJECT_ID: o ID do projeto da API Vertex AI para Pesquisa para Retail em que você criou o conjunto de dados do BigQuery.
• DATASET_ID: o nome do conjunto de dados que você criou em Criar um conjunto de dados no BigQuery. Por exemplo, use retail_data ou retail_metrics_data.
• TABLE_ID_PREFIX: um prefixo para o ID da tabela. Esse prefixo não pode ser uma string vazia. Um sufixo de retail_analytics_metrics é adicionado para completar o nome da tabela. Por exemplo, se o prefixo for test, a tabela será denominada test_retail_analytics_metrics.

Solicitar corpo JSON:

{
  "catalog": "projects/PROJECT_ID/locations/global/catalogs/default_catalog",
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}

Para enviar a solicitação, expanda uma destas opções:

curl (Linux, macOS ou Cloud Shell)

Observação: verifique se você definiu a variável de ambiente GOOGLE_APPLICATION_CREDENTIALS como o caminho do arquivo de chave privada da conta de serviço.

Salve o corpo da solicitação em um arquivo chamado request.json. Execute o comando a seguir no terminal para criar ou substituir esse arquivo no diretório atual:

cat > request.json << 'EOF'
{
  "catalog": "projects/PROJECT_ID/locations/global/catalogs/default_catalog",
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}
EOF

Depois execute o comando a seguir para enviar a solicitação REST:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://retail.googleapis.com/v2/projects/PROJECT_ID/locations/global/catalogs/default_catalog:exportAnalyticsMetrics"

PowerShell (Windows)

Observação: verifique se você definiu a variável de ambiente GOOGLE_APPLICATION_CREDENTIALS como o caminho do arquivo de chave privada da conta de serviço.

Salve o corpo da solicitação em um arquivo chamado request.json. Execute o comando a seguir no terminal para criar ou substituir esse arquivo no diretório atual:

@'
{
  "catalog": "projects/PROJECT_ID/locations/global/catalogs/default_catalog",
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

Depois execute o comando a seguir para enviar a solicitação REST:

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://retail.googleapis.com/v2/projects/PROJECT_ID/locations/global/catalogs/default_catalog:exportAnalyticsMetrics" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/operations/12310973052792775280",
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.retail.v2.ExportAnalyticsMetricsResponse",
    "outputResult": {
      "bigqueryResult": [
        {
          "datasetId": "DATASET_ID",
          "tableId": "TABLE_ID_PREFIX_retail_analytics_metrics"
        }
      ]
    }
  }
}

Definições de métricas

As métricas exportadas são as métricas de contagem. Pode haver um pequeno desvio para algumas métricas de contagem porque a filtragem de bots pode excluir alguns eventos da computação de métricas. A filtragem de bots pode ajudar a fornecer medições de desempenho mais precisas. Isso não afeta o teste A/B, que depende da dimensão external_experiment_ids, enquanto a filtragem de bots é aplicada a todo o tráfego.

Dimensões de métricas

As métricas de contagem são as contagens brutas diretamente agregadas de eventos de usuários relevantes com as mesmas dimensões. Para interpretar métricas, você precisa saber em quais dimensões elas se baseiam. Para fins de métricas de análise, os eventos de pesquisa e navegação são conhecidos como eventos de impressão, e os de detail_page_view, add_to_cart e purchase são conhecidos como eventos de conversão. A tabela a seguir define as dimensões de métrica.

Dimensão da métrica	Descrição
date	A data dos eventos relevantes que geraram as métricas. Para métricas de impressão, é a data dos eventos de impressão. Para métricas de sessão e visitante, essa é a data do primeiro evento de impressão da sessão/visitante.
external_experiment_ids	Os IDs dos experimentos dos eventos relevantes que geraram as métricas. Para métricas de impressão, é o ID do experimento do evento de impressão. Para métricas de sessão e visitante, esta é a concatenação dos IDs de experimentos externos exclusivos de todos os eventos de impressão que aparecem na sessão/visitante. Por exemplo, se houver dois eventos de pesquisa em uma sessão/visitante, o primeiro evento de pesquisa tem external_experiment_ids 'test_arm_1,test_arm_2', e o segundo evento de pesquisa tem external_experiment_ids 'test_arm_1,test_arm_3', e external_experiment_ids da sessão/visitor é 'test_arm_1,test_arm_3'
device_type	O tipo de dispositivo dos eventos relevantes que geraram as métricas(por exemplo, se o evento for gerado em um dispositivo móvel ou computador). Para métricas de impressão, esse é o tipo de dispositivo do evento de impressão. Nas métricas de sessão e visitante, esse campo ficará vazio se a sessão/visitante tiver mais de um tipo de dispositivo diferente ou se houver apenas um tipo de dispositivo para toda a sessão/visitante.
serving_config	A configuração de veiculação dos eventos relevantes que geraram as métricas. Para métricas de impressão, essa é a configuração de veiculação do evento de impressão. Nas métricas de sessão e visitante, esse campo ficará vazio se a sessão/visitante tiver mais de uma configuração de veiculação diferente ou aquela se houver apenas uma configuração para toda a sessão/visitante.
traffic_destination	A origem dos eventos relevantes que geraram as métricas. Para métricas de impressão, será "Google" se a impressão for veiculada pelo Google ou "Fora do Google" se a impressão for veiculada pela sua própria solução. Para métricas de sessão e visitante, será "Misto" se a sessão/visitante tiver os dois eventos de impressão veiculados pelo Google e pela sua solução. Ela será "Google" se os eventos de impressão forem puramente veiculados pelo Google ou "Não Google" se forem puramente veiculados pela sua solução para toda a sessão/visitante.
entidade	Ela é usada por varejistas que atendem a vários sites ou regiões de marcas com um catálogo de produtos. A entidade geralmente representa as marcas ou os locais. Para métricas de impressão, é a entidade do evento de impressão. Para métricas de sessão e visitante, são as cinco principais entidades contadas dos eventos de impressão da sessão/visitante.

Métricas de impressão

As métricas de impressão são calculadas de acordo com os pré-requisitos. Os eventos de conversão (detail_page_view, add_to_cart e purchase) só poderão ser atribuídos a um evento de impressão se corresponderem aos critérios a seguir.

• Os eventos de impressão e de conversão têm o mesmo visitante.

• O ID do produto do evento de conversão precisa aparecer nos resultados do evento de impressão.

• O evento de conversão está dentro da janela de tempo necessária após a ocorrência do evento de impressão. Diferentes janelas de tempo de conversão se aplicam a tipos distintos de eventos de conversão.

  Caminho de conversão	Janela de tempo de conversão
  Impressão -> Visualização da página de detalhes	60 segundos
  Impressão -> Adicionar ao carrinho	24 horas
  Impressão -> Compra	48 horas

Métricas de impressão de pesquisa

Nome da métrica	Descrição
search_event	Pesquisar contagem de eventos
detail_page_view_from_search	Contagem de eventos de visualização da página de detalhes da pesquisa
add_to_cart_unit_from_search	Número de unidades adicionadas ao carrinho pela pesquisa
purchase_unit_from_search	Contagem de unidades de compra da pesquisa
revenue_from_search	Receita da pesquisa
search_event_without_result	Contagem de eventos de pesquisa que não gera resultados
search_request_personalization_enabled	Contagem de solicitações de pesquisa com a personalização ativada
search_request_personalization_result_served	Contagem de solicitações de pesquisa exibidas com resultados personalizados

Procurar métricas de impressão

Nome da métrica	Descrição
browse_event	Contagem de eventos de navegação
detail_page_view_from_browse	Contagem de eventos de visualização da página de detalhes da navegação
add_to_cart_unit_from_browse	Número de unidades adicionadas ao carrinho na navegação
purchase_unit_from_browse	Contagem de unidades de compra na navegação
revenue_from_browse	Receita da navegação
browse_event_without_result	Contagem de eventos de navegação que não produz resultados
browse_request_personalization_enabled	Contagem de solicitações de navegação com a personalização ativada
browse_request_personalization_result_served	Contagem de solicitações de navegação exibidas com resultados personalizados

Métricas de sessão

Uma sessão é definida como um período contínuo de interação entre um usuário e o sistema. Qualquer evento de usuário marca o início de uma sessão, e o término dela é marcado quando nenhum outro evento ocorre nos próximos 30 minutos. A sessão é estendida por mais 30 minutos sempre que ocorre um evento do usuário em uma sessão iniciada. Depois que uma sessão termina, uma nova é iniciada quando o usuário interage com o sistema novamente.

As dimensões que caracterizam as métricas da sessão são definidas em conjunto por todos os eventos do usuário na sessão. Consulte as dimensões de métricas para saber como os valores de dimensões são definidos para a sessão.

Nome da métrica	Descrição
seção	Número de sessões

Métricas de sessão de pesquisa

Uma sessão de pesquisa é uma sessão que contém pelo menos um evento de pesquisa. Uma sessão de pesquisa também pode ser uma sessão de navegação, conforme definido pelas métricas da sessão de navegação.

Nome da métrica	Descrição
search_session	Contagem de sessões que envolvem uma pesquisa
search_event_in_search_session	Pesquisar contagem de eventos nas sessões de pesquisa
browse_event_in_search_session	Contagem de eventos de navegação nas sessões de pesquisa
detail_page_view_in_search_session	Contagem de visualizações da página de detalhes nas sessões de pesquisa
add_to_cart_in_search_session	Contagem de eventos "Adicionar ao carrinho" nas sessões de pesquisa
add_to_cart_unit_in_search_session	Contagem de unidades de adição ao carrinho nas sessões de pesquisa
purchase_order_in_search_session	Contagem de ordens de compra nas sessões de pesquisa
purchase_unit_in_search_session	Contagem de unidades de compra nas sessões de pesquisa
revenue_in_search_session	Receita nas sessões de pesquisa
bounce_count_in_search_session	Contagem de sessões do visitante que sai do site após visualizar apenas uma página nas sessões de pesquisa.

Procurar métricas de sessão

Uma sessão de navegação contém pelo menos um evento de navegação. Uma sessão de navegação também pode ser uma sessão de pesquisa, conforme definido pelas métricas da sessão de pesquisa.

Nome da métrica	Descrição
browse_session	Contagem de sessões envolvendo navegação
search_event_in_browse_session	Pesquisar contagem de eventos nas sessões de navegação
browse_event_in_browse_session	Contagem de eventos de navegação em sessões de navegação
detail_page_view_in_browse_session	Contagem de visualizações da página de detalhes nas sessões de navegação
add_to_cart_in_browse_session	Contagem de eventos "Adicionar ao carrinho" em sessões de navegação
add_to_cart_unit_in_browse_session	Contagem de unidades adicionadas ao carrinho nas sessões de navegação
purchase_order_in_browse_session	Contagem de ordens de compra nas sessões de navegação
purchase_unit_in_browse_session	Contagem de unidades de compra nas sessões de navegação
revenue_in_browse_session	Receita nas sessões de navegação
bounce_count_in_browse_session	Contagem de sessões do visitante que sai do site após visualizar apenas uma página nas sessões de navegação

Métricas do visitante

Um visitante é identificado de forma exclusiva pelo ID de visitante. As métricas de visitante agregam todas as informações de eventos do usuário.

As dimensões que caracterizam as métricas do visitante são definidas em conjunto por todos os eventos do usuário do visitante. Consulte as dimensões de métricas para saber como os valores de dimensões são definidos para o visitante.

Nome da métrica	Descrição
visitante	Contagem de visitantes

Métricas de visitantes da pesquisa

Um visitante da pesquisa é alguém que realiza pelo menos um evento de pesquisa. Um visitante da pesquisa também pode ser um visitante de navegação, conforme definido pelas métricas de visitante de navegação.

Nome da métrica	Descrição
search_visitor	Contagem de visitantes que realizaram pelo menos uma pesquisa
search_event_from_search_visitor	Contagem de eventos de pesquisa dos visitantes da pesquisa
browse_event_from_search_visitor	Contagem de eventos de navegação dos visitantes da pesquisa
detail_page_view_from_search_visitor	Contagem de visualizações da página de detalhes dos visitantes da pesquisa
add_to_cart_from_search_visitor	Contagem de eventos "Adicionar ao carrinho" dos visitantes da pesquisa
add_to_cart_unit_from_search_visitor	Número de unidades de adição ao carrinho dos visitantes da pesquisa
purchase_order_from_search_visitor	Contagem de ordens de compra dos visitantes da pesquisa
purchase_unit_from_search_visitor	Unidade de contagem das compras dos visitantes da pesquisa
revenue_from_search_visitor	Receita de visitantes de pesquisa

Procurar métricas de visitantes

Um visitante de navegação é um visitante que realiza pelo menos um evento de navegação. Um visitante de navegação também pode ser um visitante da pesquisa, conforme definido pelas métricas de visitante da pesquisa.

Nome da métrica	Descrição
browse_visitor	Contagem de visitantes que realizam pelo menos uma navegação
search_event_from_browse_visitor	Contagem de eventos de pesquisa dos visitantes do navegador
browse_event_from_browse_visitor	Contagem de eventos de navegação dos visitantes
detail_page_view_from_browse_visitor	Contagem de visualizações da página de detalhes de visitantes do navegador
add_to_cart_from_browse_visitor	Contagem de eventos "Adicionar ao carrinho" dos visitantes do navegador
add_to_cart_unit_from_browse_visitor	Contagem de unidades de adição ao carrinho dos visitantes do navegador
purchase_order_from_browse_visitor	Contagem de ordens de compra dos visitantes da navegação
purchase_unit_from_browse_visitor	Contagem de unidades de compra dos visitantes do navegador
revenue_from_browse_visitor	Receita de visitantes do navegador

Exemplo de uso

Se você copiar ou exportar os dados de métricas para outro destino, poderá usar o SQL para receber informações específicas ou de alto nível sobre as métricas exportadas. Algumas maneiras comuns de analisar as métricas exportadas usando SQL são fornecidas nas seções a seguir.

Calcular a taxa de cliques (CTR)

Calcula a CTR de pesquisa por data, tipo de dispositivo e destino de tráfego.

SELECT
  `date`,
  device_type,
  traffic_destination,
  SUM(detail_page_view_from_search) / SUM(search_event) as search_CTR
FROM copied_table
GROUP BY `date`, device_type, traffic_destination

Conferir a contagem de visualizações da página de detalhes gerada pela navegação

Receba eventos de visualização da página de detalhes provenientes de eventos de navegação no tráfego do Google com external_experiment_ids contendo test_arm e mostre todas as informações de dimensão. external_experiment_ids é repetido string.

SELECT
  `date`,
  external_experiment_ids,
  device_type,
  serving_config,
  traffic_destination,
  entity,
  detail_page_view_from_browse
FROM copied_table
WHERE
  traffic_destination = 'Google' AND 'test_arm' in UNNEST(external_experiment_ids)

Receber as configurações de veiculação mais usadas

Receba as configurações de veiculação mais usadas entre "01/10/2023" e "01/11/2023" para o tráfego do Google. Cada evento de pesquisa precisa ter uma configuração de veiculação associada.

SELECT
  serving_config,
  SUM(search_event) as total_search_count
FROM copied_table
WHERE `date` between '2023-10-01' and '2023-11-01' AND traffic_destination = 'Google'
GROUP BY serving_config
ORDER BY total_search_count