Exportar seus dados para o BigQuery

Nesta página, descrevemos como fazer upload de dados de produtos de varejo e eventos do usuário para o BigQuery. Depois que os dados estiverem no BigQuery, você poderá usá-los para fazer previsões de vendas com a Vertex AI e ver os dados em painéis predefinidos do Looker.

Se os dados de comércio já estiverem em tabelas de eventos de produtos e usuários no BigQuery, na pesquisa da Vertex AI para formato de comércio, você poderá pular esta página e acessar diretamente Receber painéis que mostram indicadores de performance principais e Gerar previsões de vendas com dados de varejo. Para mais informações sobre o formato, consulte Esquema de produto e Sobre eventos do usuário.

Antes de começar

Antes de exportar seus dados de comércio para o BigQuery, você precisa concluir os procedimentos em Configuração inicial.

Isso inclui:

Criar um conjunto de dados no BigQuery

Você precisa criar um ou dois conjuntos de dados no BigQuery para armazenar os dados de eventos de produtos e usuários.

É possível usar um conjunto de dados para armazenar os dois tipos de dados ou criar dois conjuntos, um para cada tipo.

É necessário criar os conjuntos de dados no mesmo projeto em que você implementou a Vertex AI para Pesquisa para e-commerce.

  1. Se você nunca usou o BigQuery no seu projeto, ative a API BigQuery e verifique se você tem a função do IAM que permite criar conjuntos de dados e tabelas.

    Consulte Antes de começar e Controle de acesso com o IAM na documentação do BigQuery.

  2. Crie um conjunto de dados no BigQuery na multirregião dos EUA. Por exemplo, nomeie-o como retail_data.

  3. Opcional: para colocar os dados de eventos do usuário em um conjunto de dados separado dos dados de produtos, crie um segundo conjunto de dados. Por exemplo, nomeie-o como retail_user_event_data.

Para mais informações sobre como criar conjuntos de dados do BigQuery, consulte a documentação do BigQuery.

Esse conjunto de dados será usado para armazenar as tabelas de dados que você exportar. Os procedimentos a seguir descrevem como exportar.

Exportar o catálogo da Vertex AI Search para comércio para uma tabela do BigQuery

Use o método export para exportar seu catálogo do varejo para uma tabela do BigQuery.

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: o ID do projeto da API Vertex AI Search para e-commerce em que você criou o conjunto de dados do BigQuery.
  • BRANCH_ID: o ID da ramificação do catálogo. Use default_branch para receber dados da ramificação padrão. Para mais informações, consulte Ramificações do catálogo.
  • DATASET_ID: o nome do conjunto de dados que você criou em Criar um conjunto de dados no BigQuery. Por exemplo, use retail_data ou retail_product_data. O conjunto de dados precisa estar no mesmo projeto. Não adicione o ID do projeto ao campo datasetId aqui.
  • TABLE_ID_PREFIX: um prefixo para o ID da tabela. O prefixo não pode ser uma string vazia. Um sufixo retail_products é adicionado para completar o nome da tabela. Por exemplo, se o prefixo for test, a tabela será chamada test_retail_products.

Corpo JSON da solicitação:

{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}

Para enviar a solicitação, expanda uma destas opções:

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/branches/0/operations/17986570020347019923",
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.retail.v2alpha.ExportProductsResponse",
    "outputResult": {
      "bigqueryResult": [
        {
          "datasetId": "DATASET_ID",
          "tableId": "TABLE_ID_PREFIX_retail_products"
        }
      ]
    }
  }
}

Exportar eventos do usuário para uma tabela do BigQuery

Use o método userEvents.export para exportar seus eventos de usuário do varejo para uma tabela do BigQuery:

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: o ID do projeto da API Vertex AI Search para e-commerce em que você criou o conjunto de dados do BigQuery.
  • DATASET_ID: o nome do conjunto de dados que você criou em Criar um conjunto de dados no BigQuery. Por exemplo, use retail_data ou retail_product_data.
  • TABLE_ID_PREFIX: um prefixo para o ID da tabela. O prefixo não pode ser uma string vazia. Um sufixo retail_products é adicionado para completar o nome da tabela. Por exemplo, se o prefixo for test, a tabela será chamada test_retail_products.

Corpo JSON da solicitação:

{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}

Para enviar a solicitação, expanda uma destas opções:

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/operations/17203443067109586170",
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.retail.v2alpha.ExportUserEventsResponse",
    "outputResult": {
      "bigqueryResult": [
        {
          "datasetId": "DATASET_ID",
          "tableId": "TABLE_ID_PREFIX_retail_user_events"
        }
      ]
    }
  }
}

Sobre os dados exportados

Confira o que você precisa saber sobre os dados de comércio eletrônico exportados para tabelas do BigQuery:

  • Os dados exportados para as tabelas do BigQuery no seu projeto são visualizações autorizadas, não visualizações materializadas.

  • Não é possível mudar nem atualizar os dados nessas tabelas.

  • Os produtos são atualizados a cada hora.

  • Os eventos do usuário são atualizados quase em tempo real.

Sobre os dados de eventos do usuário exportados

Confira o que você precisa saber sobre as informações de produto incluídas nos dados de eventos do usuário exportados.

Informações de preços de produtos

A forma como as informações de preço do produto são retornadas pelo método userEvents.export depende do seguinte:

  • Você incluiu informações de preço nos dados de eventos do usuário no momento da ingestão. Quando você chama o método userEvents.export, o preço retornado com um evento de usuário é o preço do produto no momento do evento.

  • Você não incluiu informações de preço com os dados de eventos do usuário, mas incluiu informações de preço nos dados de produtos no momento da ingestão. Quando você chama o método userEvents.export, o preço retornado com um evento de usuário não é necessariamente o preço do produto no momento do evento. É o preço encontrado nos seus dados de produtos no momento da ingestão.

  • Você não incluiu informações de preço com os dados de eventos do usuário, e não há informações de preço disponíveis nos dados de produtos. Quando você chama o método userEvents.export, nenhum preço é retornado com os eventos de usuário.

Outras informações do produto

Todas as informações do produto (exceto o preço) são combinadas com as informações do evento do usuário no momento em que você chama o método userEvents.export. Os valores dos produtos podem mudar entre o momento do evento do usuário e o momento em que você chama userEvents.export. Por isso, os valores de produtos sem preço retornados na tabela de eventos do usuário podem ser diferentes dos valores no momento do evento.

Opcional: confirme se as novas tabelas estão no BigQuery

Depois de exportar os dados de produtos e eventos do usuário para o BigQuery, verifique se as novas tabelas estão presentes.

  1. No BigQuery, navegue até o conjunto de dados ou os conjuntos que você criou em Criar um conjunto de dados no BigQuery.

  2. Abra os conjuntos de dados e verifique se as duas tabelas exportadas aparecem. Por exemplo, procure tabelas com nomes que terminam em retail_products e retail_user_events.

Para mais informações sobre como trabalhar com tabelas do BigQuery, consulte Consultar e visualizar dados.

Consulte a página Governança de dados para mais informações sobre como a Vertex AI para Pesquisa no comércio lida com os dados dos clientes.