Exporter vos données dans BigQuery

Cette page explique comment importer des données sur les produits Retail et les événements utilisateur dans BigQuery. Une fois vos données dans BigQuery, vous pouvez les utiliser pour effectuer des prévisions de ventes avec Vertex AI et pour afficher les données dans des tableaux de bord Looker prédéfinis.

Si vos données de retail se trouvent déjà dans des tables d'événements utilisateur et de produits dans BigQuery, au format Vertex AI Search pour le commerce, vous pouvez ignorer cette page et accéder directement à Obtenir des tableaux de bord qui affichent les indicateurs clés de performance et Générer des prévisions de ventes à partir de données de vente. Pour en savoir plus sur le format, consultez Schéma du produit et À propos des événements utilisateur.

Avant de commencer

Avant de pouvoir exporter vos données Retail vers BigQuery, vous devez avoir suivi les procédures décrites dans la section Avant de commencer. Cela inclut l'importation des informations de votre catalogue et de vos événements utilisateur.

Pour en savoir plus sur l'importation, consultez les articles suivants:

• Importer les informations du catalogue
• Enregistrer des événements utilisateur en temps réel
• Importer l'historique des événements utilisateur

Créer un ensemble de données dans BigQuery

Vous devez créer un ou deux ensembles de données dans BigQuery pour stocker vos données produit et d'événement utilisateur. Vous pouvez utiliser un ensemble de données pour stocker les deux types de données ou créer deux ensembles de données, un pour chaque type de données.

Vous devez créer les ensembles de données dans le projet où vous avez implémenté Vertex AI Search pour le commerce.

1. Si vous n'avez jamais utilisé BigQuery dans votre projet auparavant, activez l'API BigQuery et assurez-vous de disposer du rôle IAM vous permettant de créer des ensembles de données et des tables.

   Consultez les pages Avant de commencer et Contrôle des accès avec IAM dans la documentation BigQuery.

2. Créez un ensemble de données dans BigQuery dans l'emplacement multirégional US (plusieurs régions aux États-Unis). Par exemple, nommez-le retail_data. Si vous créez votre ensemble de données dans une autre région, l'exportation de vos données dans BigQuery échouera.

   Pour en savoir plus sur la création d'un ensemble de données, consultez la page Créer des ensembles de données dans la documentation BigQuery.

   Cet ensemble de données sera utilisé pour stocker la ou les tables de données que vous exportez. Les procédures suivantes décrivent comment effectuer l'exportation.

3. Facultatif: Pour placer vos données d'événement utilisateur dans un ensemble de données distinct de vos données produit, créez un second ensemble de données. Par exemple, nommez-la retail_user_event_data.

Exporter votre catalogue Vertex AI Search pour le commerce vers une table BigQuery

Utilisez la méthode products.export pour exporter votre catalogue de vente au détail dans une table BigQuery.

Remarque:La commande suivante suppose que vous vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant gcloud init ou gcloud auth login, ou en utilisant Cloud Shell, qui vous connecte automatiquement à la CLI gcloud.

Avant d'utiliser les données de requête, effectuez les remplacements suivants:

• PROJECT_ID: ID du projet de l'API Vertex AI Search for Retail dans lequel vous avez créé l'ensemble de données BigQuery.
• BRANCH_ID: ID de la branche du catalogue. Utilisez default_branch pour obtenir les données de la branche par défaut. Pour en savoir plus, consultez la section Branches du catalogue.
• DATASET_ID: nom de l'ensemble de données que vous avez créé dans Créer un ensemble de données dans BigQuery. Par exemple, utilisez retail_data ou retail_product_data. L'ensemble de données doit se trouver dans le même projet. N'ajoutez pas l'ID du projet dans le champ datasetId ici.
• TABLE_ID_PREFIX: préfixe de l'ID de table. Ce préfixe ne peut pas être une chaîne vide. Un suffixe de retail_products est ajouté pour compléter le nom de la table. Par exemple, si le préfixe est test, la table est nommée test_retail_products.

Corps JSON de la requête :

{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

Remarque : Assurez-vous d'avoir défini la variable d'environnement GOOGLE_APPLICATION_CREDENTIALS sur le chemin d'accès au fichier de clé privée de votre compte de service.

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

cat > request.json << 'EOF'
{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}
EOF

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://retail.googleapis.com/v2alpha/projects/PROJECT_ID/locations/global/catalogs/default_catalog/branches/BRANCH_ID/products:export"

PowerShell (Windows)

Remarque : Assurez-vous d'avoir défini la variable d'environnement GOOGLE_APPLICATION_CREDENTIALS sur le chemin d'accès au fichier de clé privée de votre compte de service.

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

@'
{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://retail.googleapis.com/v2alpha/projects/PROJECT_ID/locations/global/catalogs/default_catalog/branches/BRANCH_ID/products:export" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/branches/0/operations/17986570020347019923",
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.retail.v2alpha.ExportProductsResponse",
    "outputResult": {
      "bigqueryResult": [
        {
          "datasetId": "DATASET_ID",
          "tableId": "TABLE_ID_PREFIX_retail_products"
        }
      ]
    }
  }
}

Exporter vos événements utilisateur vers une table BigQuery

Utilisez la méthode userEvents.export pour exporter vos événements utilisateur Retail dans une table BigQuery:

Remarque:La commande suivante suppose que vous vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant gcloud init ou gcloud auth login, ou en utilisant Cloud Shell, qui vous connecte automatiquement à la CLI gcloud.

Avant d'utiliser les données de requête, effectuez les remplacements suivants:

• PROJECT_ID: ID du projet de l'API Vertex AI Search for Retail dans lequel vous avez créé l'ensemble de données BigQuery.
• DATASET_ID: nom de l'ensemble de données que vous avez créé dans la section Créer un ensemble de données dans BigQuery. Par exemple, utilisez retail_data ou retail_product_data.
• TABLE_ID_PREFIX: préfixe de l'ID de table. Ce préfixe ne peut pas être une chaîne vide. Un suffixe de retail_products est ajouté pour compléter le nom de la table. Par exemple, si le préfixe est test, la table est nommée test_retail_products.

Corps JSON de la requête :

{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

Remarque : Assurez-vous d'avoir défini la variable d'environnement GOOGLE_APPLICATION_CREDENTIALS sur le chemin d'accès au fichier de clé privée de votre compte de service.

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

cat > request.json << 'EOF'
{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}
EOF

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://retail.googleapis.com/v2alpha/projects/PROJECT_ID/locations/global/catalogs/default_catalog/userEvents:export"

PowerShell (Windows)

Remarque : Assurez-vous d'avoir défini la variable d'environnement GOOGLE_APPLICATION_CREDENTIALS sur le chemin d'accès au fichier de clé privée de votre compte de service.

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

@'
{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://retail.googleapis.com/v2alpha/projects/PROJECT_ID/locations/global/catalogs/default_catalog/userEvents:export" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/operations/17203443067109586170",
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.retail.v2alpha.ExportUserEventsResponse",
    "outputResult": {
      "bigqueryResult": [
        {
          "datasetId": "DATASET_ID",
          "tableId": "TABLE_ID_PREFIX_retail_user_events"
        }
      ]
    }
  }
}

À propos des données exportées

Voici quelques points à retenir sur les données Retail que vous exportez vers des tables BigQuery:

• Les données exportées vers les tables BigQuery de votre projet sont des vues autorisées, et non des vues matérialisées.

• Vous ne pouvez pas modifier ni mettre à jour les données de ces tables.

• Les produits sont actualisés toutes les heures.

• Les événements utilisateur sont actualisés en temps quasi réel.

À propos des données d'événement utilisateur exportées

Voici quelques points à retenir sur les informations produit incluses dans les données d'événement utilisateur exportées.

Informations sur les prix des produits

La manière dont les informations sur les prix des produits sont renvoyées par la méthode userEvents.export dépend des éléments suivants:

• Vous avez inclus des informations de prix dans vos données d'événement utilisateur au moment de l'ingestion. Lorsque vous appelez la méthode userEvents.export, le prix renvoyé avec un événement utilisateur correspond au prix du produit au moment de l'événement.

• Vous n'avez pas inclus d'informations tarifaires dans vos données d'événements utilisateur, mais vous avez inclus des informations tarifaires dans vos données produit au moment de l'ingestion. Lorsque vous appelez la méthode userEvents.export, le prix renvoyé avec un événement utilisateur n'est pas nécessairement le prix du produit au moment de l'événement. Il s'agit du prix figurant dans vos données produit au moment de l'ingestion.

• Vous n'avez pas inclus d'informations tarifaires dans vos données d'événement utilisateur, et aucune information de prix n'est disponible dans vos données produit. Lorsque vous appelez la méthode userEvents.export, aucun prix n'est renvoyé avec les événements utilisateur.

Autres informations sur le produit

Toutes les informations produit (à l'exception du prix) sont associées aux informations sur les événements utilisateur au moment où vous appelez la méthode userEvents.export. Les valeurs des produits peuvent varier entre l'heure de l'événement utilisateur et le moment où vous appelez userEvents.export. Pour cette raison, les valeurs de produit sans prix renvoyées dans la table des événements utilisateur peuvent être différentes des valeurs de produit au moment de l'événement utilisateur.

Facultatif: Vérifier que les nouvelles tables se trouvent dans BigQuery

Après avoir exporté vos données produit et vos données d'événements utilisateur vers BigQuery, assurez-vous que de nouvelles tables sont présentes.

1. Dans BigQuery, accédez aux ensembles de données que vous avez créés dans Créer un ensemble de données dans BigQuery.

2. Ouvrez le ou les ensembles de données et assurez-vous que les deux tables que vous avez exportées s'affichent. Par exemple, recherchez les tables dont le nom se termine par retail_products et retail_user_events.