Exporter vos données vers BigQuery

Cette page explique comment importer des données sur les produits et les événements utilisateur dans BigQuery. Une fois vos données dans BigQuery, vous pourrez les utiliser pour effectuer des prévisions de ventes avec Vertex AI et afficher les données dans des tableaux de bord Looker prédéfinis.

Si vos données retail se trouvent déjà dans des tables de produits et d'événements utilisateur dans BigQuery, dans Vertex AI Search for retail format, vous pouvez ignorer cette page et accéder directement à Obtenir des tableaux de bord présentant les principaux indicateurs de performance et Générer des prévisions de ventes à partir de données retail. Pour en savoir plus sur le format, consultez Schéma de produit et À propos des événements utilisateur.

Avant de commencer

Avant de pouvoir exporter vos données de vente au détail dans BigQuery, vous devez avez suivi les procédures de la section Avant de commencer. Cela inclut l'importation des informations de votre catalogue et de vos événements utilisateur.

Pour en savoir plus sur l'importation, consultez les pages suivantes:

• Importer les informations du catalogue
• Enregistrer des événements utilisateur en temps réel
• Importer les événements utilisateur historiques

Créer un ensemble de données dans BigQuery

Vous devez créer un ou deux ensembles de données dans BigQuery pour stocker les données d'événement utilisateur et produit. Vous pouvez utiliser un seul ensemble de données pour contenir les deux types de données ou créer deux ensembles de données, un pour chaque type de données.

Vous devez créer les ensembles de données dans le projet où vous avez implémenté Vertex AI Search pour le commerce.

1. Si vous n'avez jamais utilisé BigQuery dans votre projet, activez l'API BigQuery et assurez-vous de disposer du rôle IAM qui vous permet de créer des ensembles de données et des tables.

   Consultez les sections Avant de commencer et Contrôle des accès avec IAM dans la documentation BigQuery.

2. Créer un ensemble de données dans BigQuery aux États-Unis (plusieurs régions dans (États-Unis, par exemple) multirégional. Exemple : nom retail_data. Si vous créez votre ensemble de données dans une autre région, l'exportation de vos données vers BigQuery échoue.

   Pour en savoir plus sur la création d'un ensemble de données, consultez la section Créer des ensembles de données dans la documentation BigQuery.

   Cet ensemble de données servira à stocker la ou les tables de données que vous exportez. Les procédures suivantes décrivent comment exporter.

3. Facultatif: Vous pouvez placer vos données d'événements utilisateur dans un ensemble de données distinct de celui des données produit, créez un second jeu de données. Par exemple, donnez-lui un nom retail_user_event_data

Exporter votre catalogue Vertex AI Search pour le commerce vers une table BigQuery

Utilisez la méthode ExportProducts pour exporter votre catalogue retail dans un table BigQuery.

Remarque : La commande suivante suppose que vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login, ou en utilisant Cloud Shell, qui vous connecte automatiquement à la CLI gcloud.

Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :

• PROJECT_ID: ID du Le projet d'API Vertex AI Search pour le commerce dans lequel vous avez créé le projet BigQuery ensemble de données.
• BRANCH_ID : ID de la branche du catalogue. Utilisez default_branch pour obtenir les données de la branche par défaut. Pour en savoir plus, consultez la section Branches de catalogue.
• DATASET_ID : nom de l'ensemble de données que vous avez créé dans Créer un ensemble de données dans BigQuery. Par exemple, utilisez retail_data ou retail_product_data. L'ensemble de données doit se trouver dans le même projet. N'ajoutez pas l'ID du projet au champ datasetId.
• TABLE_ID_PREFIX : Préfixe de l'ID de la table. Ce préfixe ne peut pas être une chaîne vide. Un suffixe retail_products est ajouté pour compléter le nom de la table. Pour Par exemple, si le préfixe est test, la table est nommée test_retail_products

Corps JSON de la requête :

{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

Remarque : Assurez-vous d'avoir défini la variable d'environnement GOOGLE_APPLICATION_CREDENTIALS sur le chemin d'accès au fichier de clé privée de votre compte de service.

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

cat > request.json << 'EOF'
{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}
EOF

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://retail.googleapis.com/v2alpha/projects/PROJECT_ID/locations/global/catalogs/default_catalog/branches/BRANCH_ID/products:export"

PowerShell (Windows)

Remarque : Assurez-vous d'avoir défini la variable d'environnement GOOGLE_APPLICATION_CREDENTIALS sur le chemin d'accès au fichier de clé privée de votre compte de service.

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

@'
{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://retail.googleapis.com/v2alpha/projects/PROJECT_ID/locations/global/catalogs/default_catalog/branches/BRANCH_ID/products:export" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/branches/0/operations/17986570020347019923",
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.retail.v2alpha.ExportProductsResponse",
    "outputResult": {
      "bigqueryResult": [
        {
          "datasetId": "DATASET_ID",
          "tableId": "TABLE_ID_PREFIX_retail_products"
        }
      ]
    }
  }
}

Exporter vos événements utilisateur vers une table BigQuery

Utilisez la méthode userEvents.export pour exporter vos événements utilisateur dans une table BigQuery :

Remarque: La commande suivante suppose que vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant gcloud init ou gcloud auth login, ou en utilisant Cloud Shell, qui vous connecte automatiquement à la CLI gcloud.

Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :

• PROJECT_ID: ID du Le projet d'API Vertex AI Search pour le commerce dans lequel vous avez créé le projet BigQuery ensemble de données.
• DATASET_ID: nom du jeu de données que vous avez créé à l'étape Créer un jeu de données dans BigQuery. Par exemple, utilisez retail_data ou retail_product_data
• TABLE_ID_PREFIX: préfixe pour l'ID de table. Ce préfixe ne peut pas être une chaîne vide. Un suffixe de retail_products est ajouté pour compléter le nom de la table. Par exemple, si le préfixe est test, la table est nommée test_retail_products.

Corps JSON de la requête :

{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

Remarque : Assurez-vous d'avoir défini la variable d'environnement GOOGLE_APPLICATION_CREDENTIALS sur le chemin d'accès au fichier de clé privée de votre compte de service.

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

cat > request.json << 'EOF'
{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}
EOF

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://retail.googleapis.com/v2alpha/projects/PROJECT_ID/locations/global/catalogs/default_catalog/userEvents:export"

PowerShell (Windows)

Remarque : Assurez-vous d'avoir défini la variable d'environnement GOOGLE_APPLICATION_CREDENTIALS sur le chemin d'accès au fichier de clé privée de votre compte de service.

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

@'
{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://retail.googleapis.com/v2alpha/projects/PROJECT_ID/locations/global/catalogs/default_catalog/userEvents:export" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/operations/17203443067109586170",
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.retail.v2alpha.ExportUserEventsResponse",
    "outputResult": {
      "bigqueryResult": [
        {
          "datasetId": "DATASET_ID",
          "tableId": "TABLE_ID_PREFIX_retail_user_events"
        }
      ]
    }
  }
}

À propos des données exportées

Voici ce que vous devez savoir sur les données de vente au détail vers lesquelles vous exportez les données Tables BigQuery:

• Les données exportées vers les tables BigQuery de votre projet sont des vues autorisées, et non des vues matérialisées.

• Vous ne pouvez pas modifier ni mettre à jour les données de ces tableaux.

• Les produits sont actualisés toutes les heures.

• Les événements utilisateur sont actualisés en temps quasi réel.

À propos des données d'événement utilisateur exportées

Voici quelques informations à connaître sur les informations produit incluses avec les données d'événement utilisateur exportées.

Informations sur le prix des produits

Manière dont les informations sur le prix des produits sont renvoyées par la méthode userEvents.export. dépend des éléments suivants:

• Vous avez inclus des informations tarifaires dans vos données d'événements utilisateur au moment de l'ingestion. Lorsque vous appelez la méthode userEvents.export, le prix renvoyé avec un événement utilisateur correspond au prix du produit au moment de l'événement.

• Vous n'avez pas inclus d'informations sur les prix avec vos données d'événement utilisateur, mais vous en avez inclus dans vos données produit au moment de l'ingestion. Lorsque vous appelez la méthode userEvents.export , le prix renvoyé avec un événement utilisateur n'est pas nécessairement le prix du produit au moment de l'événement. Il s'agit du prix indiqué dans vos données produit au moment de l'ingestion.

• Vous n'avez pas inclus d'informations sur les prix avec vos données d'événement utilisateur, et aucune information sur les prix n'est disponible dans vos données produit. Lorsque vous appelez la méthode userEvents.export, aucun prix n'est renvoyé avec les événements utilisateur.

Autres informations sur le produit

Toutes les informations sur les produits (à l'exception du prix) sont jointes aux informations sur les événements utilisateur à l'adresse au moment où vous appelez la méthode userEvents.export. Les valeurs des produits peuvent changer entre le moment de l'événement utilisateur et le moment où vous appelez userEvents.export. Pour cette , les valeurs de produit sans prix renvoyées dans le tableau des événements utilisateur peuvent être différentes des valeurs du produit au moment de l'événement utilisateur.

Facultatif: Vérifier que les nouvelles tables se trouvent dans BigQuery

Après avoir exporté vos données produit et vos données d'événements utilisateur vers BigQuery, la présence de nouvelles tables.

1. Dans BigQuery, accédez à l'ensemble de données ou aux ensembles de données que vous avez créés dans Créer un ensemble de données dans BigQuery.

2. Ouvrez le ou les ensembles de données et vérifiez que les deux tables que vous avez exportées s'affichent. Par exemple, recherchez les tables dont le nom se termine par retail_products et retail_user_events.