Obtenir une estimation des coûts de stockage mensuels

L'indexation avancée de sites Web entraîne des frais de stockage de données mensuels en fonction de la taille des données Web que vous importez dans votre data store. Pour obtenir une estimation de la taille de vos données Web avant de les importer, vous pouvez appeler la méthode estimateDataSize et spécifier les pages Web que vous souhaitez importer. La méthode estimateDataSize est une opération de longue durée qui s'exécute jusqu'à ce que le processus d'estimation de la taille des données soit terminé. Cette opération peut prendre de quelques minutes à plus d'une heure, selon le nombre de pages Web que vous spécifiez. Une fois que vous avez une estimation de la taille de vos données Web, vous pouvez obtenir une estimation de vos coûts de stockage de données mensuels en consultant la page des tarifs des applications d'IA (voir la section Tarifs de l'index de données) ou le simulateur de coût de Google Cloud (recherchez "Applications d'IA").

Avant de commencer

Déterminez les formats d'URL des sites Web que vous prévoyez d'inclure (et éventuellement d'exclure) lorsque vous importez des données Web dans votre data store. Vous spécifiez ces formats d'URL lorsque vous appelez la méthode estimateDataSize.

Procédure

Pour obtenir une estimation de la taille de vos données Web, procédez comme suit :

  1. Appelez la méthode estimateDataSize.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global:estimateDataSize" \
-d '{
  "website_data_source": {
    "estimator_uri_patterns": {
      provided_uri_pattern: "URI_PATTERN_TO_INCLUDE",
      exact_match: EXACT_MATCH_BOOLEAN
    },
    "estimator_uri_patterns": {
      provided_uri_pattern: "URI_PATTERN_TO_EXCLUDE",
      exact_match: EXACT_MATCH_BOOLEAN,
      exclusive: EXCLUSIVE_BOOLEAN
    }
  }
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : par l'ID du projet.

    • URI_PATTERN_TO_INCLUDE : formats d'URL des sites Web que vous souhaitez inclure dans votre estimation de la taille des données.

    • URI_PATTERN_TO_EXCLUDE : (facultatif) formats d'URL des sites Web que vous souhaitez exclure de votre estimation de la taille des données.

      Pour URI_PATTERN_TO_INCLUDE et URI_PATTERN_TO_EXCLUDE, vous pouvez utiliser des modèles semblables à ceux ci-dessous :

      • L'intégralité du site Web : www.mysite.com
      • Éléments d'un site Web : www.mysite.com/faq
      • Totalité du domaine : mysite.com ou *.mysite.com

    • EXCLUSIVE_BOOLEAN : (facultatif) Si la valeur est true, le modèle d'URI fourni représente les pages Web qui sont exclues de votre estimation de la taille des données. La valeur par défaut est false, ce qui signifie que le modèle d'URI fourni représente les pages Web incluses dans l'estimation de la taille de vos données.

    • EXACT_MATCH_BOOLEAN : (facultatif) Si la valeur est true, le modèle d'URI fourni représente une seule page Web, au lieu de la page Web et de tous ses enfants. La valeur par défaut est false, ce qui signifie que le modèle d'URI fourni représente la page Web et tous ses enfants.

    Le résultat ressemble à ce qui suit :

    {
  "name": "projects/PROJECT_ID/locations/global/operations/estimate-data-size-01234567890123456789",
  "metadata": {
    "@type":  "type.googleapis.com/google.cloud.discoveryengine.v1alpha.EstimateDataSizeMetadata"
  }
}

    Ce résultat inclut le champ name, qui correspond au nom de l'opération de longue durée. Enregistrez la valeur name pour l'utiliser à l'étape suivante.

  2. Interrogez la méthode operations.get.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
"https://discoveryengine.googleapis.com/v1/OPERATION_NAME"

    Remplacez OPERATION_NAME par la valeur name que vous avez enregistrée à l'étape précédente. Vous pouvez également obtenir le nom de l'opération en répertoriant les opérations de longue durée.

  3. Évaluez chaque réponse.

    • Si une réponse ne contient pas "done": true, le processus d'estimation de la taille des données n'est pas terminé. Continuez la recherche.

      Le résultat ressemble à ce qui suit :

      {
  "name": "projects/PROJECT_ID/locations/global/operations/estimate-data-size-01234567890123456789",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.EstimateDataSizeMetadata"
  }
}

    • Si une réponse contient "done": true, le processus d'estimation de la taille des données est terminé. Enregistrez la valeur DATA_SIZE_BYTES de la réponse à utiliser à l'étape suivante.

      Le résultat ressemble à ce qui suit :

      {
  "name": "projects/PROJECT_ID/locations/global/operations/estimate-data-size-01234567890123456789",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.EstimateDataSizeMetadata",
    "createTime": "2023-12-08T19:54:06.911248Z"
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.EstimateDataSizeResponse",
    "dataSizeBytes": DATA_SIZE_BYTES,
    "documentCount": DOCUMENT_COUNT
  }
}

      Ce résultat inclut les valeurs suivantes :

      • DATA_SIZE_BYTES : taille estimée de vos données Web, en octets.

      • DOCUMENT_COUNT : nombre estimé de pages Web dans vos données Web.

  4. Divisez la valeur DATA_SIZE_BYTES de l'étape précédente par 1 000 000 000 pour obtenir des gigaoctets. Enregistrez cette valeur pour l'étape suivante.

  5. Pour obtenir une estimation de vos coûts de stockage de données mensuels :

    1. Accédez au simulateur de coût Google Cloud.

    2. Cliquez sur Ajouter à l'estimation.

    3. Recherchez AI Applications, puis cliquez sur la case Applications d'IA.

    4. Dans le champ Index des données, saisissez la taille estimée de vos données Web en gigaoctets, comme indiqué à l'étape précédente.

      Consultez la section Coût estimé pour connaître le coût estimé du stockage de vos données.