Controllare la qualità dei dati per i consigli sui contenuti multimediali

Questa pagina descrive come scoprire se varie metriche per i dati multimediali soddisfano le relative soglie di requisiti.

Informazioni sul controllo della qualità dei dati multimediali

Poiché gli eventi utente recenti sono molto importanti per i consigli sui contenuti multimediali, devi controllare regolarmente la qualità dei dati importati e degli eventi utente. Per farlo, consulta la scheda Ottimizzazione dell'app di suggerimenti sui contenuti multimediali per determinare quali miglioramenti puoi apportare ai dati al fine di ottimizzare per consigli di qualità migliore.

Se la soglia di una metrica non viene raggiunta, la metrica ha uno stato di avviso. Poi, devi esaminare la metrica e la relativa descrizione per determinare quali azioni devi intraprendere per migliorare la qualità dei tuoi contenuti multimediali.

Tutti i modelli e gli scopi devono superare le soglie della metrica Qualità generale. Alcuni modelli e obiettivi hanno metriche e soglie aggiuntive per la qualità specifica dell'app. Le metriche generali della qualità sono le stesse per tutte le app che utilizzano lo stesso datastore, ma le metriche della qualità specifiche per app variano in base al modello e agli scopi dell'app.

Per informazioni sui modelli e sugli obiettivi dei consigli, consulta Informazioni sui tipi di consigli per le app multimediali.

Controlla la qualità dei dati

Console

Per controllare la qualità dei dati dei consigli sui contenuti multimediali:

1. Nella console Google Cloud, vai alla pagina Agent Builder.

   Agent Builder

2. Fai clic sul nome dell'app di consigli sui contenuti multimediali per la quale vuoi controllare la qualità dei dati.

3. Nel menu di navigazione, fai clic su Qualità dei dati e poi sulla scheda Ottimizzazione. Questa pagina mostra lo stato di varie metriche per i dati associati alla tua app.

4. Esamina gli stati Qualità generale e Qualità specifica app nella parte superiore della pagina. Lo stato di riepilogo nella parte superiore della pagina viene visualizzato come avviso se una o più metriche hanno superato la soglia.

   Le due tabelle delle metriche (Qualità generale e Qualità specifica per app) elencano le singole metriche.

   

5. Nelle tabelle delle metriche, fai clic su Visualizza dettagli per ulteriori informazioni sulle metriche nello stato di avviso.

6. (Facoltativo) Se vuoi visualizzare la soglia per una metrica conforme, fai clic su Visualizza dettagli. Le soglie per le metriche conformi non vengono mostrate nella tabella delle metriche.

REST

Nota: questa funzionalità è un'offerta in anteprima, soggetta ai "Termini dell'offerta pre-GA" dei Termini di servizio specifici per Google Cloud. I prodotti e le funzionalità pre-GA potrebbero avere supporto limitato e le modifiche ai prodotti e alle funzionalità pre-GA potrebbero non essere compatibili con altre versioni pre-GA. Per ulteriori informazioni, consulta le descrizioni della fase di lancio. Inoltre, utilizzando questa funzionalità, accetti i Termini e condizioni di Anteprima dell'IA generativa ("Termini di anteprima"). Per questa funzionalità, puoi trattare i dati personali come descritto nell'Addendum per il trattamento dei dati Cloud, in conformità alle limitazioni e alle obbligazioni applicabili del Contratto (come definite nei Termini di anteprima).

Utilizza il metodo requirements:checkRequirement per verificare la qualità dei dati dei consigli sui contenuti multimediali, come mostrato.

Per controllare la qualità dalla riga di comando:

1. Trova l'ID del tuo datastore. Se hai già l'ID del tuo datastore, vai al passaggio successivo.

   1. Nella console Google Cloud, vai alla pagina Agent Builder e nel menu di navigazione fai clic su Data Store.

      Vai alla pagina Datastore

   2. Fai clic sul nome del tuo datastore.

   3. Nella pagina Dati del tuo datastore, ottieni l'ID datastore.

2. Esegui il seguente comando curl per scoprire se i tuoi consigli sui contenuti multimediali soddisfano le soglie per le metriche generali:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   • PROJECT_ID: l'ID del tuo progetto Google Cloud.
   • DATA_STORE_ID: l'ID dello datastore di Vertex AI Search.

   Comando e risultato di esempio

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/requirements:checkRequirement"
   -d '{
     "location": "projects/123456/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/general/all/warning",
   "displayName": "Warning level requirements for all models and all business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for all media recommendations models and all business objectives.",
   "condition": {
     "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "doc_with_same_title_percentage",
       "resourceType": "discoveryengine.googleapis.com/Branch",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/documents/items_with_same_title' AND metric.labels.is_percentage = 'True' AND resource.labels.project_number = '123456' AND resource.labels.branch_id = '0' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the documents with the same title in a branch.",
       "category": "Document"
     },
     {
       "variableId": "most_common_visitor_id_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/datastore/user_events/most_used_visitor_id_events' AND metric.labels.is_percentage = 'True' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the events with the same visitor id.",
       "category": "DataStore"
     },
     {
       "variableId": "short_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'WEEK' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 7 days.",
       "category": "DataStore"
     },
     {
       "variableId": "long_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'NINETY_DAYS' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 90 days.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "doc_with_same_title_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 1.0
       }
       "description": "The threshold for the percentage of the documents with the same title in a branch."
     },
     {
       "variableId": "most_common_visitor_id_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events with the same visitor id."
     },
     {
       "variableId": "short_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 7 days."
     },
     {
       "variableId": "long_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 2.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 90 days"
     }
   ]
   },
   "result": "WARNING",
   "requirementCondition": {
   "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "short_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.416900898Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "long_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.417962744Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "most_common_visitor_id_percentage",
     "value": {
       "doubleValue": 0.8
     },
     "timestamp": "2024-06-06T03:03:16.090037135Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/most_used_visitor_id_events"
   },
   {
     "name": "doc_with_same_title_percentage",
     "value": {
       "doubleValue": 30.47
     },
     "timestamp": "2024-06-06T03:03:17.599458357Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/documents/items_with_same_title"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T03:03:13.416900898Z"
   }
   

3. Esamina l'output:

   1. Cerca il valore di result:

      • Se il valore è SUCCESS, i dati soddisfano i requisiti generali. Vai al passaggio 4.

      • Se il valore è WARNING, vai al passaggio b.

      • Se non vedi result nell'output, i motivi possono essere due:

        • PROJECT_ID o DATA_STORE_ID nella richiesta non è corretto.

        • Alcuni valori delle metriche non sono disponibili. Riprova tra 6 ore o rivolgiti a un tecnico dell'assistenza clienti per ricevere assistenza.

   2. Cerca l'espressione (requirement.Condition.Expression): se il valore di questa expression è false, significa che c'è un problema con i dati.

      Nota: il simbolo di minore nell'espressione viene visualizzato in Unicode, \u003c, anziché come "<".

      Il valore delle metriche si trova nel requirementCondition.metricResults.value campo. I valori della soglia di avviso si trovano nei campi thresholdBindings.thresholdValues. I campi description possono aiutarti a comprendere lo scopo della metrica.

      Ad esempio, il valore di doc_with_same_title_percentage è 30.47 e la soglia di avviso per doc_with_same_title_percentage_threshold è 1. Si è verificato un problema con i dati: molti dei titoli nel datastore sono uguali e questo deve essere esaminato.

4. Se la combinazione di modello e scopo utilizzata per l'app di consigli appare in questa tabella, devi anche chiamare il metodo di controllo dei requisiti, aggiornato con i valori per il modello e lo scopo:

   Modello	Obiettivo	MODEL_OBJ
   Altri che potrebbero piacerti	Tasso di conversione	oyml/cvr
   Consigliate per te	Tasso di conversione	rfy/cvr
   Altri simili	Tasso di conversione	mlt/cvr
   I più popolari	Tasso di conversione	mp/cvr
   Altri che potrebbero piacerti	Durata riproduzione per sessione	oyml/wdps
   Consigliate per te	Durata riproduzione per sessione	rfy/wdps
   Altri simili	Durata riproduzione per sessione	mlt/wdps

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/MODEL_OBJ/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   • PROJECT_ID: l'ID del tuo progetto Google Cloud.
   • DATA_STORE_ID: l'ID dello datastore di Vertex AI Search.
   • MODEL_OBJ: consulta la tabella precedente per scegliere il valore corretto per la tua app di consigli.

   Comando e risultato di esempio

   Questo esempio è relativo al modello Più contenuti come questo e all'obiettivo Durata di visualizzazione:

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/requirements:checkRequirement"
   -d '{
     "location": "projects/my-project-123/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
   "displayName": "Warning level requirements for 'More Like This' models and 'Watch duration per session' business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for the 'More Like This' model and the 'Watch duration per session' business objective.",
   "condition": {
     "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "invalid_sequence_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete' AND metric.labels.is_percentage = 'True'  AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection' AND resource.labels.project_number = '123456' AND resource.labels.datastore_id = 'my-data-store'",
       "description": "The percentage of invalid sequences for media play and media complete events sampled by randomly selected visitor ids.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "invalid_sequence_percentage_threshold",
       "thresholdValues": [
         {
           "severity": "WARNING",
           "value": 50
         }
       ],
       "description": "The threshold for the percentage of invalid sequences sampled among all media play and media complete events."
     }
   ]
   },
   "result": "SUCCESS",
   "requirementCondition": {
   "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "invalid_sequence_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T02:32:00.460056386Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T02:32:00.460056386Z"
   }
   

5. Esamina l'output:

   1. Cerca il valore di result:

      • Se il valore è SUCCESS, significa che i dati sono sufficienti.

      • Se il valore è WARNING, vai al passaggio b.

      • Se non vedi result nell'output, i motivi possono essere due:

        • PROJECT_ID o DATA_STORE_ID nella richiesta non è corretto.

        • Alcuni valori delle metriche non sono disponibili. Riprova tra 6 ore o rivolgiti a un tecnico dell'assistenza clienti per ricevere assistenza.

   2. Esamina l'espressione (requirement.Condition.Expression). Se il valore di questa expression è false, significa che c'è un problema con i dati.

      Nota: il segno di minore nell'espressione viene visualizzato in Unicode, \u003c, anziché come <.

      Il valore delle metriche è disponibile nel campo requirementCondition.metricResults.value, mentre i valori della soglia di avviso sono disponibili nei campi thresholdBindings.thresholdValues. I campi description possono aiutarti a comprendere lo scopo della metrica.