Controllare la qualità dei dati per i consigli sui contenuti multimediali

Questa pagina descrive come scoprire se varie metriche per i tuoi dati multimediali soddisfano le soglie dei requisiti.

Informazioni sul controllo della qualità dei dati multimediali

Poiché gli eventi utente recenti sono molto importanti per i suggerimenti sui contenuti multimediali, devi controllare regolarmente la qualità dei dati e degli eventi utente importati. Puoi farlo esaminando la scheda Ottimizzazione dell'app di suggerimenti sui contenuti multimediali per determinare quali miglioramenti puoi apportare ai tuoi dati al fine di ottimizzarli per suggerimenti di qualità migliore.

Se la soglia di una metrica non viene raggiunta, la metrica ha uno stato di avviso. Dopodiché, devi esaminare la metrica e la relativa descrizione per determinare l'azione da intraprendere per migliorare la qualità dei contenuti multimediali.

Tutti i modelli e gli obiettivi devono superare le soglie della metrica Qualità generale. Alcuni modelli e obiettivi hanno metriche e soglie aggiuntive per la qualità specifica dell'app. Le metriche di qualità generali sono le stesse per tutte le app che utilizzano lo stesso datastorei, ma le metriche di qualità specifiche dell'app variano in base al modello e agli obiettivi dell'app.

Per informazioni sui modelli e sugli obiettivi di suggerimento, consulta Informazioni sui tipi di suggerimenti per le app multimediali.

Controlla la qualità dei dati

Console

Per controllare la qualità dei dati dei consigli sui contenuti multimediali:

1. Nella Google Cloud console, vai alla pagina AI Applications.

   Applicazioni di AI

2. Fai clic sul nome dell'app di consigli sui contenuti multimediali per cui vuoi controllare la qualità dei dati.

3. Nel menu di navigazione, fai clic su Qualità dei dati e poi sulla scheda Ottimizzazione. Questa pagina mostra lo stato di varie metriche per i dati associati alla tua app.

4. Esamina gli stati Qualità generale e Qualità specifica app nella parte superiore della pagina. Lo stato del riepilogo nella parte superiore della pagina viene visualizzato come avviso se una o più metriche hanno superato la soglia.

   Le due tabelle delle metriche (Qualità generale e Qualità specifica dell'app) elencano le singole metriche.

   

5. Nelle tabelle delle metriche, fai clic su Visualizza dettagli per ulteriori informazioni su qualsiasi metrica in stato di avviso.

6. (Facoltativo) Se vuoi visualizzare la soglia per una metrica conforme, fai clic su Visualizza dettagli. Le soglie per le metriche conformi non vengono visualizzate nella tabella delle metriche.

REST

Nota: questa funzionalità è un'offerta in anteprima, soggetta ai "Termini delle offerte pre-GA" dei Termini di servizio specifici per Google Cloud. I prodotti e le funzionalità pre-GA potrebbero avere supporto limitato e le modifiche ai prodotti e alle funzionalità pre-GA potrebbero non essere compatibili con altre versioni pre-GA. Per ulteriori informazioni, consulta le descrizioni della fase di lancio. Inoltre, utilizzando questa funzionalità, accetti i Termini e condizioni di Anteprima dell'IA generativa ("Termini di anteprima"). Per questa funzionalità, puoi trattare i dati personali come descritto nell'Addendum per il trattamento dei dati Cloud, in conformità alle limitazioni e alle obbligazioni applicabili del Contratto (come definite nei Termini di anteprima).

Utilizza il metodo requirements:checkRequirement per verificare la qualità dei dati dei consigli sui contenuti multimediali, come mostrato.

Per controllare la qualità dalla riga di comando:

1. Trova l'ID datastore. Se hai già l'ID del tuodatastorei, vai al passaggio successivo.

   1. Nella console Google Cloud , vai alla pagina AI Applications e nel menu di navigazione, fai clic su Data Stores.

      Vai alla pagina Datastore

   2. Fai clic sul nome del tuo datastore.

   3. Nella pagina Dati del datastore, recupera l'ID datastore.

2. Esegui il seguente comando curl per verificare se i suggerimenti sui contenuti multimediali soddisfano le soglie per le metriche generali:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   Sostituisci quanto segue:

   • PROJECT_ID: l'ID del tuo Google Cloud progetto.
   • DATA_STORE_ID: l'ID del datastore Vertex AI Search.

   Esempio di comando e risultato

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/requirements:checkRequirement"
   -d '{
     "location": "projects/123456/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/general/all/warning",
   "displayName": "Warning level requirements for all models and all business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for all media recommendations models and all business objectives.",
   "condition": {
     "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "doc_with_same_title_percentage",
       "resourceType": "discoveryengine.googleapis.com/Branch",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/documents/items_with_same_title' AND metric.labels.is_percentage = 'True' AND resource.labels.project_number = '123456' AND resource.labels.branch_id = '0' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the documents with the same title in a branch.",
       "category": "Document"
     },
     {
       "variableId": "most_common_visitor_id_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/datastore/user_events/most_used_visitor_id_events' AND metric.labels.is_percentage = 'True' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the events with the same visitor id.",
       "category": "DataStore"
     },
     {
       "variableId": "short_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'WEEK' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 7 days.",
       "category": "DataStore"
     },
     {
       "variableId": "long_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'NINETY_DAYS' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 90 days.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "doc_with_same_title_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 1.0
       }
       "description": "The threshold for the percentage of the documents with the same title in a branch."
     },
     {
       "variableId": "most_common_visitor_id_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events with the same visitor id."
     },
     {
       "variableId": "short_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 7 days."
     },
     {
       "variableId": "long_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 2.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 90 days"
     }
   ]
   },
   "result": "WARNING",
   "requirementCondition": {
   "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "short_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.416900898Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "long_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.417962744Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "most_common_visitor_id_percentage",
     "value": {
       "doubleValue": 0.8
     },
     "timestamp": "2024-06-06T03:03:16.090037135Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/most_used_visitor_id_events"
   },
   {
     "name": "doc_with_same_title_percentage",
     "value": {
       "doubleValue": 30.47
     },
     "timestamp": "2024-06-06T03:03:17.599458357Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/documents/items_with_same_title"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T03:03:13.416900898Z"
   }
   

3. Rivedi l'output:

   1. Cerca il valore di result:

      • Se il valore è SUCCESS, i dati soddisfano i requisiti generali; continua con il passaggio 4.

      • Se il valore è WARNING, vai al passaggio b.

      • Se nell'output non vedi result, i motivi potrebbero essere due:

        • Il PROJECT_ID o il DATA_STORE_ID nella richiesta non è corretto.

        • Alcuni valori delle metriche non sono disponibili. Riprova tra 6 ore o contatta un tecnico dell'assistenza clienti per ricevere aiuto.

   2. Cerca l'espressione (requirement.Condition.Expression): se questa espressione restituisce il valore false, significa che c'è un problema con i tuoi dati.

      Nota: il simbolo di minore nell'espressione viene visualizzato in Unicode, \u003c, anziché come "<".

      Il valore delle metriche si trova nel campo requirementCondition.metricResults.value. I valori della soglia di avviso si trovano nei campi thresholdBindings.thresholdValues. I campi description possono aiutarti a comprendere lo scopo della metrica.

      Ad esempio, il valore di doc_with_same_title_percentage è 30.47 e la soglia di avviso per doc_with_same_title_percentage_threshold è 1. Si è verificato un problema con i dati, in quanto molti titoli nel datastore sono uguali e la situazione deve essere esaminata.

4. Se la combinazione di modello e obiettivo utilizzata per l'app di consigli è presente in questa tabella, devi anche chiamare il metodo di controllo dei requisiti, aggiornato con i valori del modello e dell'obiettivo:

   Modello	Obiettivo	MODEL_OBJ
   Altri che ti potrebbero piacere	Tasso di conversione	oyml/cvr
   Consigliate per te	Tasso di conversione	rfy/cvr
   Altre simili	Tasso di conversione	mlt/cvr
   I più popolari	Tasso di conversione	mp/cvr
   Altri che ti potrebbero piacere	Durata riproduzione per sessione	oyml/wdps
   Consigliate per te	Durata riproduzione per sessione	rfy/wdps
   Altre simili	Durata riproduzione per sessione	mlt/wdps

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/MODEL_OBJ/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   Sostituisci quanto segue:

   • PROJECT_ID: l'ID del tuo Google Cloud progetto.
   • DATA_STORE_ID: l'ID del datastore Vertex AI Search.
   • MODEL_OBJ: consulta la tabella precedente per scegliere il valore corretto per l'app di consigli.

   Esempio di comando e risultato

   Questo esempio riguarda il modello Altri video simili e l'obiettivo durata di visualizzazione:

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/requirements:checkRequirement"
   -d '{
     "location": "projects/my-project-123/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
   "displayName": "Warning level requirements for 'More Like This' models and 'Watch duration per session' business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for the 'More Like This' model and the 'Watch duration per session' business objective.",
   "condition": {
     "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "invalid_sequence_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete' AND metric.labels.is_percentage = 'True'  AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection' AND resource.labels.project_number = '123456' AND resource.labels.datastore_id = 'my-data-store'",
       "description": "The percentage of invalid sequences for media play and media complete events sampled by randomly selected visitor ids.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "invalid_sequence_percentage_threshold",
       "thresholdValues": [
         {
           "severity": "WARNING",
           "value": 50
         }
       ],
       "description": "The threshold for the percentage of invalid sequences sampled among all media play and media complete events."
     }
   ]
   },
   "result": "SUCCESS",
   "requirementCondition": {
   "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "invalid_sequence_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T02:32:00.460056386Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T02:32:00.460056386Z"
   }
   

5. Rivedi l'output:

   1. Cerca il valore di result:

      • Se il valore è SUCCESS, i dati sono sufficienti.

      • Se il valore è WARNING, vai al passaggio b.

      • Se nell'output non vedi result, i motivi potrebbero essere due:

        • Il PROJECT_ID o il DATA_STORE_ID nella richiesta non è corretto.

        • Alcuni valori delle metriche non sono disponibili. Riprova tra 6 ore o contatta un tecnico dell'assistenza clienti per ricevere aiuto.

   2. Esamina l'espressione (requirement.Condition.Expression). Se questa espressione restituisce il valore false, significa che c'è un problema con i tuoi dati.

      Nota: il segno di minore nell'espressione viene visualizzato in Unicode, \u003c, anziché come <.

      Il valore delle metriche è disponibile nel campo requirementCondition.metricResults.value, mentre i valori della soglia di avviso nei campi thresholdBindings.thresholdValues. I campi description possono aiutarti a comprendere lo scopo della metrica.