Comprobar la calidad de los datos de las recomendaciones de contenido multimedia

En esta página se describe cómo averiguar si varias métricas de tus datos multimedia cumplen los umbrales necesarios.

Acerca de la comprobación de la calidad de los datos multimedia

Como los eventos de usuario recientes son tan importantes para las recomendaciones de contenido multimedia, debes comprobar periódicamente la calidad de los datos y los eventos de usuario que ingieres. Para ello, consulta la pestaña Optimización de tu aplicación de recomendaciones de contenido multimedia para determinar qué mejoras puedes hacer en tus datos y, así, optimizar las recomendaciones de mayor calidad.

Si no se alcanza el umbral de una métrica, esta tendrá el estado de advertencia. A continuación, debe revisar la métrica y su descripción para determinar qué acción debe llevar a cabo para mejorar la calidad de su contenido multimedia.

Todos los modelos y objetivos deben superar los umbrales de la métrica Calidad general. Algunos modelos y objetivos tienen métricas y umbrales de calidad específicos de la aplicación adicionales. Las métricas de calidad generales son las mismas para todas las aplicaciones que usan el mismo almacén de datos, pero las métricas de calidad específicas de cada aplicación varían en función del modelo y los objetivos de la aplicación.

Para obtener información sobre los modelos y objetivos de recomendación, consulta Acerca de los tipos de recomendaciones de aplicaciones multimedia.

Comprobar la calidad de los datos

Consola

Para comprobar la calidad de los datos de las recomendaciones de contenido multimedia, siga estos pasos:

1. En la Google Cloud consola, ve a la página Aplicaciones de IA.

   Aplicaciones de IA

2. Haga clic en el nombre de la aplicación de recomendaciones de contenido multimedia de la que quiera consultar la calidad de los datos.

3. En el menú de navegación, haga clic en Calidad de los datos y, a continuación, en la pestaña Optimización. En esta página se muestra el estado de varias métricas de los datos asociados a tu aplicación.

4. Consulta los estados Calidad general y Calidad específica de la aplicación en la parte superior de la página. El estado de resumen de la parte superior de la página se muestra como una advertencia si una o varias métricas han superado su umbral.

   En las dos tablas de métricas (Calidad general y Calidad específica de la aplicación) se muestran las métricas individuales.

   

5. En las tablas de métricas, haga clic en Ver detalles para obtener más información sobre las métricas que tengan el estado de advertencia.

6. Opcional: Si quiere ver el umbral de una métrica que cumple los requisitos, haga clic en Ver detalles. Los umbrales de las métricas que cumplen los requisitos no se muestran en la tabla de métricas.

REST

Nota: Esta función es una oferta de vista previa, sujeta a los "Términos de las Ofertas de Acceso Previo a la Disponibilidad General" de los Términos Específicos de los Servicios de GCP. Las funciones y los productos previos a la disponibilidad general pueden tener una asistencia limitada y los cambios que se produzcan en ellos podrían no ser compatibles con otras versiones previas a la disponibilidad general. Para obtener más información, consulta las descripciones de las fases de lanzamiento. Además, al usar esta función, aceptas los términos y condiciones de la vista previa de IA generativa ("Términos de la Vista Previa"). Para usar esta función, puedes tratar datos personales tal como se indica en la Adenda sobre Tratamiento de Datos de Cloud, de acuerdo con las restricciones y obligaciones aplicables del Contrato (tal como se definen en los Términos de la Vista Previa).

Usa el método requirements:checkRequirement para comprobar la calidad de los datos de recomendaciones de contenido multimedia, tal como se muestra.

Para comprobar la calidad desde la línea de comandos, sigue estos pasos:

1. Busca el ID de tu almacén de datos. Si ya tiene el ID del almacén de datos, vaya al siguiente paso.

   1. En la Google Cloud consola, ve a la página Aplicaciones de IA y, en el menú de navegación, haz clic en Almacenes de datos.

      Ir a la página Almacenes de datos

   2. Haga clic en el nombre de su almacén de datos.

   3. En la página Datos de su almacén de datos, obtenga el ID del almacén de datos.

2. Ejecuta el siguiente comando curl para saber si tus recomendaciones de contenido multimedia cumplen los umbrales de las métricas generales:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   Haz los cambios siguientes:

   • PROJECT_ID: el ID de tu proyecto de Google Cloud .
   • DATA_STORE_ID: el ID del almacén de datos de Vertex AI Search.

   Ejemplo de comando y resultado

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/requirements:checkRequirement"
   -d '{
     "location": "projects/123456/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/general/all/warning",
   "displayName": "Warning level requirements for all models and all business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for all media recommendations models and all business objectives.",
   "condition": {
     "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "doc_with_same_title_percentage",
       "resourceType": "discoveryengine.googleapis.com/Branch",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/documents/items_with_same_title' AND metric.labels.is_percentage = 'True' AND resource.labels.project_number = '123456' AND resource.labels.branch_id = '0' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the documents with the same title in a branch.",
       "category": "Document"
     },
     {
       "variableId": "most_common_visitor_id_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/datastore/user_events/most_used_visitor_id_events' AND metric.labels.is_percentage = 'True' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the events with the same visitor id.",
       "category": "DataStore"
     },
     {
       "variableId": "short_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'WEEK' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 7 days.",
       "category": "DataStore"
     },
     {
       "variableId": "long_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'NINETY_DAYS' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 90 days.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "doc_with_same_title_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 1.0
       }
       "description": "The threshold for the percentage of the documents with the same title in a branch."
     },
     {
       "variableId": "most_common_visitor_id_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events with the same visitor id."
     },
     {
       "variableId": "short_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 7 days."
     },
     {
       "variableId": "long_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 2.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 90 days"
     }
   ]
   },
   "result": "WARNING",
   "requirementCondition": {
   "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "short_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.416900898Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "long_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.417962744Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "most_common_visitor_id_percentage",
     "value": {
       "doubleValue": 0.8
     },
     "timestamp": "2024-06-06T03:03:16.090037135Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/most_used_visitor_id_events"
   },
   {
     "name": "doc_with_same_title_percentage",
     "value": {
       "doubleValue": 30.47
     },
     "timestamp": "2024-06-06T03:03:17.599458357Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/documents/items_with_same_title"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T03:03:13.416900898Z"
   }
   

3. Revisa el resultado:

   1. Busca el valor de result:

      • Si el valor es SUCCESS, significa que sus datos cumplen los requisitos generales. Continúe con el paso 4.

      • Si el valor es WARNING, ve al paso b.

      • Si no ves result en el resultado, puede deberse a varios motivos:

        • El PROJECT_ID o el DATA_STORE_ID de la solicitud son incorrectos.

        • Algunos valores de métricas no están disponibles. Vuelve a intentarlo dentro de 6 horas o ponte en contacto con un ingeniero de asistencia para obtener ayuda.

   2. Busca la expresión (requirement.Condition.Expression): si esta expresión da como resultado "false", significa que hay un problema con tus datos.

      Nota: El signo menor que de la expresión aparece en Unicode, \u003c, en lugar de como "<".

      Los valores de las métricas se encuentran en el campo requirementCondition.metricResults.value. Los valores del umbral de advertencia se encuentran en los campos thresholdBindings.thresholdValues. Los campos de descriptionpueden ayudarte a entender el propósito de la métrica.

      Por ejemplo, el valor de doc_with_same_title_percentage es 30.47 y el umbral de advertencia de doc_with_same_title_percentage_threshold es 1. Hay un problema con los datos, ya que muchos de los títulos del almacén de datos son iguales, por lo que es necesario investigar qué ocurre.

4. Si la combinación de modelo y objetivo que se usa en tu aplicación de recomendaciones aparece en esta tabla, también debes llamar al método check requirement, actualizado con los valores de tu modelo y objetivo:

   Modelo	Objetivo	MODEL_OBJ
   Otros que te podrían interesar	Tasa de conversión	oyml/cvr
   Recomendado para ti	Tasa de conversión	rfy/cvr
   Más contenido similar	Tasa de conversión	mlt/cvr
   Más populares	Tasa de conversión	mp/cvr
   Otros que te podrían interesar	Duración de la visualización por sesión	oyml/wdps
   Recomendado para ti	Duración de la visualización por sesión	rfy/wdps
   Más contenido similar	Duración de la visualización por sesión	mlt/wdps

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/MODEL_OBJ/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   Haz los cambios siguientes:

   • PROJECT_ID: el ID de tu proyecto de Google Cloud .
   • DATA_STORE_ID: el ID del almacén de datos de Vertex AI Search.
   • MODEL_OBJ: consulta la tabla anterior para elegir el valor correcto de tu aplicación de recomendaciones.

   Ejemplo de comando y resultado

   Este ejemplo es para el modelo "Más como esto" y el objetivo de duración de la visualización:

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/requirements:checkRequirement"
   -d '{
     "location": "projects/my-project-123/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
   "displayName": "Warning level requirements for 'More Like This' models and 'Watch duration per session' business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for the 'More Like This' model and the 'Watch duration per session' business objective.",
   "condition": {
     "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "invalid_sequence_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete' AND metric.labels.is_percentage = 'True'  AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection' AND resource.labels.project_number = '123456' AND resource.labels.datastore_id = 'my-data-store'",
       "description": "The percentage of invalid sequences for media play and media complete events sampled by randomly selected visitor ids.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "invalid_sequence_percentage_threshold",
       "thresholdValues": [
         {
           "severity": "WARNING",
           "value": 50
         }
       ],
       "description": "The threshold for the percentage of invalid sequences sampled among all media play and media complete events."
     }
   ]
   },
   "result": "SUCCESS",
   "requirementCondition": {
   "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "invalid_sequence_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T02:32:00.460056386Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T02:32:00.460056386Z"
   }
   

5. Revisa el resultado:

   1. Busca el valor de result:

      • Si el valor es SUCCESS, significa que los datos son lo suficientemente buenos.

      • Si el valor es WARNING, ve al paso b.

      • Si no ves result en el resultado, puede deberse a varios motivos:

        • El PROJECT_ID o el DATA_STORE_ID de la solicitud son incorrectos.

        • Algunos valores de métricas no están disponibles. Vuelve a intentarlo dentro de 6 horas o ponte en contacto con un ingeniero de asistencia para obtener ayuda.

   2. Busque la expresión (requirement.Condition.Expression). Si esta expresión da como resultado el valor false, significa que hay un problema con sus datos.

      Nota: El signo menor que de la expresión aparece en Unicode, \u003c, en lugar de como <.

      El valor de las métricas se encuentra en el campo requirementCondition.metricResults.value y los valores del umbral de advertencia, en los campos thresholdBindings.thresholdValues. Los campos description pueden ayudarte a entender la finalidad de la métrica.