Datenqualität für Medienempfehlungen prüfen

Auf dieser Seite wird beschrieben, wie du herausfindest, ob verschiedene Messwerte für deine Mediendaten die erforderlichen Grenzwerte erfüllen.

Qualität von Mediadaten prüfen

Da aktuelle Nutzerereignisse für Medienempfehlungen so wichtig sind, müssen Sie die Qualität der aufgenommenen Daten und Nutzerereignisse regelmäßig prüfen. Sehen Sie sich dazu den Tab Optimierung Ihrer App für Medienempfehlungen an. Dort sehen Sie, welche Verbesserungen Sie an Ihren Daten vornehmen können, um die Qualität der Empfehlungen zu optimieren.

Wenn der Grenzwert eines Messwerts nicht erreicht wird, hat der Messwert den Status „Warnung“. Prüfen Sie dann den Messwert und seine Beschreibung, um festzustellen, welche Maßnahmen Sie ergreifen sollten, um die Medienqualität zu verbessern.

Alle Modelle und Zielvorhaben müssen die Grenzwerte für die allgemeine Qualität erreichen. Für einige Modelle und Zielvorhaben gelten zusätzliche App-spezifische Qualitätsmesswerte und ‑grenzwerte. Die allgemeinen Qualitätsmesswerte sind für alle Apps mit demselben Datenspeicher identisch. App-spezifische Qualitätsmesswerte variieren jedoch je nach Modell und Zielvorhaben der App.

Informationen zu den Empfehlungsmodellen und -zielen finden Sie unter Arten von Empfehlungen für Medien-Apps.

Datenqualität prüfen

Console

So prüfen Sie die Qualität Ihrer Daten für Medienempfehlungen:

1. Rufen Sie in der Google Cloud Console die Seite Agent Builder auf.

   Zum Agent Builder

2. Klicken Sie auf den Namen der App für Medienempfehlungen, für die Sie die Datenqualität prüfen möchten.

3. Klicken Sie im Navigationsmenü auf Datenqualität und dann auf den Tab Optimierung. Auf dieser Seite sehen Sie den Status verschiedener Messwerte für die Daten, die mit Ihrer App verknüpft sind.

4. Sehen Sie sich oben auf der Seite die Status Allgemeine Qualität und App-spezifische Qualität an. Wenn ein oder mehrere Messwerte den Grenzwert überschritten haben, wird oben auf der Seite eine Warnung angezeigt.

   In den beiden Tabellen mit Messwerten (Allgemeine Qualität und App-spezifische Qualität) sind die einzelnen Messwerte aufgeführt.

   

5. Klicken Sie in den Messwerttabellen auf Details ansehen, um weitere Informationen zu Messwerten im Warnstatus zu erhalten.

6. Optional: Wenn Sie den Grenzwert für einen konformen Messwert sehen möchten, klicken Sie auf Details ansehen. Grenzwerte für konforme Messwerte werden in der Tabelle mit Messwerten nicht angezeigt.

REST

Hinweis: Dieses Feature ist ein Vorschauangebot, das den Pre-GA-Bedingungen in den Nutzungsbedingungen des GCP-Dienstes unterliegt. Pre-GA-Produkte und -Funktionen werden eventuell nur eingeschränkt unterstützt. Änderungen an Pre-GA-Produkten und -Funktionen sind möglicherweise nicht mit anderen Pre-GA-Versionen kompatibel. Weitere Informationen finden Sie unter den Beschreibungen der Startphase. Wenn Sie diese Funktion verwenden, stimmen Sie außerdem den Nutzungsbedingungen für die Vorschau der generativen KI zu ("Vorschaubedingungen"). Für diese Funktion können personenbezogene Daten gemäß dem Zusatz zur Verarbeitung von Cloud-Daten verarbeitet werden, vorbehaltlich der geltenden Einschränkungen und Verpflichtungen in der Vereinbarung (wie in den Vorschaubedingungen definiert).

Verwenden Sie die Methode requirements:checkRequirement, um die Qualität Ihrer Daten zu Medienempfehlungen zu prüfen, wie hier gezeigt.

So prüfen Sie die Qualität über die Befehlszeile:

1. Suchen Sie die Datenspeicher-ID. Wenn Sie die Datenspeicher-ID bereits haben, fahren Sie mit dem nächsten Schritt fort.

   1. Rufen Sie in der Google Cloud Console die Seite Agent Builder auf und klicken Sie im Navigationsmenü auf Datenspeicher.

      Zur Seite „Datenspeicher“

   2. Klicken Sie auf den Namen des Datenspeichers.

   3. Rufen Sie auf der Datenseite Ihres Datenspeichers die Datenspeicher-ID ab.

2. Führen Sie den folgenden curl-Befehl aus, um zu sehen, ob Ihre Medienempfehlungen die Grenzwerte für die allgemeinen Messwerte erfüllen:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   • PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
   • DATA_STORE_ID: die ID des Vertex AI Search-Datenspeichers.

   Beispielbefehl und -ergebnis

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/requirements:checkRequirement"
   -d '{
     "location": "projects/123456/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/general/all/warning",
   "displayName": "Warning level requirements for all models and all business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for all media recommendations models and all business objectives.",
   "condition": {
     "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "doc_with_same_title_percentage",
       "resourceType": "discoveryengine.googleapis.com/Branch",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/documents/items_with_same_title' AND metric.labels.is_percentage = 'True' AND resource.labels.project_number = '123456' AND resource.labels.branch_id = '0' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the documents with the same title in a branch.",
       "category": "Document"
     },
     {
       "variableId": "most_common_visitor_id_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/datastore/user_events/most_used_visitor_id_events' AND metric.labels.is_percentage = 'True' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the events with the same visitor id.",
       "category": "DataStore"
     },
     {
       "variableId": "short_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'WEEK' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 7 days.",
       "category": "DataStore"
     },
     {
       "variableId": "long_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'NINETY_DAYS' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 90 days.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "doc_with_same_title_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 1.0
       }
       "description": "The threshold for the percentage of the documents with the same title in a branch."
     },
     {
       "variableId": "most_common_visitor_id_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events with the same visitor id."
     },
     {
       "variableId": "short_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 7 days."
     },
     {
       "variableId": "long_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 2.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 90 days"
     }
   ]
   },
   "result": "WARNING",
   "requirementCondition": {
   "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "short_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.416900898Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "long_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.417962744Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "most_common_visitor_id_percentage",
     "value": {
       "doubleValue": 0.8
     },
     "timestamp": "2024-06-06T03:03:16.090037135Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/most_used_visitor_id_events"
   },
   {
     "name": "doc_with_same_title_percentage",
     "value": {
       "doubleValue": 30.47
     },
     "timestamp": "2024-06-06T03:03:17.599458357Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/documents/items_with_same_title"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T03:03:13.416900898Z"
   }
   

3. Sehen Sie sich die Ausgabe an:

   1. Suchen Sie den Wert von result:

      • Wenn der Wert SUCCESS ist, erfüllen Ihre Daten die allgemeinen Anforderungen. Fahren Sie mit Schritt 4 fort.

      • Wenn der Wert WARNING ist, fahren Sie mit Schritt b fort.

      • Wenn result in der Ausgabe nicht angezeigt wird, kann das mehrere Gründe haben:

        • PROJECT_ID oder DATA_STORE_ID in der Anfrage ist falsch.

        • Einige Messwerte sind nicht verfügbar. Versuchen Sie es in sechs Stunden noch einmal oder wenden Sie sich an einen Kundenservicemitarbeiter.

   2. Suchen Sie nach dem Ausdruck (requirement.Condition.Expression): Wenn dieser Ausdruck als falsch ausgewertet wird, liegt ein Problem mit Ihren Daten vor.

      Hinweis: Das Kleiner-als-Zeichen im Ausdruck wird im Unicode-Format \u003c statt als „<“ angezeigt.

      Die Werte der Messwerte finden Sie im Feld requirementCondition.metricResults.value. Die Werte für den Warnschwellenwert befinden sich in den Feldern thresholdBindings.thresholdValues. Anhand der Felder description können Sie den Zweck des Messwerts besser nachvollziehen.

      Angenommen, der Wert von doc_with_same_title_percentage ist 30.47 und der Warngrenzwert für doc_with_same_title_percentage_threshold ist 1. Es gibt ein Datenproblem, da viele der Titel im Datenspeicher identisch sind. Das muss untersucht werden.

4. Wenn die für Ihre Empfehlungs-App verwendete Kombination aus Modell und Ziel in dieser Tabelle aufgeführt ist, müssen Sie auch die Methode zum Prüfen der Anforderungen aufrufen, die mit den Werten für Ihr Modell und Ziel aktualisiert wurde:

   Modell	Ziel	MODEL_OBJ
   Was Ihnen sonst noch gefallen könnte	Conversion-Rate	oyml/cvr
   Empfehlungen für mich	Conversion-Rate	rfy/cvr
   Ähnliche Inhalte	Conversion-Rate	mlt/cvr
   Beliebt	Conversion-Rate	mp/cvr
   Was Ihnen sonst noch gefallen könnte	Beobachtungszeitraum pro Sitzung	oyml/wdps
   Empfehlungen für mich	Beobachtungszeitraum pro Sitzung	rfy/wdps
   Ähnliche Inhalte	Beobachtungszeitraum pro Sitzung	mlt/wdps

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/MODEL_OBJ/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   • PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
   • DATA_STORE_ID: die ID des Vertex AI Search-Datenspeichers.
   • MODEL_OBJ: In der Tabelle oben finden Sie den richtigen Wert für Ihre Empfehlungs-App.

   Beispielbefehl und -ergebnis

   Dieses Beispiel bezieht sich auf das Modell „Ähnliche Videos“ und das Zielvorhaben „Wiedergabedauer“:

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/requirements:checkRequirement"
   -d '{
     "location": "projects/my-project-123/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
   "displayName": "Warning level requirements for 'More Like This' models and 'Watch duration per session' business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for the 'More Like This' model and the 'Watch duration per session' business objective.",
   "condition": {
     "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "invalid_sequence_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete' AND metric.labels.is_percentage = 'True'  AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection' AND resource.labels.project_number = '123456' AND resource.labels.datastore_id = 'my-data-store'",
       "description": "The percentage of invalid sequences for media play and media complete events sampled by randomly selected visitor ids.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "invalid_sequence_percentage_threshold",
       "thresholdValues": [
         {
           "severity": "WARNING",
           "value": 50
         }
       ],
       "description": "The threshold for the percentage of invalid sequences sampled among all media play and media complete events."
     }
   ]
   },
   "result": "SUCCESS",
   "requirementCondition": {
   "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "invalid_sequence_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T02:32:00.460056386Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T02:32:00.460056386Z"
   }
   

5. Sehen Sie sich die Ausgabe an:

   1. Suchen Sie den Wert von result:

      • Wenn der Wert SUCCESS ist, sind Ihre Daten ausreichend.

      • Wenn der Wert WARNING ist, fahren Sie mit Schritt b fort.

      • Wenn result in der Ausgabe nicht angezeigt wird, kann das mehrere Gründe haben:

        • PROJECT_ID oder DATA_STORE_ID in der Anfrage ist falsch.

        • Einige Messwerte sind nicht verfügbar. Versuchen Sie es in sechs Stunden noch einmal oder wenden Sie sich an einen Kundenservicemitarbeiter.

   2. Sehen Sie sich den Ausdruck (requirement.Condition.Expression) an. Wenn dieser Ausdruck als falsch ausgewertet wird, liegt ein Problem mit Ihren Daten vor.

      Hinweis: Das „kleiner als“-Zeichen im Ausdruck wird im Unicode-Format \u003c statt als < angezeigt.

      Die Werte der Messwerte finden Sie im Feld requirementCondition.metricResults.value und die Werte für den Warngrenzwert in den Feldern thresholdBindings.thresholdValues. Die Felder description können Ihnen helfen, den Zweck des Messwerts zu verstehen.