Suchqualität bewerten

Bei der Suche mit Vertex AI Search können Sie die Qualität Ihrer Suchergebnisse für Anwendungen für die allgemeine Suche anhand von Beispielabfragesätzen bewerten.

Sie können die Leistung allgemeiner Suchanwendungen bewerten, die strukturierte, unstrukturierte und Websitedaten enthalten. Die Leistung von Apps mit mehreren Datenspeichern kann nicht ausgewertet werden.

Auf dieser Seite wird erläutert, warum, wann und wie Sie die Suchqualität mithilfe der Bewertungsmethode bewerten sollten.

Übersicht

In diesem Abschnitt wird beschrieben, warum und wann eine Bewertung der Suchqualität durchgeführt werden sollte. Informationen zur Bewertung der Suchqualität finden Sie unter Prozess zur Bewertung der Suchqualität.

Gründe für eine Bewertung

Die Bewertung der Suchqualität liefert Ihnen Messwerte, mit denen Sie Aufgaben wie die folgenden ausführen können:

  • Leistung Ihrer Suchmaschine auf aggregierter Ebene bewerten
  • Muster auf Abfrageebene finden, um potenzielle Verzerrungen oder Mängel in Ranking-Algorithmen zu erkennen
  • Bisherige Bewertungsergebnisse vergleichen, um die Auswirkungen von Änderungen an der Suchkonfiguration zu ermitteln

Eine Liste der Messwerte finden Sie unter Ergebnisse auswerten.

Wann sollte die Bewertung durchgeführt werden?

Vertex AI Search erweitert mehrere Suchkonfigurationen, um die Suchfunktion zu verbessern. Sie können die Bewertung der Suchqualität durchführen, nachdem Sie die folgenden Änderungen vorgenommen haben:

Sie können die Bewertungstests auch regelmäßig ausführen, da sich das Suchverhalten regelmäßig ändert.

Beispielabfragesätze

Beispielabfragesätze werden für die Qualitätsbewertung verwendet. Der Beispielabfragesatz muss dem vorgeschriebenen Format entsprechen und Abfrageeinträge mit den folgenden verschachtelten Feldern enthalten:

  • Suchanfragen: Die Suchanfrage, deren Suchergebnisse zum Generieren der Bewertungsmesswerte und zum Bestimmen der Suchqualität verwendet werden. Google empfiehlt, eine Vielzahl von Suchanfragen zu verwenden, die das Suchmuster und das Verhalten Ihrer Nutzer widerspiegeln.

  • Ziele: Der URI des Dokuments, das als Suchergebnis der Beispielabfrage erwartet wird. Die Definition von Dokumenten für Apps zur Suche nach strukturierten, unstrukturierten Daten und Websites finden Sie unter Dokumente.

    Wenn die Zieldokumente mit den Dokumenten verglichen werden, die in der Suchantwort abgerufen wurden, werden Leistungsmesswerte generiert. Messwerte werden mit den folgenden beiden Methoden generiert:

    • Dokumentabgleich: Die URIs der Zieldokumente werden mit den URIs der abgerufenen Dokumente verglichen. So wird ermittelt, ob die erwarteten Dokumente in den Suchergebnissen vorhanden sind. Während des Vergleichs versucht die Bewertungs-API, die folgenden Felder in der folgenden Reihenfolge zu extrahieren und den ersten verfügbaren Wert zu verwenden, um das Ziel mit dem abgerufenen Dokument abzugleichen:
    • Seitenübereinstimmung: Wenn Sie Seitennummern in Ihre Stichprobenziele aufnehmen, vergleicht die Bewertungs-API die Ergebnisse auf Seitenebene. Damit wird festgelegt, ob die in den Zielen genannten Seiten auch in der Suchantwort zitiert werden. Sie müssen extrahierte Antworten aktivieren, um die Abgleichung auf Seitenebene zu aktivieren. Die Bewertungs-API gleicht die Seite mit der ersten auszugsweisen Antwort im Suchergebnis ab.

Zweck von Beispielabfragesätzen

Wenn Sie für alle Bewertungen der Suchqualität für einen bestimmten Datenspeicher dieselbe Stichprobenauswahl verwenden, können Sie die Ergebnisse der Suchqualität auf konsistente und zuverlässige Weise messen. So wird auch ein faires und wiederholbares System geschaffen.

Die Ergebnisse der einzelnen Bewertungen werden mit den Zielergebnissen für jede Beispielabfrage verglichen, um verschiedene Messwerte wie Rückruf, Präzision und normalisierten diskontierten kumulativen Gewinn (NDCG) zu berechnen. Anhand dieser quantitativen Messwerte werden die Ergebnisse aus verschiedenen Suchkonfigurationen bewertet.

Kontingente und Limits

Für die Beispielabfragesätze gilt das folgende Limit:

  • Jeder Satz mit Beispielabfragen kann maximal 20.000 Abfragen enthalten.

Für die Beispielabfragesätze gilt das folgende Kontingent:

  • Sie können maximal 100 Beispielabfragesätze pro Projekt und 500 Beispielabfragesätze pro Organisation erstellen.

Weitere Informationen finden Sie unter Kontingente und Limits.

Beispiel für das Format eines Abfragesatzes

Der Abfragesatz muss dem folgenden Schema entsprechen, wenn er im JSON-Format erstellt wird. Der Abfragesatz kann mehrere Abfrageeinträge mit jeweils einer Abfrage enthalten. Wenn die Daten im JSON-Format mit Zeilenumbruch (NDJSON) vorliegen, muss sich jeder Suchanfrageeintrag auf einer neuen Zeile befinden.

Aus BigQuery und Cloud Storage importieren

Im folgenden Abschnitt finden Sie Beispielvorlagen für Abfragesätze, die aus BigQuery und Cloud Storage importiert werden können.

Unstrukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, um unstrukturierte Daten mit Metadaten zu bewerten.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: Die Suchanfrage, mit der die Suchqualität bewertet wird.
  • PATH/TO/CLOUD/STORAGE/LOCATION: der Pfad zum Cloud Storage-Speicherort, an dem sich das erwartete Ergebnis befindet. Das ist der Wert des Felds link im Feld derivedStructData der Dokumentdefinition.
  • PAGE_NUMBER_1: Optionales Feld, in dem die Seitennummern in der PDF-Datei angegeben werden, unter denen sich die erwartete Antwort auf die Suchanfrage befindet. Das ist nützlich, wenn die Datei mehrere Seiten hat.
  • CDOC_URL: Optionales Feld, um das benutzerdefinierte Feld „cdoc_urlDocument ID“ in den Dokumentmetadaten im Datenspeicherschema von Vertex AI Search anzugeben.

Strukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, um strukturierte Daten aus BigQuery auszuwerten.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: Die Suchanfrage, mit der die Suchqualität bewertet wird.
  • CDOC_URL: Ein Pflichtfeld, mit dem das benutzerdefinierte Feld cdoc_url für das Feld mit strukturierten Daten im Datenspeicherschema von Vertex AI Search angegeben wird.

Websitedaten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, um Websitecontent zu bewerten.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: Die Suchanfrage, mit der die Suchqualität bewertet wird.
  • WEBSITE_URL: die Zielwebsite für die Suchanfrage.

Hier ein Beispiel für eine Beispielabfrage im JSON- und NDJSON-Format:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Aus dem lokalen Dateisystem importieren

Im folgenden Abschnitt finden Sie Vorlagen für Beispielabfragesätze, die aus dem lokalen Dateisystem importiert werden können.

Unstrukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, um unstrukturierte Daten mit Metadaten zu bewerten.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: Die Suchanfrage, mit der die Suchqualität bewertet wird.
  • PATH/TO/CLOUD/STORAGE/LOCATION: der Pfad zum Cloud Storage-Speicherort, an dem sich die zu abzufragende unstrukturierte Datendatei befindet. Das ist der Wert des Felds link im Feld derivedStructData der Dokumentdefinition.
  • PAGE_NUMBER_1: Optionales Feld, in dem die Seitennummern angegeben werden, unter denen sich die erforderliche Antwort für die Suchanfrage in der PDF-Datei befindet. Das ist nützlich, wenn die Datei mehrere Seiten hat.
  • CDOC_URL: Optionales Feld, um das benutzerdefinierte Feld „cdoc_urlDocument ID“ in den Dokumentmetadaten im Datenspeicherschema von Vertex AI Search anzugeben.

Strukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, um strukturierte Daten aus BigQuery auszuwerten.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: Die Suchanfrage, mit der die Suchqualität bewertet wird.
  • CDOC_URL: Ein Pflichtfeld, mit dem das benutzerdefinierte Feld cdoc_url für das Feld mit strukturierten Daten im Datenspeicherschema von Vertex AI Search angegeben wird.

Websitedaten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, um Websitecontent zu bewerten.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: Die Suchanfrage, mit der die Suchqualität bewertet wird.
  • WEBSITE_URL: die Zielwebsite für die Suchanfrage.

Hier ein Beispiel für einen Abfragesatz:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Verfahren zur Bewertung der Suchqualität

So läuft die Bewertung der Suchqualität ab:

  1. Erstellen Sie einen Beispielabfragesatz.
  2. Importieren Sie eine Beispielabfrage, die dem vorgeschriebenen JSON-Format entspricht.
  3. Bewertung der Suchqualität ausführen
  4. Erläuterung der Ergebnisse

In den folgenden Abschnitten wird beschrieben, wie Sie diese Schritte mithilfe von REST API-Methoden ausführen.

Hinweise

  • Es gilt das folgende Limit:
    • Pro Projekt kann immer nur eine aktive Bewertung ausgeführt werden.
  • Es gilt das folgende Kontingent:
    • Sie können pro Tag und Projekt maximal fünf Bewertungsanfragen stellen. Weitere Informationen finden Sie unter Kontingente und Limits.
  • Wenn Sie Messwerte auf Seitenebene erhalten möchten, müssen Sie zusammenfassende Antworten aktivieren.

Beispiel-Abfragesatz erstellen

Sie können einen Beispielabfragesatz erstellen und damit die Qualität der Suchantworten für einen bestimmten Datenspeicher bewerten. So erstellen Sie einen Beispielabfragesatz:

REST

Das folgende Beispiel zeigt, wie Sie den Beispielabfragesatz mit der Methode sampleQuerySets.create erstellen.

  1. Erstellen Sie den Beispielabfragesatz.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
    • SAMPLE_QUERY_SET_ID: eine benutzerdefinierte ID für Ihren Beispielabfragesatz.
    • SAMPLE_QUERY_SET_DISPLAY_NAME: Ein benutzerdefinierter Name für den Beispielabfragesatz.

Beispielabfragedaten importieren

Nachdem Sie den Beispielabfragesatz erstellt haben, importieren Sie die Beispielabfragedaten. Sie haben folgende Möglichkeiten, die Beispielabfragedaten zu importieren:

  • Aus Cloud Storage importieren: Sie können eine NDJSON-Datei von einem Cloud Storage-Speicherort importieren.
  • Aus BigQuery importieren: BigQuery-Daten aus einer BigQuery-Tabelle importieren. Informationen zum Erstellen der BigQuery-Tabelle aus Ihrer NDJSON-Datei finden Sie unter JSON-Daten aus Cloud Storage laden.
  • Aus dem lokalen Dateisystem importieren: Erstellen Sie den Beispielabfragesatz in Ihrem lokalen Dateisystem und importieren Sie ihn.

Cloud Storage

  1. Erstellen Sie Beispielabfragesätze, die dem Format für Beispielabfragesätze entsprechen.

  2. Importieren Sie die JSON-Datei mit dem Beispielabfragesatz mithilfe der Methode sampleQueries.import aus einem Cloud Storage-Speicherort.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
    • SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für den Beispiel-Abfragesatz, die Sie beim Erstellen des Beispiel-Abfragesatzes festgelegt haben.
    • INPUT_FILE_PATH: der Pfad zum Cloud Storage-Speicherort für den Beispielabfragesatz.
    • ERROR_DIRECTORY: Optionales Feld, in dem der Pfad zum Cloud Storage-Speicherort angegeben wird, an dem Fehlerdateien bei Importfehlern protokolliert werden. Google empfiehlt, dieses Feld leer zu lassen oder das Feld errorConfig zu entfernen, damit Vertex AI Search automatisch einen temporären Speicherort erstellen kann.

  3. Rufen Sie den Status des Vorgangs mit langer Ausführungszeit mit der Methode operations.get ab. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

BigQuery

  1. Erstellen Sie Beispielabfragesätze, die dem Format für Beispielabfragesätze entsprechen.

  2. Importieren Sie die JSON-Datei mit dem Beispielabfragesatz aus einem BigQuery-Speicherort mithilfe der Methode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
    • SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für den Beispiel-Abfragesatz, die Sie beim Erstellen des Beispiel-Abfragesatzes festgelegt haben.
    • DATASET_ID: Die ID des BigQuery-Datasets, das den Beispielabfragesatz enthält.
    • TABLE_ID: Die ID der BigQuery-Tabelle, die den Beispielabfragesatz enthält.
    • ERROR_DIRECTORY: Optionales Feld, in dem der Pfad zum Cloud Storage-Speicherort angegeben wird, an dem Fehlerdateien bei Importfehlern protokolliert werden. Wir empfehlen, dieses Feld leer zu lassen oder das Feld „errorConfig“ zu entfernen, damit Vertex AI Search automatisch einen temporären Speicherort erstellen kann.

  3. Rufen Sie den Status des Vorgangs mit langer Ausführungszeit mit der Methode operations.get ab. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Lokales Dateisystem

  1. Erstellen Sie Beispielabfragesätze, die dem Format für Beispielabfragesätze entsprechen.

  2. Importieren Sie die JSON-Datei mit dem Beispielabfragesatz mithilfe der Methode sampleQueries.import aus einem lokalen Dateisystem.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json

    Ersetzen Sie Folgendes:

    • PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
    • SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für den Beispiel-Abfragesatz, die Sie beim Erstellen des Beispiel-Abfragesatzes festgelegt haben.
    • PATH/TO/LOCAL/FILE.json: der Pfad zur JSON-Datei, die den Beispielabfragesatz enthält.

  3. Rufen Sie den Status des Vorgangs mit langer Ausführungszeit mit der Methode operations.get ab. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Bewertung der Suchqualität ausführen

Nachdem Sie die Beispielabfragedaten in die Beispielabfragesätze importiert haben, führen Sie die folgenden Schritte aus, um die Bewertung der Suchqualität auszuführen.

REST

  1. Starten Sie eine Bewertung der Suchqualität.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
    • SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für den Beispiel-Abfragesatz, die Sie beim Erstellen des Beispiel-Abfragesatzes festgelegt haben.
    • APP_ID: Die ID der Vertex AI Search-Anwendung, deren Suchqualität Sie bewerten möchten.

  2. Behalten Sie den Fortschritt der Bewertung im Blick.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Ersetzen Sie Folgendes:

    • PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
    • EVALUATION_ID: die ID für Ihren Bewertungsjob, die im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung gestartet haben.

  3. Rufen Sie die zusammengefassten Ergebnisse ab.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Ersetzen Sie Folgendes:

    • PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
    • EVALUATION_ID: die ID für Ihren Bewertungsjob, die im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung gestartet haben.

  4. Ergebnisse auf Abfrageebene abrufen

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

    Ersetzen Sie Folgendes:

    • PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
    • EVALUATION_ID: die ID für Ihren Bewertungsjob, die im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung gestartet haben.

Ergebnisse auswerten

In der folgenden Tabelle werden die Messwerte beschrieben, die in den Bewertungsergebnissen zurückgegeben werden.

Name Beschreibung Voraussetzungen
docRecall

Trefferquote pro Dokument bei verschiedenen „Top-K“-Grenzwerten

Die Trefferquote ist der Anteil der relevanten Dokumente, die aus allen relevanten Dokumenten abgerufen wurden. Der Wert top5 bedeutet beispielsweise Folgendes:

Wenn bei einer einzelnen Suchanfrage drei der fünf relevanten Dokumente in den Top 5 zurückgegeben werden, kann der docRecall als 3/5 oder 0, 6 berechnet werden.

 Die Beispielabfrage muss das URI-Feld enthalten.
pageRecall

Trefferquote pro Seite bei verschiedenen Top-K-Grenzwerten

Die Trefferquote ist der Anteil der relevanten Seiten, die von allen relevanten Seiten abgerufen wurden. Der Wert top5 bedeutet beispielsweise Folgendes:

Wenn bei einer einzelnen Suchanfrage drei von fünf relevanten Seiten in den Top 5 zurückgegeben werden, kann pageRecall als 3/5 = 0, 6 berechnet werden.
  • Die Beispielabfrage muss die Felder „URI“ und „Seiten“ enthalten.
  • Die Funktion „Auszug aus einer Antwort“ muss aktiviert sein.
docNdcg

Normalisierter diskontierter kumulierter Gewinn (NDCG) pro Dokument bei verschiedenen Top-K-Grenzwerten.

Der NDCG misst die Qualität des Rankings und ordnet den Top-Ergebnissen eine höhere Relevanz zu. Der NDCG-Wert kann für jede Suchanfrage gemäß Normalisierter CDG berechnet werden.

 Die Beispielabfrage muss das URI-Feld enthalten.
pageNdcg

Normalisierter diskontierter kumulierter Gewinn (NDCG) pro Seite bei verschiedenen Top-K-Grenzwerten.

Der NDCG misst die Qualität des Rankings und ordnet den Top-Ergebnissen eine höhere Relevanz zu. Der NDCG-Wert kann für jede Suchanfrage gemäß Normalisierter CDG berechnet werden.
  • Die Beispielabfrage muss die Felder „URI“ und „Seiten“ enthalten.
  • Die Funktion „Auszug aus einer Antwort“ muss aktiviert sein.
docPrecision

Genauigkeit pro Dokument bei verschiedenen Top-K-Grenzwerten

Die Genauigkeit ist der Anteil der relevanten Dokumente, die zurückgegeben wurden. Der Wert top3 bedeutet beispielsweise Folgendes:

Wenn bei einer einzelnen Suchanfrage 4 von 5 abgerufenen Dokumenten in den Top 5 relevant sind, kann der docPrecision-Wert als 4/5 oder 0, 8 berechnet werden.

 Die Beispielabfrage muss das URI-Feld enthalten.

Anhand der Werte dieser unterstützten Messwerte können Sie die folgenden Aufgaben ausführen:

  • Zusammengefasste Messwerte analysieren:
    • Sehen Sie sich allgemeine Messwerte wie durchschnittliche Trefferquote, Genauigkeit und normalisierten diskontierten kumulierten Gewinn (NDCG) an.
    • Diese Messwerte geben einen allgemeinen Überblick über die Leistung Ihrer Suchmaschine.
  • Ergebnisse auf Abfrageebene prüfen:
    • Sie können einzelne Suchanfragen aufschlüsseln, um bestimmte Bereiche zu identifizieren, in denen die Suchmaschine eine gute oder schlechte Leistung erzielt.
    • Suchen Sie nach Mustern in den Ergebnissen, um potenzielle Verzerrungen oder Mängel in den Ranking-Algorithmen zu erkennen.
  • Ergebnisse im Zeitverlauf vergleichen:
    • Führen Sie regelmäßig Bewertungen durch, um Änderungen der Suchqualität im Zeitverlauf zu verfolgen.
    • Anhand von Verlaufsdaten können Sie Trends erkennen und die Auswirkungen von Änderungen an Ihrer Suchmaschine bewerten.

Nächste Schritte