Diese Seite wurde von der Cloud Translation API übersetzt.

Suchqualität bewerten

Im Rahmen Ihrer Suche mit Vertex AI Search können Sie die Qualität der Suchergebnisse für allgemeine Such-Apps anhand von Beispielsuchanfragen.

Sie können die Leistung allgemeiner Suchanwendungen bewerten, die strukturierte, unstrukturierte und Websitedaten enthalten. Die Leistung von Apps mit mehreren Datenspeichern kann nicht ausgewertet werden.

Auf dieser Seite wird erläutert, warum, wann und wie Sie die Suchqualität mithilfe des der Bewertungsmethode.

Übersicht

In diesem Abschnitt wird beschrieben, warum und wann eine Bewertung der Suchqualität durchgeführt werden sollte. Informationen zur Bewertung der Suchqualität finden Sie unter Prozess zur Bewertung der Suchqualität.

Gründe für die Durchführung einer Bewertung

Die Bewertung der Suchqualität liefert Ihnen Messwerte, die Ihnen bei der Ausführung von Aufgaben helfen wie die folgende:

Beurteilen Sie die Leistung Ihrer Suchmaschine auf kumulierter Ebene.
Muster auf Abfrageebene finden, um potenzielle Verzerrungen oder Mängel in Ranking-Algorithmen zu erkennen
Bisherige Bewertungsergebnisse vergleichen, um die Auswirkungen von Änderungen bei Ihre Suchkonfiguration

Eine Liste der Messwerte finden Sie unter Ergebnisse auswerten.

Wann sollte die Bewertung durchgeführt werden?

Vertex AI Search erweitert mehrere Suchkonfigurationen um Ihre Suche zu verbessern. Sie können eine Bewertung der Suchqualität durchführen, nachdem Sie die folgenden Änderungen vorgenommen haben:

Sie können die Bewertungstests auch regelmäßig ausführen, da das Suchverhalten regelmäßig aktualisiert werden.

Beispielabfragesätze

Beispielabfragesätze werden für die Qualitätsbewertung verwendet. Der Beispielabfragesatz muss vorgegebenen Format einhalten und Abfrageeinträge enthalten, folgenden verschachtelten Feldern:

Suchanfragen: Die Suchanfrage, deren Suchergebnisse zum Generieren der Bewertungsmesswerte und zum Bestimmen der Suchqualität verwendet werden. Google empfiehlt, eine Vielzahl von Suchanfragen zu verwenden, die das Suchmuster und das Verhalten Ihrer Nutzer widerspiegeln.
Ziele: Der URI des Dokuments, das als Suchergebnis der Beispielabfrage erwartet wird. Um die Definition von „Dokument für strukturierte Daten“ zu verstehen, unstrukturierte und Websitesuch-Apps finden Sie unter Dokumente.

Wenn die Zieldokumente mit den abgerufenen Dokumenten im werden Leistungsmesswerte generiert. Messwerte werden mithilfe der folgenden beiden Methoden generiert:
- Dokumentabgleich: Die URIs der Zieldokumente werden mit Die URIs der abgerufenen Dokumente. So wird ermittelt, ob die erwarteten Dokumente in den Suchergebnissen vorhanden sind. Während des Vergleichs Evaluation API versucht, die folgenden Felder im und verwenden Sie den ersten verfügbaren Wert, um das Ziel mit der abgerufenes Dokument:
  - cdoc_url im Feld structData der Dokumentdefinition
  - uri im Feld structData der Dokumentdefinition
  - link im Feld derivedStructData der Dokumentdefinition
  - url im Feld derivedStructData der Dokumentdefinition
- Seitenübereinstimmung: Wenn Sie Seitennummern in Ihre Stichprobenziele aufnehmen, vergleicht die Bewertungs-API die Ergebnisse auf Seitenebene. Damit wird festgelegt, ob die in den Zielen genannten Seiten auch in der Suchantwort zitiert werden. Sie müssen Extraktionsantworten aktivieren, um Übereinstimmung auf Seitenebene. Die Evaluations-API gleicht die Seite aus der ersten extrahierende Antwort im Suchergebnis.

Zweck von Beispielabfragesätzen

Die Verwendung desselben Beispiel-Suchanfragensatzes für alle Bewertungen der Suchqualität für ein der Datenspeicher eine einheitliche und zuverlässige Methode zur Messung der qualitativ hochwertige Ergebnisse zu liefern. Dies schafft auch ein faires und wiederholbares System.

Die Ergebnisse der einzelnen Bewertungen werden mit den Zielergebnissen für jede Beispielabfrage verglichen, um verschiedene Messwerte wie Rückruf, Präzision und normalisierten diskontierten kumulativen Gewinn (NDCG) zu berechnen. Diese quantitativen Messwerte werden verwendet, um die Ergebnisse von verschiedenen Suchanfragen zu ordnen Konfigurationen.

Kontingente und Limits

Für die Beispielabfragesätze gilt folgendes Limit:

Jeder Satz mit Beispielabfragen kann maximal 20.000 Abfragen enthalten.

Für die Beispielabfragesätze gilt das folgende Kontingent:

Sie können maximal 100 Beispielabfragesätze pro Projekt und 500 Beispielabfragesätze pro Organisation erstellen.

Weitere Informationen finden Sie unter Kontingente und Limits.

Beispiel für das Format eines Suchanfragensatzes

Der Abfragesatz muss dem folgenden Schema entsprechen, wenn er im JSON-Format erstellt wird. Der Suchanfragensatz kann mehrere Abfrageeinträge enthalten. mit einer Abfrage in jedem Abfrageeintrag. Wenn die Daten im JSON-Format mit Zeilenumbruch (NDJSON) vorliegen, muss sich jeder Suchanfrageeintrag auf einer neuen Zeile befinden.

Aus BigQuery und Cloud Storage importieren

Der folgende Abschnitt enthält die Beispielvorlagen für Abfragesätze für den Import aus in BigQuery und Cloud Storage.

Unstrukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, um unstrukturierte Daten mit Metadaten zu bewerten.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

SAMPLE_QUERY: Die Suchanfrage, mit der die Suchqualität bewertet wird.
PATH/TO/CLOUD/STORAGE/LOCATION: der Pfad zum Cloud Storage-Speicherort, an dem sich das erwartete Ergebnis befindet. Dies ist der Wert des Felds link im derivedStructData der Dokumentdefinition.
PAGE_NUMBER_1: Optionales Feld, in dem die Seitennummern in der PDF-Datei angegeben werden, unter denen sich die erwartete Antwort auf die Suchanfrage befindet. Das ist nützlich, wenn die Datei mehrere Seiten hat.
CDOC_URL: ein optionales Feld zur Angabe der benutzerdefinierten Dokument-ID cdoc_url in den Dokumentmetadaten im Vertex AI Search-Datenspeicherschema.

Strukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispiel-Abfragedatei im JSON-Format zu entwerfen, um strukturierte Daten von BigQuery auszuwerten.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

SAMPLE_QUERY: Die Suchanfrage, mit der die Suchqualität bewertet wird.
CDOC_URL: ein Pflichtfeld zur Angabe des benutzerdefinierten Elements cdoc_url für das Feld "Strukturierte Daten" im Vertex AI Search-Datenspeicherschema.

Websitedaten

Verwenden Sie die folgende Vorlage, um eine Beispiel-Abfragedatei im JSON-Format zu entwerfen, Website-Inhalte zu bewerten.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet wird
WEBSITE_URL: die Zielwebsite für die Suchanfrage.

Hier ein Beispiel für eine Beispielabfrage im JSON- und NDJSON-Format:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Aus dem lokalen Dateisystem importieren

Der folgende Abschnitt enthält die Beispielvorlagen für Abfragesätze für den Import. aus dem lokalen Dateisystem.

Unstrukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, um unstrukturierte Daten mit Metadaten zu bewerten.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet wird
PATH/TO/CLOUD/STORAGE/LOCATION: der Pfad zu Cloud Storage-Speicherort, an dem die unstrukturierte Datendatei gespeichert werden soll abgefragten Standorten. Dies ist der Wert des Felds link im derivedStructData der Dokumentdefinition.
PAGE_NUMBER_1: ein optionales Feld zur Angabe die Seitenzahlen, auf denen sich die erforderliche Antwort für die Anfrage befindet in der PDF-Datei. Das ist nützlich, wenn die Datei mehrere Seiten hat.
CDOC_URL: Optionales Feld, um das benutzerdefinierte Feld „cdoc_urlDocument ID“ in den Dokumentmetadaten im Schema des Vertex AI Search-Datenspeichers anzugeben.

Strukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispiel-Abfragedatei im JSON-Format zu entwerfen, um strukturierte Daten von BigQuery auszuwerten.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

SAMPLE_QUERY: Die Suchanfrage, mit der die Suchqualität bewertet wird.
CDOC_URL: ein Pflichtfeld zur Angabe des benutzerdefinierten Elements cdoc_url für das Feld "Strukturierte Daten" im Vertex AI Search-Datenspeicherschema.

Websitedaten

Verwenden Sie die folgende Vorlage, um eine Beispiel-Abfragedatei im JSON-Format zu entwerfen, Website-Inhalte zu bewerten.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet wird
WEBSITE_URL: die Zielwebsite für die Suchanfrage.

Hier ein Beispiel für einen Abfragesatz:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Prozess zur Bewertung der Suchqualität

Der Bewertungsprozess der Suchqualität läuft so ab:

Erstellen Sie einen Beispielabfragesatz.
Importieren Sie eine Beispielabfrage, die den vorgeschriebenen JSON-Format.
Bewerten Sie die Suchqualität.
Ergebnisse interpretieren

In den folgenden Abschnitten wird beschrieben, wie Sie diese Schritte mithilfe von REST API-Methoden ausführen.

Hinweise

Es gilt folgendes Limit:
- Pro Projekt kann immer nur eine aktive Bewertung ausgeführt werden.
Es gilt das folgende Kontingent:
- Sie können pro Tag und Projekt maximal fünf Bewertungsanfragen stellen. Weitere Informationen finden Sie unter Kontingente und Limits.
Wenn Sie Messwerte auf Seitenebene abrufen möchten, müssen Sie extraktive Antworten aktivieren.

Beispielabfragesatz erstellen

Sie können einen Beispielabfragesatz erstellen und damit die Qualität der Suchantworten für einen bestimmten Datenspeicher. So erstellen Sie einen Beispielabfragesatz:

REST

Das folgende Beispiel zeigt, wie Sie den Beispielabfragesatz mit der Methode sampleQuerySets.create erstellen.

Erstellen Sie den Beispielabfragesatz.

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

Ersetzen Sie Folgendes:

PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
SAMPLE_QUERY_SET_ID: eine benutzerdefinierte ID für Ihren Beispielabfragesatz.
SAMPLE_QUERY_SET_DISPLAY_NAME: Ein benutzerdefinierter Name für den Beispielabfragesatz.

Antwort

Sie sollten in etwa folgende JSON-Antwort erhalten:

{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID",
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME",
  "createTime": "CREATION_DATETIME"
}

Beispielabfragedaten importieren

Importieren Sie nach dem Erstellen des Beispielabfragesatzes die Beispielabfragedaten. Sie haben folgende Möglichkeiten, die Beispielabfragedaten zu importieren:

Aus Cloud Storage importieren: Sie können eine NDJSON-Datei von einem Cloud Storage-Speicherort importieren.
Aus BigQuery importieren: BigQuery-Daten aus einer BigQuery-Tabelle. Um die BigQuery-Tabelle aus Ihrem NDJSON-Datei finden Sie unter JSON-Daten aus Cloud Storage laden.
Aus dem lokalen Dateisystem importieren: Erstellen Sie den Beispielabfragesatz in Ihrem lokalen Dateisystem und importieren Sie ihn.

Cloud Storage

Erstellen Sie Beispielabfragesätze, die dem Format für Beispielabfragesätze entsprechen.
Importieren Sie die JSON-Datei mit dem Beispielabfragesatz aus einem Cloud Storage-Bucket. Standort mit der Methode sampleQueries.import.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'
```
Ersetzen Sie Folgendes:
- PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
- SAMPLE_QUERY_SET_ID: die benutzerdefinierte ID für Ihr Beispielabfragesatz, den Sie bei der Erstellung des Beispielabfragesatzes definiert haben.
- INPUT_FILE_PATH: der Pfad zum Cloud Storage-Speicherort für den Beispielabfragesatz.
- ERROR_DIRECTORY: Optionales Feld, in dem der Pfad zum Cloud Storage-Speicherort angegeben wird, an dem Fehlerdateien bei Importfehlern protokolliert werden. Google empfiehlt, dieses Feld leer zu lassen oder das Tag errorConfig, damit Vertex AI Search automatisch einen temporären Standort erstellen.
Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Notieren Sie sich den Wert von OPERATION_ID. Sie benötigen diesen Wert im nächsten Schritt, um den Status dieses lang andauernden Vorgangs abzufragen.
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Status des lang andauernden Vorgangs mit operations.get abrufen .

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Wenn es und der Import fehlgeschlagen ist, wird in der Antwort das Feld failureCount angezeigt. um die Anzahl der Beispielabfragen anzugeben, die nicht importiert werden konnten.

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_NUMBER_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

BigQuery

Erstellen Sie die Beispielabfragesätze, die dem Format des Beispielabfragesatzes entsprechen.
Importieren Sie die JSON-Datei mit dem Beispielabfragesatz aus einem BigQuery-Speicherort mithilfe der Methode sampleQueries.import.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'
```
Ersetzen Sie Folgendes:
- PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
- SAMPLE_QUERY_SET_ID: die benutzerdefinierte ID für Ihr Beispielabfragesatz, den Sie bei der Erstellung des Beispielabfragesatzes definiert haben.
- DATASET_ID: die ID des BigQuery- Dataset, das den Beispielabfragesatz enthält.
- TABLE_ID: Die ID der BigQuery-Tabelle, die den Beispielabfragesatz enthält.
- ERROR_DIRECTORY: ein optionales Feld, das angegeben werden soll Pfad zum Cloud Storage-Speicherort, an dem Fehlerdateien protokolliert werden, wenn Importfehler treten auf. Wir empfehlen, dieses Feld leer zu lassen oder das Feld „errorConfig“ zu entfernen, damit Vertex AI Search automatisch einen temporären Speicherort erstellen kann.
Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Notieren Sie sich den Wert von OPERATION_ID. Sie benötigen diesen Wert im nächsten Schritt, um den Status dieses lang andauernden Vorgangs abzufragen.
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Status des lang andauernden Vorgangs mit operations.get abrufen .

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Wenn Fehler auftreten und der Import fehlschlägt, enthält die Antwort das Feld failureCount mit der Anzahl der Beispielabfragen, die nicht importiert werden konnten.

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

Lokales Dateisystem

Erstellen Sie die Beispielabfragesätze, die dem Format des Beispielabfragesatzes entsprechen.
Importieren Sie die JSON-Datei mit dem Beispielabfragesatz mithilfe der Methode sampleQueries.import aus einem lokalen Dateisystem.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json
```
Ersetzen Sie Folgendes:
- PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
- SAMPLE_QUERY_SET_ID: die benutzerdefinierte ID für Ihr Beispielabfragesatz, den Sie bei der Erstellung des Beispielabfragesatzes definiert haben.
- PATH/TO/LOCAL/FILE.json: der Pfad zum JSON-Format die den Beispielabfragesatz enthält.
Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Notieren Sie sich den Wert von OPERATION_ID. Sie benötigen diesen Wert im nächsten Schritt, um den Status dieses lang andauernden Vorgangs abzufragen.
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Status des lang andauernden Vorgangs mit operations.get abrufen .

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Antwort

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

Bewertung der Suchqualität ausführen

Nachdem Sie die Beispielabfragedaten in die Beispielabfragesätze importiert haben, führen Sie die folgenden Schritte aus, um die Bewertung der Suchqualität auszuführen.

REST

Starten Sie eine Bewertung der Suchqualität.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

Ersetzen Sie Folgendes:

PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
SAMPLE_QUERY_SET_ID: die benutzerdefinierte ID für Ihr Beispielabfragesatz, den Sie bei der Erstellung des Beispielabfragesatzes definiert haben.
APP_ID: die ID des Vertex AI Search-Anwendung, deren Suchqualität Sie verbessern möchten evaluieren.

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Notieren Sie sich den Wert von EVALUATION_ID. Sie benötigen diesen Wert im nächsten Schritt, um den Status der Bewertung abzufragen, bei dem es sich um einen lang andauernden Vorgang handelt. LRO:

{
 "name": "projects/PROJECT_NUMBER/locations/global/operations/OPERATION_ID",
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.Evaluation",
   "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
   "evaluationSpec": {
     "querySetSpec": {
       "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
     },
     "searchRequest": {
       "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
     }
   },
   "state": "PENDING"
 }
}

Behalten Sie den Fortschritt der Bewertung im Blick.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

Ersetzen Sie Folgendes:

PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
EVALUATION_ID: die ID für Ihren Bewertungsjob der im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung initiiert haben.

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Bis die Prüfung abgeschlossen ist, wird als Status PENDING angezeigt.

{
"name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
"evaluationSpec": {
  "querySetSpec": {
    "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
  },
  "searchRequest": {
    "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
  }
},
"state": "PENDING"
"createTime": "CREATION_DATETIME"
}

Rufen Sie die zusammengefassten Ergebnisse ab.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

Ersetzen Sie Folgendes:

PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
EVALUATION_ID: die ID für Ihren Bewertungsjob der im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung initiiert haben.

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Der Status von wird die Bewertung als PENDING angezeigt, bis sie abgeschlossen ist.

{
 "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 },
 "qualityMetrics": {
   "docRecall": {
     "top1": DOC_RECALL_TOP_1,
     "top3": DOC_RECALL_TOP_3,
     "top5": DOC_RECALL_TOP_5,
     "top10": DOC_RECALL_TOP_10
   },
   "docPrecision": {
     "top1": DOC_PRECISION_TOP_1,
     "top3": DOC_PRECISION_TOP_3,
     "top5": DOC_PRECISION_TOP_5,
     "top10": DOC_PRECISION_TOP_10
   },
   "docNdcg": {
     "top1": DOC_NDCG_TOP_1,
     "top3": DOC_NDCG_TOP_3,
     "top5": DOC_NDCG_TOP_5,
     "top10": DOC_NDCG_TOP_10
   },
   "pageRecall": {
     "top1": PAGE_RECALL_TOP_1,
     "top3": PAGE_RECALL_TOP_3,
     "top5": PAGE_RECALL_TOP_5,
     "top10": PAGE_RECALL_TOP_10
   },
   "pageNdcg": {
     "top1": PAGE_NDCG_TOP_1,
     "top3": PAGE_NDCG_TOP_3,
     "top5": PAGE_NDCG_TOP_5,
     "top10": PAGE_NDCG_TOP_10
    }
  },
 "state": "SUCCEEDED",
 "error": {},
 "createTime": "CREATION_DATETIME",
 "endTime": "END_DATETIME"
}

Ergebnisse auf Abfrageebene abrufen

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

Ersetzen Sie Folgendes:

PROJECT_ID ist die ID Ihres Google Cloud-Projekts.
EVALUATION_ID: die ID für Ihren Bewertungsjob der im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung initiiert haben.

Antwort

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten: Der Status der Bewertung wird so lange als PENDING angezeigt, bis die Bewertung abgeschlossen ist.

{
 "evaluationResults": [
   {
     "sampleQuery": {
       "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_1",
       "queryEntry": {
         "query": "SAMPLE_QUERY_1",
         "targets": [
           {
             "uri": "URI_1"
           }
         ]
       }
     },
     "qualityMetrics": {
       "docRecall": {
         "top1": DOC_RECALL_TOP_1,
         "top3": DOC_RECALL_TOP_3,
         "top5": DOC_RECALL_TOP_5,
         "top10": DOC_RECALL_TOP_10
       },
       "docPrecision": {
         "top1": DOC_PRECISION_TOP_1,
         "top3": DOC_PRECISION_TOP_3,
         "top5": DOC_PRECISION_TOP_5,
         "top10": DOC_PRECISION_TOP_10
       },
       "docNdcg": {
         "top1": DOC_NDCG_TOP_1,
         "top3": DOC_NDCG_TOP_3,
         "top5": DOC_NDCG_TOP_5,
         "top10": DOC_NDCG_TOP_10
       },
       "pageRecall": {
         "top1": PAGE_RECALL_TOP_1,
         "top3": PAGE_RECALL_TOP_3,
         "top5": PAGE_RECALL_TOP_5,
         "top10": PAGE_RECALL_TOP_10
       },
       "pageNdcg": {
         "top1": PAGE_NDCG_TOP_1,
         "top3": PAGE_NDCG_TOP_3,
         "top5": PAGE_NDCG_TOP_5,
         "top10": PAGE_NDCG_TOP_10
        }
      }
   },
   {
     "sampleQuery": {
       "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_2",
       "queryEntry": {
         "query": "SAMPLE_QUERY_2",
         "targets": [
           {
             "uri": "URI_2"
           }
         ]
       }
     },
     "qualityMetrics": {
       "docRecall": {
         "top1": DOC_RECALL_TOP_1,
         "top3": DOC_RECALL_TOP_3,
         "top5": DOC_RECALL_TOP_5,
         "top10": DOC_RECALL_TOP_10
       },
       "docPrecision": {
         "top1": DOC_PRECISION_TOP_1,
         "top3": DOC_PRECISION_TOP_3,
         "top5": DOC_PRECISION_TOP_5,
         "top10": DOC_PRECISION_TOP_10
       },
       "docNdcg": {
         "top1": DOC_NDCG_TOP_1,
         "top3": DOC_NDCG_TOP_3,
         "top5": DOC_NDCG_TOP_5,
         "top10": DOC_NDCG_TOP_10
       },
       "pageRecall": {
         "top1": PAGE_RECALL_TOP_1,
         "top3": PAGE_RECALL_TOP_3,
         "top5": PAGE_RECALL_TOP_5,
         "top10": PAGE_RECALL_TOP_10
       },
       "pageNdcg": {
         "top1": PAGE_NDCG_TOP_1,
         "top3": PAGE_NDCG_TOP_3,
         "top5": PAGE_NDCG_TOP_5,
         "top10": PAGE_NDCG_TOP_10
        }
      }
   }
 ]
}

Die Ergebnisse verstehen

In der folgenden Tabelle werden die Messwerte beschrieben, die in den Bewertungsergebnissen zurückgegeben werden.

Name	Beschreibung	Voraussetzungen
`docRecall`	Trefferquote pro Dokument bei verschiedenen Top-K-Grenzwerten Die Trefferquote ist der Anteil der relevanten Dokumente, die aus allen relevanten Dokumenten abgerufen wurden. Der Wert `top5` bedeutet beispielsweise Folgendes: Wenn bei einer einzelnen Suchanfrage drei der fünf relevanten Dokumente in den Top 5 zurückgegeben werden, kann der `docRecall` als 3/5 oder 0,6 berechnet werden.	Die Beispielabfrage muss das URI-Feld enthalten.
`pageRecall`	Trefferquote pro Seite bei verschiedenen Top-K-Grenzwerten Die Trefferquote ist der Anteil der relevanten Seiten, die von allen relevanten Seiten abgerufen wurden. Der Wert `top5` bedeutet beispielsweise Folgendes: Wenn bei einer einzelnen Suchanfrage drei von fünf relevanten Seiten zu den Top 5 gehören, kann `pageRecall` so berechnet werden: 3/5 = 0, 6.	Die Beispielabfrage muss die Felder „URI“ und „Seiten“ enthalten. Die Funktion „Auszug aus einer Antwort“ muss aktiviert sein.
`docNdcg`	Normalisierter rabattierter kumulativer Profit (NDCG) pro Dokument bei verschiedenen Obergrenzen. Die NDCG misst die Ranking-Qualität und gibt den Top-Ergebnissen eine höhere Relevanz. Der NDCG-Wert kann für jede Suchanfrage gemäß Normalisierter CDG berechnet werden.	Die Beispielabfrage muss das URI-Feld enthalten.
`pageNdcg`	Normalisierter rabattierter kumulativer Profit (NDCG) pro Seite bei verschiedenen Obergrenzen. Der NDCG misst die Qualität des Rankings und ordnet den Top-Ergebnissen eine höhere Relevanz zu. Der NDCG-Wert kann für jede Abfrage gemäß dem normalisierten CDG berechnet werden.	Die Beispielabfrage muss die Felder „URI“ und „Seiten“ enthalten. Extraktionsantworten müssen aktiviert sein.
`docPrecision`	Genauigkeit pro Dokument bei verschiedenen Top-K-Grenzwerten Die Genauigkeit ist der Anteil der relevanten Dokumente, die zurückgegeben wurden. Der Wert `top3` bedeutet beispielsweise Folgendes: Wenn bei einer einzelnen Suchanfrage 4 von 5 abgerufenen Dokumenten in den Top 5 relevant sind, kann der `docPrecision`-Wert als 4/5 oder 0,8 berechnet werden.	Die Beispielabfrage muss das URI-Feld enthalten.

Anhand der Werte dieser unterstützten Messwerte können Sie die folgenden Aufgaben ausführen:

Aggregierte Messwerte analysieren:
- Sehen Sie sich allgemeine Messwerte wie durchschnittliche Trefferquote, Genauigkeit und normalisierten diskontierten kumulierten Gewinn (NDCG) an.
- Diese Messwerte bieten einen allgemeinen Überblick über die Leistung Ihrer Suchmaschine.
Ergebnisse auf Abfrageebene prüfen:
- Sie können einzelne Suchanfragen aufschlüsseln, um Bereiche zu identifizieren, in denen die Suchmaschine eine gute oder schlechte Leistung erzielt.
- Suchen Sie nach Mustern in den Ergebnissen, um potenzielle Verzerrungen oder Mängel in den Ranking-Algorithmen zu verstehen.
Ergebnisse im Zeitverlauf vergleichen:
- Führen Sie regelmäßig Bewertungen durch, um Änderungen der Suchqualität im Laufe der Zeit zu beobachten.
- Anhand von Verlaufsdaten können Sie Trends erkennen und die Auswirkungen von Änderungen an Ihrer Suchmaschine bewerten.

Nächste Schritte

Verwenden Sie Cloud Scheduler, um eine geplante Qualitätsprüfung einzurichten. Weitere Informationen Weitere Informationen finden Sie unter Authentifizierung mit HTTP-Zielen verwenden.