Vorlage für die Vektorsuche von Spanner zu Vertex AI

Die Vorlage für Dateien der Vektorsuche von Spanner zu Vertex AI in Cloud Storage erstellt eine Batchpipeline, die Daten aus Vektoreinbettungen aus einer Spanner-Tabelle im JSON-Format in Cloud Storage exportiert. Verwenden Sie Vorlagenparameter, um den Cloud Storage-Ordner anzugeben, in den die Vektoreinbettungen exportiert werden sollen. Der Cloud Storage-Ordner enthält die Liste der exportierten .json-Dateien, die die Vektoreinbettungen in einem Format darstellen, das vom Vertex AI Vektorsuchindex unterstützt wird.

Weitere Informationen finden Sie unter Format und Struktur der Eingabedaten.

Pipelineanforderungen

  • Die Spanner-Datenbank muss vorhanden sein.
  • Der Cloud Storage-Bucket zum Ausgeben von Daten muss vorhanden sein.
  • Zusätzlich zu den IAM-Rollen (Identity and Access Management), die zum Ausführen von Dataflow-Jobs erforderlich sind, benötigen Sie die erforderlichen IAM-Rollen zum Lesen Ihrer Spanner-Daten und Schreiben in Ihren Cloud Storage-Bucket.

Vorlagenparameter

Parameter Beschreibung
spannerProjectId Die Projekt-ID der Instanz.
spannerInstanceId Die ID der Spanner-Instanz, aus der die Vektoreinbettungen exportiert werden sollen.
spannerDatabaseId Die ID der Spanner-Datenbank, aus der die Vektoreinbettungen exportiert werden sollen.
spannerTable Die Spanner-Tabelle, aus der gelesen werden soll.
spannerColumnsToExport Eine durch Kommas getrennte Liste der erforderlichen Spalten für den Vertex AI Vektorsuchindex. Die Spalten id und embedding sind für die Vektorsuche erforderlich. Wenn Ihre Spaltennamen nicht mit der Eingabestruktur des Vertex AI Vektorsuchindex übereinstimmen, erstellen Sie mithilfe von Aliassen Spaltenzuordnungen. Wenn die Spaltennamen nicht dem von Vertex AI erwarteten Format entsprechen, verwenden Sie die Schreibweise from:to. Wenn Sie beispielsweise Spalten mit den Namen id und my_embedding haben, geben Sie id, my_embedding:embedding an.
gcsOutputFolder Der Cloud Storage-Ordner, in den Ausgabedateien geschrieben werden sollen. Der Pfad muss mit einem Schrägstrich enden. Beispiel: gs://your-bucket/folder1/.
gcsOutputFilePrefix Das Dateinamenpräfix zum Schreiben von Ausgabedateien. Beispiel: vector-embeddings.
spannerHost Optional: Der Spanner-Endpunkt, der in der Vorlage aufgerufen werden soll. Der Standardwert ist https://batch-spanner.googleapis.com.
spannerVersionTime Optional: Wird dieser Wert festgelegt, gibt er die Zeit an, zu der die Datenbankversion verwendet werden muss. Der Wert ist ein String im RFC-3339-Datumsformat in Unix-Epochen-Zeit. Beispiel: 1990-12-31T23:59:60Z. Der Zeitstempel muss in der Vergangenheit liegen und die maximale Zeitstempelveralterung gilt. Wenn nicht festgelegt, wird eine starke Grenze verwendet, um die neuesten Daten zu lesen. Die Standardeinstellung ist leer.
spannerDataBoostEnabled Optional: Wenn dieser Wert auf true gesetzt ist, verwendet die Vorlage das On-Demand-Computing von Spanner. Der Exportjob wird auf unabhängigen Rechenressourcen ausgeführt, die sich nicht auf aktuelle Spanner-Arbeitslasten auswirken. Die Verwendung dieser Option verursacht zusätzliche Kosten in Spanner. Weitere Informationen finden Sie unter Spanner Data Boost – Übersicht. Die Standardeinstellung ist: false.
spannerPriority Optional: Die Anfragepriorität für Spanner-Aufrufe. Die zulässigen Werte sind HIGH, MEDIUM und LOW. Der Standardwert ist MEDIUM.

Führen Sie die Vorlage aus.

Console

  1. Rufen Sie die Dataflow-Seite Job aus Vorlage erstellen auf.
  2. Zur Seite "Job aus Vorlage erstellen“
  3. Geben Sie im Feld Jobname einen eindeutigen Jobnamen ein.
  4. Optional: Wählen Sie für Regionaler Endpunkt einen Wert aus dem Drop-down-Menü aus. Die Standardregion ist us-central1.

    Eine Liste der Regionen, in denen Sie einen Dataflow-Job ausführen können, finden Sie unter Dataflow-Standorte.

  5. Wählen Sie im Drop-down-Menü Dataflow-Vorlage die Option the Spanner to Vertex AI Vector Search files on Cloud Storage templateaus.
  6. Geben Sie Ihre Parameterwerte in die Parameterfelder ein.
  7. Klicken Sie auf Job ausführen.

gcloud

Führen Sie die Vorlage in der Shell oder im Terminal aus:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Spanner_vectors_to_Cloud_Storage \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --parameters \
       spannerProjectId=SPANNER_PROJECT_ID,\
       spannerInstanceId=SPANNER_INSTANCE_ID,\
       spannerDatabaseId=SPANNER_DATABASE_ID,\
       spannerTable=SPANNER_TABLE,\
       spannerColumnsToExport=SPANNER_COLUMNS_TO_EXPORT,\
       gcsOutputFolder=GCS_OUTPUT_FOLDER,\
       gcsOutputFilePrefix=GCS_OUTPUT_FILE_PREFIX,\

Ersetzen Sie Folgendes:

  • JOB_NAME: ein eindeutiger Jobname Ihrer Wahl
  • VERSION: Die Version der Vorlage, die Sie verwenden möchten

    Sie können die folgenden Werte verwenden:

    • latest zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/
    • Den Versionsnamen wie 2023-09-12-00_RC00, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
  • REGION_NAME: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B. us-central1
  • SPANNER_PROJECT_ID: Die Spanner-Projekt-ID.
  • SPANNER_INSTANCE_ID: Die Spanner-Instanz-ID
  • SPANNER_DATABASE_ID: Die Spanner-Datenbank-ID
  • SPANNER_TABLE: Die Spanner-Tabelle
  • SPANNER_COLUMNS_TO_EXPORT: Die Spalten, die aus der Spanner-Tabelle exportiert werden sollen
  • GCS_OUTPUT_FOLDER: Der Cloud Storage-Ordner, in den Ausgabedateien geschrieben werden sollen.
  • GCS_OUTPUT_FILE_PREFIX: das Präfix der Ausgabedateien in Cloud Storage

API

Senden Sie eine HTTP-POST-Anfrage, um die Vorlage mithilfe der REST API auszuführen. Weitere Informationen zur API und ihren Autorisierungsbereichen finden Sie unter projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Spanner_vectors_to_Cloud_Storage
{
   "jobName": "JOB_NAME",
   "parameters": {
     "spannerProjectId": "SPANNER_PROJECT_ID",
     "spannerInstanceId": "SPANNER_INSTANCE_ID",
     "spannerDatabaseId": "SPANNER_DATABASE_ID",
     "spannerTable": "SPANNER_TABLE",
     "spannerColumnsToExport": "SPANNER_COLUMNS_TO_EXPORT",
     "gcsOutputFolder": "GCS_OUTPUT_FOLDER",
     "gcsOutputFilePrefix": "GCS_OUTPUT_FILE_PREFIX",
   },
   "environment": { "maxWorkers": "10" }
}

Ersetzen Sie Folgendes:

  • PROJECT_ID: die ID des Google Cloud-Projekts, in dem Sie den Dataflow-Job ausführen möchten
  • JOB_NAME: ein eindeutiger Jobname Ihrer Wahl
  • VERSION: Die Version der Vorlage, die Sie verwenden möchten

    Sie können die folgenden Werte verwenden:

    • latest zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/
    • Den Versionsnamen wie 2023-09-12-00_RC00, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
  • LOCATION: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B. us-central1
  • SPANNER_PROJECT_ID: Die Spanner-Projekt-ID.
  • SPANNER_INSTANCE_ID: Die Spanner-Instanz-ID
  • SPANNER_DATABASE_ID: Die Spanner-Datenbank-ID
  • SPANNER_TABLE: Die Spanner-Tabelle
  • SPANNER_COLUMNS_TO_EXPORT: Die Spalten, die aus der Spanner-Tabelle exportiert werden sollen
  • GCS_OUTPUT_FOLDER: Der Cloud Storage-Ordner, in den Ausgabedateien geschrieben werden sollen.
  • GCS_OUTPUT_FILE_PREFIX: das Präfix der Ausgabedateien in Cloud Storage

Nächste Schritte