Vorlage für die Vektorsuche von Bigtable zu Vertex AI

Die Vorlage für Dateien der Vektorsuche von Bigtable zu Vertex AI in Cloud Storage erstellt eine Batchpipeline, die Daten aus einer Bigtable-Tabelle liest und im JSON-Format in einen Cloud Storage-Bucket schreibt. Verwenden Sie diese Vorlage für Vektoreinbettungen.

Pipelineanforderungen

  • Die Bigtable-Tabelle muss vorhanden sein.
  • Der Cloud Storage-Ausgabe-Bucket muss vorhanden sein, bevor Sie die Pipeline ausführen.

Vorlagenparameter

Parameter Beschreibung
bigtableProjectId Die ID des Google Cloud-Projekts, das die Bigtable-Instanz enthält, aus der Sie Daten lesen möchten.
bigtableInstanceId Die ID der Bigtable-Instanz, die die Tabelle enthält.
bigtableTableId Die ID der zu lesenden Bigtable-Tabelle.
filenamePrefix Das Präfix des JSON-Dateinamens. Beispiel: table1-. Wenn kein Wert angegeben ist, wird standardmäßig part verwendet.
idColumn Der voll qualifizierte Spaltenname, in dem die ID gespeichert ist. Im Format cf:col oder _key.
embeddingColumn Der voll qualifizierte Spaltenname, in dem die Einbettungen gespeichert sind. Im Format cf:col oder _key.
outputDirectory Optional: Der Cloud Storage-Pfad, in dem die JSON-Ausgabedateien gespeichert werden. Beispiel: gs://your-bucket/your-path/.
crowdingTagColumn Optional: Der voll qualifizierte Spaltenname, in dem das Crowding-Tag gespeichert ist. Im Format cf:col oder _key.
embeddingByteSize Optional: Die Bytegröße jedes Eintrags im Einbettungsarray. Verwenden Sie für Float den Wert 4. Verwenden Sie für Double den Wert 8. Die Standardeinstellung ist: 4.
allowRestrictsMappings Optional: Die durch Kommas getrennten, vollständig qualifizierten Spaltennamen für die Spalten, die als allow-Einschränkungen verwendet werden sollen, mit ihren Aliassen. Im Format cf:col->alias
denyRestrictsMappings Optional: Die durch Kommas getrennten, vollständig qualifizierten Spaltennamen für die Spalten, die als deny-Einschränkungen verwendet werden sollen, mit ihren Aliassen. Im Format cf:col->alias
intNumericRestrictsMappings Optional: Die durch Kommas getrennten, vollständig qualifizierten Spaltennamen der Spalten, die als Ganzzahl numeric_restricts verwendet werden sollen, mit ihren Aliassen. Im Format cf:col->alias
floatNumericRestrictsMappings Optional: Die durch Kommas getrennten, vollständig qualifizierten Spaltennamen der Spalten, die als Gleitkommazahl (4 Byte) numeric_restricts verwendet werden sollen, mit ihren Aliassen. Im Format cf:col->alias
doubleNumericRestrictsMappings Optional: Die durch Kommas getrennten, vollständig qualifizierten Spaltennamen der Spalten, die als Double (8 Byte) numeric_restricts verwendet werden sollen, mit ihren Aliassen. Im Format cf:col->alias

Führen Sie die Vorlage aus.

Console

  1. Rufen Sie die Dataflow-Seite Job aus Vorlage erstellen auf.
  2. Zur Seite "Job aus Vorlage erstellen“
  3. Geben Sie im Feld Jobname einen eindeutigen Jobnamen ein.
  4. Optional: Wählen Sie für Regionaler Endpunkt einen Wert aus dem Drop-down-Menü aus. Die Standardregion ist us-central1.

    Eine Liste der Regionen, in denen Sie einen Dataflow-Job ausführen können, finden Sie unter Dataflow-Standorte.

  5. Wählen Sie im Drop-down-Menü Dataflow-Vorlage die Option the Cloud Bigtable to Vector Embeddings templateaus.
  6. Geben Sie Ihre Parameterwerte in die Parameterfelder ein.
  7. Klicken Sie auf Job ausführen.

gcloud-CLI

Führen Sie die Vorlage in der Shell oder im Terminal aus:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_Vector_Embeddings \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --parameters \
       bigtableProjectId=BIGTABLE_PROJECT_ID,\
       bigtableInstanceId=BIGTABLE_INSTANCE_ID,\
       bigtableTableId=BIGTABLE_TABLE_ID,\
       filenamePrefix=FILENAME_PREFIX,\
       idColumn=ID_COLUMN,\
       embeddingColumn=EMBEDDING_COLUMN,\

Ersetzen Sie Folgendes:

  • JOB_NAME: ein eindeutiger Jobname Ihrer Wahl
  • VERSION: Die Version der Vorlage, die Sie verwenden möchten

    Sie können die folgenden Werte verwenden:

    • latest zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/
    • Den Versionsnamen wie 2023-09-12-00_RC00, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
  • REGION_NAME: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B. us-central1
  • BIGTABLE_PROJECT_ID: die Projekt-ID
  • BIGTABLE_INSTANCE_ID: die Instanz-ID
  • BIGTABLE_TABLE_ID: die Tabellen-ID
  • FILENAME_PREFIX: das JSON-Dateipräfix
  • ID_COLUMN: die ID-Spalte
  • EMBEDDING_COLUMN: die Einbettungsspalte

API

Senden Sie eine HTTP-POST-Anfrage, um die Vorlage mithilfe der REST API auszuführen. Weitere Informationen zur API und ihren Autorisierungsbereichen finden Sie unter projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_Vector_Embeddings
{
   "jobName": "JOB_NAME",
   "parameters": {
     "bigtableProjectId": "BIGTABLE_PROJECT_ID",
     "bigtableInstanceId": "BIGTABLE_INSTANCE_ID",
     "bigtableTableId": "BIGTABLE_TABLE_ID",
     "filenamePrefix": "FILENAME_PREFIX",
     "idColumn": "ID_COLUMN",
     "embeddingColumn": "EMBEDDING_COLUMN",
   },
   "environment": { "maxWorkers": "10" }
}

Ersetzen Sie Folgendes:

  • PROJECT_ID: die ID des Google Cloud-Projekts, in dem Sie den Dataflow-Job ausführen möchten
  • JOB_NAME: ein eindeutiger Jobname Ihrer Wahl
  • VERSION: Die Version der Vorlage, die Sie verwenden möchten

    Sie können die folgenden Werte verwenden:

    • latest zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/
    • Den Versionsnamen wie 2023-09-12-00_RC00, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
  • LOCATION: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B. us-central1
  • BIGTABLE_PROJECT_ID: die Projekt-ID
  • BIGTABLE_INSTANCE_ID: die Instanz-ID
  • BIGTABLE_TABLE_ID: die Tabellen-ID
  • FILENAME_PREFIX: das JSON-Dateipräfix
  • ID_COLUMN: die ID-Spalte
  • EMBEDDING_COLUMN: die Einbettungsspalte

Nächste Schritte