Übersicht über die Einbindung von Spanner Vertex AI

Diese Seite bietet eine Übersicht über die Einbindung von Spanner Vertex AI. Die Einbindung von Spanner Vertex AI funktioniert sowohl mit GoogleSQL- als auch mit PostgreSQL-Datenbanken.

Durch die Einbindung von Spanner Vertex AI können Sie über die GoogleSQL- und PostgreSQL-Schnittstelle auf Klassifikator- und Regressions-ML-Modelle zugreifen, die in Vertex AI gehostet werden. Dadurch können ML-Vorhersagefunktionen nahtlos in allgemeine Spanner-Datenzugriffsvorgänge integriert werden, die mit DQL-/DML-Abfragen ausgeführt werden.

Vorteile der Einbindung von Spanner Vertex AI

Das Generieren von ML-Vorhersagen mithilfe der Einbindung von Spanner Vertex AI bietet mehrere Vorteile gegenüber dem Ansatz, bei dem der Spanner-Datenzugriff und der Zugriff auf den Vertex AI-Vorhersageendpunkt separat ausgeführt werden:

  • Leistung:
    • Bessere Latenz: Durch die Einbindung von Spanner Vertex AI in den Vertex AI-Dienst werden zusätzliche Umläufe zwischen einem Rechenknoten, auf dem ein Spanner-Client ausgeführt wird, und dem Vertex AI-Dienst vermieden.
    • Besserer Durchsatz/Parallelität: Die Einbindung von Spanner Vertex AI wird auf der verteilten Infrastruktur für die Abfrageverarbeitung von Spanner ausgeführt, die eine hochgradig parallelisierbare Abfrageausführung unterstützt.
  • Nutzererfahrung:
    • Die Möglichkeit, eine einzelne, einfache, kohärente und vertraute SQL-Schnittstelle zu verwenden, um sowohl die Datentransformation als auch die ML-Bereitstellungsszenarien auf Spanner-Ebene zu erleichtern, senkt die ML-Einstiegshürde und ermöglicht eine viel reibungslosere Nutzererfahrung.
  • Kosten:
    • Bei der Einbindung von Spanner Vertex AI wird die Rechenkapazität von Spanner verwendet, um die Ergebnisse von ML-Berechnungen und der SQL-Abfrageausführung zusammenzuführen. Dadurch entfällt die Notwendigkeit, zusätzliche Rechenressourcen (z. B. in Compute Engine oder Google Kubernetes Engine) dafür bereitzustellen.

Wie funktioniert die Einbindung von Spanner Vertex AI?

Die Einbindung von Spanner Vertex AI hostet keine ML-Modelle, stützt sich aber stattdessen auf die Dienstinfrastruktur von Vertex AI. Sie müssen ein Modell nicht mit Vertex AI trainieren, um es mit der Einbindung von Spanner Vertex AI zu verwenden, aber Sie müssen es auf einem Vertex AI-Endpunkt bereitstellen.

Zum Trainieren von Modellen mit in Spanner gespeicherten Daten können Sie Folgendes verwenden:

Durch die Einbindung von Spanner Vertex AI werden die folgenden Funktionen für die Verwendung von ML-Modellen erweitert:

  • Generieren Sie ML-Vorhersagen, indem Sie mithilfe von SQL ein Modell für Ihre Spanner-Daten aufrufen. Sie können ein Modell aus Vertex AI Model Garden oder ein Modell verwenden, das auf Ihrem Vertex AI-Endpunkt bereitgestellt wird.

  • Generieren Sie Texteinbettungen, damit ein LLM Text-Prompts in Zahlen übersetzt. Weitere Informationen zu Einbettungen finden Sie unter Texteinbettungen abrufen.

Spanner Vertex AI-Integrationsfunktionen verwenden

Ein Modell in der Einbindung von Spanner Vertex AI kann verwendet werden, um mithilfe der ML-Vorhersagefunktionen Vorhersagen oder Texteinbettungen in Ihrem SQL-Code zu generieren. Diese Funktionen sind:

GoogleSQL

Sie können die folgende ML-Vorhersagefunktion für GoogleSQL verwenden:

ML.PREDICT

Sie müssen das Modell mit der DDL-Anweisung CREATE MODEL registrieren, bevor Sie es mit der Funktion ML.PREDICT verwenden können.

Sie können auch SAFE.ML.PREDICT verwenden, um null anstelle eines Fehlers in Ihren Vorhersagen zurückzugeben. Dies ist in Fällen hilfreich, in denen große Abfragen ausgeführt werden, bei denen einige fehlgeschlagene Vorhersagen tolerierbar sind.

PostgreSQL

Sie können die folgende ML-Vorhersagefunktion für PostgreSQL verwenden:

spanner.ML_PREDICT_ROW

Zur Verwendung der Funktionen können Sie ein Modell aus Vertex AI Model Garden auswählen oder ein Modell verwenden, das Sie in Vertex AI bereitgestellt haben.

Weitere Informationen zum Bereitstellen eines Modells auf einem Endpunkt in Vertex AI finden Sie unter Modell auf einem Endpunkt bereitstellen.

Weitere Informationen zur Verwendung dieser Funktionen zum Generieren einer ML-Vorhersage finden Sie unter ML-Vorhersagen mit SQL generieren.

Weitere Informationen zum Verwenden dieser Funktionen zum Generieren von Texteinbettungen finden Sie unter Texteinbettungen abrufen.

Preise

Wenn Sie Spanner zusammen mit der Einbindung von Spanner Vertex AI verwenden, fallen keine zusätzlichen Gebühren an. Im Zusammenhang mit dieser Funktion können jedoch weitere Kosten anfallen:

  • Sie bezahlen die Standardtarife für Vertex AI-Onlinevorhersagen. Die Gesamtkosten hängen vom verwendeten Modelltyp ab. Einige Modelltypen haben je nach Maschinentyp und Anzahl der verwendeten Knoten einen Pauschalpreis pro Stunde. Einige Modelltypen haben Tarife pro Anruf. Wir empfehlen, Letztere in einem dedizierten Projekt bereitzustellen, für das Sie explizite Vorhersagekontingente festgelegt haben.

  • Sie bezahlen die Standardtarife für die Datenübertragung zwischen Spanner und Vertex AI. Die Gesamtkosten hängen von der Region ab, in der der Server gehostet wird, der die Abfrage ausführt, und von der Region, in der der genannte Endpunkt gehostet wird. Stellen Sie Ihre Vertex AI-Endpunkte in derselben Region wie Ihre Spanner-Instanz bereit, um die Kosten zu minimieren. Wenn Sie multiregionale Instanzkonfigurationen oder mehrere Vertex AI-Endpunkte verwenden, stellen Sie Ihre Endpunkte auf demselben Kontinent bereit.

SLA

Da die Verfügbarkeit von Vertex AI-Onlinevorhersagen geringer ist, müssen Sie Spanner-ML-Modelle ordnungsgemäß konfigurieren, um die Hochverfügbarkeit von Spanner aufrechtzuerhalten, wenn Sie die Einbindung von Spanner Vertex AI verwenden:

  1. Spanner-ML-Modelle müssen mehrere Vertex AI-Endpunkte im Back-End verwenden, um ein Failover zu ermöglichen.
  2. Vertex AI-Endpunkte müssen dem Vertex AI-SLA entsprechen.
  3. Vertex AI-Endpunkte müssen genügend Kapazität für eingehenden Traffic bereitstellen.
  4. Vertex AI-Endpunkte müssen separate Regionen in der Nähe der Spanner-Datenbank verwenden, um regionale Ausfälle zu vermeiden.
  5. Vertex AI-Endpunkte sollten separate Projekte verwenden, um Probleme mit projektspezifischen Vorhersagekontingenten zu vermeiden.

Die Anzahl der redundanten Vertex AI-Endpunkte hängt von ihrem SLA und der Anzahl der Zeilen in Spanner-Abfragen ab:

Spanner-SLA Vertex AI-SLA 1 Zeile 10 Zeilen 100 Zeilen 1.000 Zeilen
99,99 % 99,9 % 2 2 2 3
99,99 % 99,5 % 2 3 3 4
99,999 % 99,9 % 2 2 3 3
99,999 % 99,5 % 3 3 4 4

Vertex AI-Endpunkte müssen nicht genau das gleiche Modell hosten. Wir empfehlen, das Spanner-ML-Modell so zu konfigurieren, dass es ein primäres, komplexes und rechenintensives Modell als ersten Endpunkt hat. Nachfolgende Failover-Endpunkte können auf vereinfachte Modelle verweisen, die weniger rechenintensiv sind, besser skalieren und Trafficspitzen absorbieren können.

Compliance

Assured Workloads unterstützen die Vertex AI Prediction API nicht. Durch das Aktivieren einer Beschränkung der Ressourcennutzung werden die Vertex AI API und das Spanner Vertex AI-Integrationsfeature deaktiviert.

Darüber hinaus empfehlen wir, einen VPC Service Controls-Perimeter zu erstellen, damit Ihre Produktionsdatenbanken keine Verbindung zu Vertex AI-Endpunkten in Ihren Nicht-Produktionsprojekten herstellen können, die möglicherweise nicht die richtige Compliancekonfiguration haben.