Einbindung von Spanner Vertex AI – Übersicht

Diese Seite bietet eine Übersicht über die Einbindung von Spanner Vertex AI.

Durch die Einbindung von Spanner Vertex AI können Sie über die GoogleSQL- und PostgreSQL-Schnittstelle auf Klassifikator- und Regressions-ML-Modelle zugreifen, die in Vertex AI gehostet werden. So lassen sich ML-Vorhersagefunktionen nahtlos in allgemeine Spanner-Datenzugriffsvorgänge einbinden, die mit DQL-/DML-Abfragen ausgeführt werden.

Vorteile der Einbindung von Spanner Vertex AI

Das Generieren von ML-Vorhersagen mit der Einbindung von Spanner Vertex AI bietet im Vergleich zum Ansatz, bei dem der Spanner-Datenzugriff und der Zugriff auf den Vertex AI-Vorhersageendpunkt separat erfolgen, mehrere Vorteile:

  • Leistung:
    • Bessere Latenz: Durch die Einbindung von Spanner Vertex AI, die mit dem Vertex AI-Dienst kommunizieren, werden zusätzliche Umläufe zwischen einem Rechenknoten, auf dem der Client eines Spanners ausgeführt wird, und dem Vertex AI-Dienst vermieden.
    • Besserer Durchsatz/Parallelität: Die Einbindung von Spanner Vertex AI wird auf der verteilten Abfrageverarbeitungsinfrastruktur von Spanner ausgeführt, die eine hochgradig parallelisierbare Abfrageausführung unterstützt.
  • Nutzererfahrung:
    • Die Möglichkeit, eine einzige, einfache, kohärente und vertraute SQL-Schnittstelle zu verwenden, um sowohl Datentransformations- als auch ML-Bereitstellungsszenarien auf Spanner-Skalierungsebene zu ermöglichen, senkt die ML-Einstiegsbarriere und ermöglicht eine viel reibungslosere Nutzererfahrung.
  • Kosten:
    • Die Einbindung von Spanner Vertex AI verwendet die Computing-Kapazität von Spanner, um die Ergebnisse von ML-Berechnungen und der SQL-Abfrageausführung zusammenzuführen. Dadurch entfällt die Notwendigkeit, eine zusätzliche Rechenkapazität (z. B. in Compute Engine oder Google Kubernetes Engine) dafür bereitzustellen.

Wie funktioniert die Einbindung von Spanner Vertex AI?

Die Einbindung von Spanner Vertex AI hostet keine ML-Modelle, sondern basiert auf der Dienstinfrastruktur von Vertex AI. Sie müssen ein Modell nicht mit Vertex AI trainieren, um es mit der Einbindung von Spanner Vertex AI verwenden zu können. Sie müssen es jedoch auf einem Vertex AI-Endpunkt bereitstellen.

So trainieren Sie Modelle mit Daten, die in Spanner gespeichert sind:

Durch die Einbindung von Spanner Vertex AI werden die folgenden Funktionen für die Verwendung von ML-Modellen erweitert:

  • Generieren Sie ML-Vorhersagen, indem Sie ein Modell mit SQL für Ihre Spanner-Daten aufrufen. Sie können ein Modell aus Vertex AI Model Garden oder ein Modell verwenden, das auf Ihrem Vertex AI-Endpunkt bereitgestellt wird.

  • Generieren Sie Texteinbettungen, damit ein LLM Textprompts in Zahlen umwandeln kann. Weitere Informationen zu Einbettungen finden Sie unter Texteinbettungen erhalten.

Spanner Vertex AI-Einbindungsfunktionen verwenden

Ein Modell in der Spanner Vertex AI-Einbindung kann verwendet werden, um mithilfe der ML-Vorhersagefunktionen Vorhersagen oder Texteinbettungen in Ihrem SQL-Code zu generieren. Diese Funktionen sind:

GoogleSQL

Sie können die folgende ML-Vorhersagefunktion für GoogleSQL verwenden:

ML.PREDICT

Sie müssen Ihr Modell mit der DDL-Anweisung CREATE MODEL registrieren, bevor Sie es mit der Funktion ML.PREDICT verwenden können.

Sie können auch SAFE.ML.PREDICT verwenden, um null anstelle eines Fehlers in Ihren Vorhersagen zurückzugeben. Dies ist in Fällen hilfreich, wenn große Abfragen ausgeführt werden und einige fehlgeschlagene Vorhersagen tolerierbar sind.

PostgreSQL

Sie können die folgende ML-Vorhersagefunktion für PostgreSQL verwenden:

spanner.ML_PREDICT_ROW

Sie können ein Modell aus Vertex AI Model Garden auswählen oder ein Modell verwenden, das Sie in Vertex AI bereitgestellt haben, um die Funktionen zu verwenden.

Weitere Informationen zum Bereitstellen eines Modells auf einem Endpunkt in Vertex AI finden Sie unter Modell auf einem Endpunkt bereitstellen.

Weitere Informationen zur Verwendung dieser Funktionen zum Generieren einer ML-Vorhersage finden Sie unter ML-Vorhersagen mit SQL generieren.

Weitere Informationen zum Generieren von Texteinbettungen mit diesen Funktionen findest du unter Texteinbettungen abrufen.

Preise

Wenn Sie Spanner mit der Einbindung von Spanner Vertex AI verwenden, fallen keine zusätzlichen Gebühren an. Allerdings kann mit dieser Funktion noch weitere Kosten anfallen:

  • Sie bezahlen die Standardpreise für Vertex AI-Onlinevorhersagen. Die Gesamtkosten hängen vom verwendeten Modelltyp ab. Einige Modelltypen haben einen Pauschalpreis pro Stunde, abhängig vom Maschinentyp und der Anzahl der verwendeten Knoten. Einige Modelltypen haben Tarife pro Anruf. Wir empfehlen, Letzteres in einem dedizierten Projekt bereitzustellen, in dem Sie explizite Vorhersagekontingente festgelegt haben.

  • Sie bezahlen die Standardtarife für die Datenübertragung zwischen Spanner und Vertex AI. Die Gesamtkosten hängen von der Region ab, in der der Server, der die Abfrage ausführt, und der Region, in der der aufgerufene Endpunkt gehostet wird, gehostet wird. Stellen Sie Ihre Vertex AI-Endpunkte in derselben Region wie Ihre Spanner-Instanz bereit, um die Kosten zu minimieren. Wenn Sie multiregionale Instanzkonfigurationen oder mehrere Vertex AI-Endpunkte verwenden, stellen Sie Ihre Endpunkte auf demselben Kontinent bereit.

SLA

Da die Verfügbarkeit von Vertex AI-Vorhersagen geringer ist, müssen Sie Spanner ML-Modelle ordnungsgemäß konfigurieren, um die Hochverfügbarkeit von Spanner bei der Verwendung der Spanner Vertex AI-Einbindung aufrechtzuerhalten:

  1. Spanner ML-Modelle müssen mehrere Vertex AI-Endpunkte im Back-End verwenden, um Failover zu aktivieren.
  2. Vertex AI-Endpunkte müssen dem Vertex AI-SLA entsprechen.
  3. Vertex AI-Endpunkte müssen genügend Kapazität bereitstellen, um eingehenden Traffic zu verarbeiten.
  4. Vertex AI-Endpunkte müssen separate Regionen in der Nähe der Spanner-Datenbank verwenden, um regionale Ausfälle zu vermeiden.
  5. Vertex AI-Endpunkte sollten separate Projekte verwenden, um Probleme mit Vorhersagekontingenten pro Projekt zu vermeiden.

Die Anzahl der redundanten Vertex AI-Endpunkte hängt von ihrem SLA und der Anzahl der Zeilen in Spanner-Abfragen ab:

Spanner-SLA Vertex AI-SLA 1 Zeile 10 Zeilen 100 Zeilen 1.000 Zeilen
99,99 % 99,9 % 2 2 2 3
99,99 % 99,5 % 2 3 3 4
99,999 % 99,9 % 2 2 3 3
99,999 % 99,5 % 3 3 4 4

Vertex AI-Endpunkte müssen nicht genau dasselbe Modell hosten. Wir empfehlen, das Spanner-ML-Modell so zu konfigurieren, dass es als ersten Endpunkt ein primäres, komplexes und rechenintensives Modell verwendet. Nachfolgende Failover-Endpunkte können auf vereinfachte Modelle verweisen, die weniger rechenintensiv sind, besser skalieren und Trafficspitzen absorbieren können.

Compliance

Assured Workloads unterstützen die Vertex AI Prediction API nicht. Wenn Sie eine Einschränkung für die Ressourcennutzung aktivieren, werden die Vertex AI API und das Einbindungsfeature von Spanner Vertex AI deaktiviert.

Außerdem empfehlen wir, einen VPC Service Controls-Perimeter zu erstellen, damit Ihre Produktionsdatenbanken in Ihren Nicht-Produktionsprojekten keine Verbindung zu Vertex AI-Endpunkten herstellen können, die möglicherweise nicht die richtige Compliancekonfiguration haben.