Einführung in die Featureverwaltung in Vertex AI

Beim maschinellen Lernen (ML) sind Merkmale charakteristische Attribute einer Instanz oder Entität, die Sie zum Trainieren von Modellen oder für Onlinevorhersagen verwenden können. Merkmale werden durch die Umwandlung von ML-Rohdaten mithilfe von Feature-Engineering-Techniken in messbare und gemeinsam nutzbare Attribute generiert, die allgemein als Featuretransformationen bezeichnet werden.

Die Featureverwaltung bezieht sich auf das Erstellen, Warten, Freigeben und Bereitstellen von ML-Features, die an einem zentralen Speicherort oder Repository gespeichert sind. Die Featureverwaltung erleichtert das Wiederverwenden von Features zum Trainieren und Neutrainieren von Modellen und reduziert den Lebenszyklus von KI- und ML-Bereitstellungen.

Ein Produkt oder Dienst, der Feature-Management-Dienste zum Speichern, Ermitteln, Freigeben und Bereitstellen von ML-Features enthält, wird als Feature Store bezeichnet. Vertex AI umfasst die folgenden Feature Store-Dienste:

Auf dieser Seite werden die beiden Feature-Management-Dienste vorgestellt und verglichen. Sie erhalten auch einen Überblick über ihre Funktionen. Außerdem wird beschrieben, wie Sie einen vorhandenen Feature Store in Vertex AI Feature Store (Legacy) zum neuen Vertex AI Feature Store migrieren.

Vertex AI Feature Store

Vertex AI Feature Store bietet einen neuen Ansatz für die Featureverwaltung, da Sie die Featuredaten über eine BigQuery-Datenquelle verwalten und bereitstellen können. Bei diesem Ansatz fungiert Vertex AI Feature Store als Metadatenschicht, die Onlinebereitstellungsfunktionen für Ihre Featuredatenquelle in BigQuery bereitstellt und Ihnen Features basierend auf diesen Daten online bereitstellt. Sie müssen die Daten nicht in einen separaten Offlinespeicher in Vertex AI kopieren oder importieren.

Vertex AI Feature Store ist in Dataplex eingebunden, um Featuremetadaten zu verfolgen. Es unterstützt auch Einbettungen und ermöglicht Ihnen, Vektorähnlichkeitssuchen für die nächsten Nachbarn durchzuführen.

Vertex AI Feature Store ist für die Bereitstellung mit extrem niedriger Latenz optimiert und ermöglicht Ihnen Folgendes:

  • Sie können Ihre Offline-Featuredaten in BigQuery speichern und verwalten und dabei die Datenverwaltungsfunktionen von BigQuery nutzen.

  • Funktionen freigeben und wiederverwenden, indem sie der Feature-Registry hinzugefügt werden.

  • Bereitstellen von Features für Onlinevorhersagen mit niedrigen Latenzen über die Bigtable-Onlinebereitstellung oder mit sehr niedrigen Latenzen über die optimierte Onlinebereitstellung.

  • Einbettungen in Featuredaten speichern und Vektorähnlichkeitssuchen ausführen.

  • Feature-Metadaten in Dataplex verfolgen.

Weitere Informationen zu Vertex AI Feature Store finden Sie in der Dokumentation zu Vertex AI Feature Store.

Vertex AI Feature Store (Legacy)

Vertex AI Feature Store (Legacy) bietet ein zentrales Repository zum Speichern, Organisieren und Bereitstellen von ML-Featuredaten. Dadurch wird eine Ressourcenhierarchie bereitgestellt, die sowohl einen Onlinespeicher als auch einen Offlinespeicher in Vertex AI umfasst. Der Onlinespeicher stellt die neuesten Featurewerte für Onlinevorhersagen bereit. Der Offlinespeicher speichert und verwaltet Featuredaten (einschließlich Verlaufsdaten), die Sie zum Trainieren von ML-Modellen im Batch bereitstellen können.

Vertex AI Feature Store (Legacy) ist ein voll funktionsfähiger Feature-Management-Dienst, mit dem Sie Folgendes tun können:

  • Batch- oder Stream-Import von Featuredaten in den Offlinespeicher aus einer Datenquelle wie einem Cloud Storage-Bucket oder einer BigQuery-Quelle.

  • Features online für Vorhersagen bereitstellen

  • Features für das Training oder die Analyse von ML-Modellen im Batch bereitstellen oder exportieren.

  • IAM-Richtlinien (Identitäts- und Zugriffsverwaltung) für EntityType- und Featurestore-Ressourcen festlegen.

  • Ressourcenspeicher über die Google Cloud Console verwalten

Vertex AI Feature Store (Legacy) enthält keine Funktionen zur Einbettungsverwaltung und zum Vektorabruf. Wenn Sie Einbettungen in Ihren Featuredaten verwalten oder nach Vektorähnlichkeiten suchen müssen, sollten Sie zu Vertex AI Feature Store wechseln. Informationen zur Migration zu Vertex AI Feature Store finden Sie unter Zu Vertex AI Feature Store migrieren.

Weitere Informationen zu Vertex AI Feature Store (Legacy) finden Sie in der Dokumentation zu Vertex AI Feature Store (Legacy).

Vergleich zwischen Vertex AI Feature Store und Vertex AI Feature Store (Legacy)

In der folgenden Tabelle werden die verschiedenen Aspekte von Vertex AI Feature Store (Legacy) und dem neuen Vertex AI Feature Store verglichen:

Kategorie Vertex AI Feature Store Vertex AI Feature Store (Legacy)
Datenmodelle
Ressourcenhierarchie (Online- und Offlinespeicher) Die Ressourcenhierarchie im Onlinespeicher sieht so aus: FeatureOnlineStore -> FeatureView
  • FeatureOnlineStore enthält nur die Konfigurationsparameter für das Speichern und Abrufen im Onlinespeicher. Sie kann mehrere FeatureView-Ressourcen enthalten.
  • FeatureView ist eine logische Gruppierung von Features in einer Onlinebereitstellungsanfrage. Es ist eine einzelne Ressource, die Entitätstypen und Features ersetzt. Die Daten in einer Featureansicht spiegeln die neuesten Featurewerte im BigQuery-Speicher wider.
Es gibt keine Offlinespeicherressourcen, da sich die Daten in BigQuery befinden. 		Die Ressourcenhierarchie sieht so aus: Featurestore -> EntityType -> Feature
  • Featurestore enthält die Konfigurationsparameter sowohl für Online- als auch für Offlinespeicher. Sie kann mehrere EntityType-Ressourcen enthalten.
  • EntityType ist eine Sammlung semantisch verwandter Features. Sie kann mehrere Instanzen namens Entitäten enthalten, die mehrere Feature-Ressourcen enthalten können.
  • Feature ist ein Attribut oder Attribut eines EntityType.
Ressourcenhierarchie (Feature Registry) Die Ressourcenhierarchie in der Feature-Registry lautet: FeatureGroup -> Feature
  • FeatureGroup registriert den Ort der BigQuery-Datenquelle. Sie kann mehrere Feature-Ressourcen enthalten.
  • Feature entspricht einer Spalte in der Datenquelle, die bei der Featuregruppe registriert ist.
 Eine Feature-Registry ist in Vertex AI Feature Store (Legacy) nicht vorhanden.
Featureverwaltung
Online- und Offlinespeicher Sie müssen eine Onlinespeicher-Instanz erstellen und Featureansichten definieren.
Für Vertex AI Feature Store ist kein separater Offlinespeicher erforderlich, da die BigQuery-Datenquelle den Offlinespeicher darstellt. 		Wenn Sie einen Feature Store bereitstellen, erstellt Vertex AI Feature Store (Legacy) separate Online- und Offlinespeicher.
Feature import Sie müssen keine Daten in Offlinespeicher importieren, da sich die Daten in BigQuery befinden, und Sie können sie direkt für Offlineanforderungen verwenden. Für Anwendungsfälle für die Onlinebereitstellung können Sie eine BigQuery-Tabelle registrieren oder als Featureansicht aufrufen, in der Featuredaten in den Onlinespeicher kopiert werden. Vertex AI Feature Store aktualisiert die Daten im Onlinespeicher während der Datensynchronisierung. Sie müssen Featuredaten in Offline- und Onlinespeicher importieren, indem Sie den Batch- oder Streamingimport aus einer externen Quelle verwenden, z. B. einer BigQuery-Tabelle oder einer BigQuery-Ansicht.
Datenverschiebung zwischen Online- und Offlinespeichern Vertex AI Feature Store verwendet BigQuery als Offlinespeicher und kopiert nur die neuesten Featurewerte in den Onlinespeicher. In Vertex AI wird kein separater Offlinespeicher bereitgestellt. Featurewerte werden in den Offlinespeicher und anschließend in den Onlinespeicher kopiert.
Bereitstellung von Features
Offlinebereitstellung Für die Interaktion mit dem Offlinespeicher müssen Sie BigQuery APIs verwenden. Die zugrunde liegenden Funktionen sind identisch. Für die Interaktion mit dem Offlinespeicher, der von Vertex AI Feature Store (Legacy) verwaltet wird, müssen Sie Vertex AI APIs verwenden. Beispiele für diese Interaktionen sind Lookups zu einem bestimmten Zeitpunkt und Exportfunktionen.
Onlinebereitstellung

Vertex AI Feature Store bietet zwei Arten der Onlinebereitstellung:

  • Die Bigtable-Onlinebereitstellung ähnelt der Onlinebereitstellung im Vertex AI Feature Store (Legacy), bietet jedoch ein verbessertes Caching, um das Heißlaufen zu verhindern. Es ist nützlich für große Datenmengen (Terabytes an Daten).
  • Die optimierte Onlinebereitstellung eignet sich für Anforderungen mit extrem niedriger Latenz.

Jede Online-Leseanfrage ruft alle voreingestellten Features in einer Feature-Ansicht ohne zusätzliche Verarbeitung ab, was zu niedrigeren Latenzen führt.

 Vertex AI Feature Store (Legacy) bietet nur einen Typ der Onlinebereitstellung. Sie können die Entitäten und Funktionen angeben, um die Featuredaten abzurufen.
Schnittstellen und APIs
Features der Google Cloud Console Mit der Google Cloud Console können Sie Ressourcen wie Onlinespeicherinstanzen, Featureansicht-Instanzen, Featuregruppen und Features erstellen und verwalten. Sie können auch die Liste der Onlinespeicher und Informationen zur Feature-Lineage aufrufen. Verwenden Sie die Google Cloud Console, um die meisten Aufgaben der Featureverwaltung auszuführen, einschließlich Monitoring der Ressourcenerstellung.
APIs zur Ressourcenerstellung Enthält APIs zum Erstellen von FeatureOnlineStore-, FeatureView-, FeatureGroup- und Feature-Ressourcen. Mit diesen Ressourcen können Sie Ihre Feature-Registry und den Onlinespeicher einrichten. Für den Offlinespeicher wird BigQuery verwendet. Enthält APIs zum Erstellen von Featurestore-, EntityType- und Feature-Ressourcen, die im Online- und Offlinespeicher verwendet werden.
APIs für Batch-Import (Offlinespeicher) Es erfordert keine APIs für den Batch-Import in den Offlinespeicher, da kein separater Batchimportschritt in den Offlinespeicher erforderlich ist. Verwendet Vertex AI APIs für den Batch-Import in den Offlinespeicher.
APIs für Batch-Import (Onlinespeicher) Kopiert Daten regelmäßig während der Datensynchronisierung aus BigQuery in den Onlinespeicher. Verwendet Vertex AI APIs für den Batch-Import in den Onlinespeicher.
Streaming-Import-APIs (Offlinespeicher) Es erfordert keine APIs für den Streaming-Import in den Offlinespeicher, da kein separater Streaming-Importschritt in den Offlinespeicher erforderlich ist. Verwendet Vertex AI für den Streaming-Import in den Offlinespeicher.
APIs für Streaming-Importe (Onlinspeicher) Der Streaming-Import wird nicht unterstützt. Verwendet Vertex AI APIs für den Streaming-Import in den Onlinespeicher.
Batchbereitstellungs-APIs Verwendet BigQuery APIs, um Daten direkt aus den BigQuery-Datenquellen zu verarbeiten, die in den Featureansichten definiert sind. Verwendet Vertex AI APIs für die Batchbereitstellung von Feature-Daten.
APIs für die Onlinebereitstellung verwendet den FetchFeatureValues(FetchFeatureValuesRequest) API. Verwendet die ReadFeatureValues(ReadFeatureValuesRequest) API für die Onlinebereitstellung.

Zu Vertex AI Feature Store migrieren

Ressourcen und Featuredaten von Vertex AI Feature Store sind nicht in Vertex AI Feature Store verfügbar. Wenn Sie bereits Nutzer von Vertex AI Feature Store (Legacy) sind und Ihr Projekt zu Vertex AI Feature Store migrieren möchten, führen Sie die folgenden Schritte aus: Da sich die Ressourcenhierarchie in Vertex AI Feature Store von der Ressourcenhierarchie in Vertex AI Feature Store (Legacy) unterscheidet, müssen Sie die Ressourcen nach der Migration des Features manuell erstellen. Daten.

  1. Wenn die Featuredaten noch nicht in BigQuery verfügbar sind, exportieren Sie die Featuredaten nach BigQuery und erstellen Sie BigQuery-Tabellen und -Ansichten. Beachten Sie beim Exportieren und Vorbereiten der Daten die Richtlinien zur Datenvorbereitung. Beispiel:

    • Jedes Merkmal entspricht einer Spalte. Entitäts-IDs können eine separate Spalte sein, die Sie als ID-Spalte identifizieren können.

    • Vertex AI Feature Store hat nicht die Ressourcen EntityType und Entity. Geben Sie die Featurewerte für jede Entität in der Zeile an, die der Entitäts-ID entspricht.

  2. Optional: Registrieren Sie die Featuredatenquelle, indem Sie Featuregruppen und Features hinzufügen. Weitere Informationen finden Sie unter Featuregruppe erstellen und Feature erstellen.

  3. Richten Sie die Onlinebereitstellung ein. Erstellen Sie dazu Onlinespeicher- und Featureansicht-Instanzen basierend auf den Featuredaten.

Nächste Schritte