Informationen zu Vertex AI Feature Store

Vertex AI Feature Store ist ein verwalteter, cloudnativer Feature Store-Dienst, der ein wesentlicher Bestandteil von Vertex AI ist. Er optimiert die ML-Featureverwaltung und die Onlinebereitstellungsprozesse, da Sie die Featuredaten in einer BigQuery-Tabelle oder -Ansicht verwalten können. Anschließend können Sie Features direkt aus der BigQuery-Datenquelle online bereitstellen.

Der Vertex AI Feature Store stellt Ressourcen bereit, mit denen Sie Onlinebereitstellungen einrichten können, indem Sie Ihre die Datenquellen Ihrer Features angeben. Er fungiert dann als Metadatenebene, bildet die Schnittstelle zu den BigQuery-Datenquellen und stellt die neuesten Featurewerte direkt aus BigQuery für Online-Vorhersagen mit niedrigen Latenzen bereit.

In Vertex AI Feature Store bilden die BigQuery-Tabellen oder -Ansichten, die die Feature-Daten enthalten, gemeinsam den Offlinespeicher. Sie können Featurewerte, einschließlich historischer Feature-Daten, im Offlinespeicher verwalten. Da alle Feature-Daten in BigQuery verwaltet werden, muss Vertex AI Feature Store keinen separaten Offlinespeicher innerhalb von Vertex AI bereitstellen. Wenn Sie die Daten im Offlinespeicher zum Trainieren von ML-Modellen verwenden möchten, können Sie die APIs und Funktionen in BigQuery zum Exportieren oder Abrufen der Daten verwenden.

Der nötige Workflow, um die Onlinebereitstellung mit Vertex AI Feature Store einzurichten und zu beginnen, kann so zusammengefasst werden:

  1. Datenquelle in BigQuery vorbereiten

  2. Optional: Datenquellen registrieren, indem Sie Featuregruppen und Features erstellen

  3. Ressourcen für Onlinespeicher und Feature-Ansicht einrichten, um die Feature-Datenquellen mit Onlinebereitstellungsclustern zu verbinden

  4. Neueste Featurewerte online über eine Feature-Ansicht bereitstellen

Datenmodell und Ressourcen für Vertex AI Feature Store

In diesem Abschnitt werden die Datenmodelle und Ressourcen erläutert, die mit den folgenden Aspekten von Vertex AI Feature Store zusammenhängen:

Datenquellen in BigQuery vorbereiten

Während der Onlinebereitstellung verwendet Vertex AI Feature Store Featuredaten aus BigQuery-Datenquellen. Bevor Sie Feature Registry oder Onlinebereitstellungsressourcen einrichten, müssen Sie Ihre Featuredaten in einer oder mehreren BigQuery-Tabellen oder -Ansichten speichern.

In einer BigQuery-Tabelle oder -Ansicht steht jede Spalte für ein Feature. Jede Zeile enthält Featurewerte, die einer eindeutigen ID entsprechen. Weitere Informationen zur Vorbereitung von Feature-Daten in BigQuery finden Sie unter Datenquelle vorbereiten.

In Abbildung 1 enthält die BigQuery-Tabelle beispielsweise folgende Spalten:

  • f1 und f2: Featurespalten.

  • entity_id: Eine ID-Spalte mit den eindeutigen IDs zur Identifizierung der einzelnen Feature-Datensätze.

  • feature_timestamp: Eine Zeitstempelspalte.

Eine Feature-Ansicht, in der die Funktionen f1 und f2 im Zeitreihenformat enthalten sind.
Abbildung 1. Beispiel für eine BigQuery-Datenquelle.

Da Sie die Datenquelle in BigQuery und nicht in Vertex AI vorbereiten, müssen Sie in dieser Phase keine Vertex AI-Ressourcen erstellen.

Feature Registry einrichten

Nachdem Sie Ihre Datenquellen in BigQuery vorbereitet haben, können Sie diese Datenquellen, einschließlich bestimmter Featurespalten, in Feature Registry registrieren.

Die Registrierung Ihrer Features ist optional. Sie können Features auch online bereitstellen, wenn Sie Ihre BigQuery-Datenquellen nicht dem Feature Registry hinzufügen. Allerdings ist das Registrieren Ihrer Features in folgenden Szenarien vorteilhaft:

  • Ihre Daten können mehrere Instanzen derselben Entitäts-ID enthalten und Sie müssen Ihre Daten im Zeitreihenformat mit einer Zeitstempelspalte vorbereiten. Wenn Sie Ihre Features registrieren, sucht Vertex AI Feature Store den Zeitstempel und stellt nur die neuesten Featurewerte bereit.

  • Sie möchten bestimmte Featurespalten aus einer Datenquelle registrieren.

  • Sie möchten bestimmte Spalten aus mehreren Datenquellen aggregieren, um eine Instanz der Featureansicht zu definieren.

Feature Registry-Ressourcen

Zum Registrieren Ihrer Feature-Daten in Feature Registry müssen Sie die folgenden Vertex AI Feature Store-Ressourcen erstellen:

  • Featuregruppe (FeatureGroup): Eine FeatureGroup-Ressource ist einer bestimmten BigQuery-Quelltabelle oder -Ansicht zugeordnet. Sie stellt eine logische Gruppierung von Featurespalten dar, die durch Feature-Ressourcen dargestellt werden. Informationen zum Erstellen einer Featuregruppe finden Sie unter Featuregruppe erstellen.

  • Funktion (Feature): Feature-Ressource steht für eine bestimmte Spalte mit Featurewerten aus der Feature-Datenquelle, die mit der übergeordneten FeatureGroup-Ressource verknüpft ist. Weitere Informationen zum Erstellen von Features innerhalb einer Featuregruppe finden Sie unter Feature erstellen.

Abbildung 2 zeigt beispielsweise eine Featuregruppe mit den Featurespalten f1 und f2, die aus einer BigQuery-Tabelle stammen, die mit der Featuregruppe verknüpft ist. Die BigQuery-Datenquelle enthält vier Featurespalten. Dabei werden zwei Spalten zusammengefasst und bilden die Featuregruppe.

Eine Featuregruppe mit den Features f1 und f2 im Zeitreihenformat.
Abbildung 2. Beispiel für eine FeatureGroup mit zwei Feature-Spalten aus einer BigQuery-Datenquelle.

Onlinebereitstellung einrichten

Um Features für Onlinevorhersagen bereitzustellen, müssen Sie mindestens einen Onlinebereitstellungscluster definieren und konfigurieren und ihn mit Ihrer Feature-Datenquelle oder Feature Registry-Ressourcen verknüpfen. In Vertex AI Feature Store wird der Onlinebereitstellungscluster als Onlinespeicherinstanz bezeichnet. Eine Onlinespeicherinstanz kann mehrere Instanzen von Featureansichten enthalten, wobei jede Featureansicht einer Featuredatenquelle zugeordnet ist.

Ressourcen zur Onlinebereitstellung

Um die Onlinebereitstellung einzurichten, müssen Sie die folgenden Vertex AI Feature Store-Ressourcen erstellen:

  • Onlinespeicher (FeatureOnlineStore): Eine FeatureOnlineStore-Ressource stellt eine Online-Bereitstellungsclusterinstanz dar und enthält Die Onlinebereitstellungskonfiguration, z. B. die Anzahl der Onlinebereitstellungsknoten. Eine Onlinespeicherinstanz gibt nicht die Quelle der Featuredaten an, aber sie enthält FeatureView-Ressourcen, die die Feature-Datenquellen entweder in BigQuery oder Feature Registry angeben. Weitere Informationen zur Erstellung von Onlinespeicherinstanzen finden Sie unter Onlinespeicherinstanz erstellen.

  • Feature-Ansicht (FeatureView): Eine FeatureView-Ressource ist eine logische Sammlung von Features in einer Onlinespeicherinstanz. Beim Erstellen einer Feature-Ansicht haben Sie folgende Möglichkeiten, um den Speicherort der Feature-Datenquelle anzugeben:

    • Verknüpfen Sie eine oder mehrere Featuregruppen und Features aus der Feature Registry. Eine Featuregruppe gibt den Speicherort der BigQuery-Datenquelle an. Ein Feature innerhalb der Featuregruppe verweist auf eine bestimmte Featurespalte innerhalb dieser Datenquelle.

    • Alternativ können Sie eine BigQuery-Quelltabelle oder ‐Ansicht verknüpfen.

    Informationen zum Erstellen von Featureansicht-Instanzen in einem Onlinespeicher finden Sie unter Featureansicht erstellen.

Abbildung 3 zeigt beispielsweise eine Feature-Ansicht mit den Featurespalten f2 und f4, die aus zwei separaten Featuregruppen stammen, die mit einer BigQuery-Tabelle verknüpft sind.

Eine Featureansicht, die die Features "f2" und "f4" aus zwei Featuregruppen enthält.
Abbildung 3. Beispiel für ein FeatureView-Objekt mit Features aus zwei separaten Featuregruppen.

Onlinebereitstellung

Vertex AI Feature Store bietet folgende Arten von Onlinebereitstellungen für Onlinevorhersagen in Echtzeit:

  • Die Bigtable-Onlinebereitstellung eignet sich für große Datenmengen (Terabyte an Daten). Sie ähnelt der Onlinebereitstellung in Vertex AI Feature Store (Legacy) und bietet verbessertes Caching, um Heißlaufen zu vermeiden. Die Bigtable-Onlinebereitstellung unterstützt keine Einbettungen.

  • Die optimierte Onlinebereitstellung ermöglicht Ihnen eine Onlinebereitstellung von Features mit extrem niedrigen Latenzen. Obwohl die Latenzen bei der Onlinebereitstellung von der Arbeitslast abhängig sind, kann die optimierte Onlinebereitstellung für niedrigere Latenzen sorgen als die Bigtable-Onlinebereitstellung und wird für die meisten Szenarien empfohlen. Die optimierte Onlinebereitstellung unterstützt auch die Verwaltung von Einbettungen. Wenn Sie große Datenmengen, die häufig aktualisiert werden, aber keine Einbettungen bereitstellen müssen, verwenden Sie die Bigtable-Onlinebereitstellung.

    Um die optimierte Onlinebereitstellung zu verwenden, müssen Sie einen öffentlichen oder einen dedizierten Private Service Connect-Endpunkt konfigurieren.

Informationen zum Einrichten der Onlinebereitstellung in Vertex AI Feature Store nach dem Einrichten von Features finden Sie unter Typen der Onlinebereitstellung.

Offlinebereitstellung für Batchvorhersagen oder Modelltraining

Weil Sie Featuredaten nicht aus BigQuery in einen separaten Offlinespeicher in Vertex AI kopieren oder importieren müssen, können Sie die Datenverwaltung und Exportfunktionen von BigQuery für Folgendes nutzen:

Weitere Informationen zum maschinellen Lernen mit BigQuery finden Sie unter Einführung in BigQuery ML.

Nutzungsbedingungen für Vertex AI Feature Store

Feature Engineering
  • Feature Engineering ist der Prozess der Umwandlung von Rohdaten des maschinellen Lernens (ML) in Features, die zum Trainieren von ML-Modellen oder für Vorhersagen verwendet werden können.

Feature
  • Beim maschinellen Lernen (ML) ist ein Feature ein Merkmal oder Attribut einer Instanz oder Entität, das als Eingabe zum Trainieren eines ML-Modells oder für Vorhersagen verwendet wird.

Featurewert
  • Ein Featurewert entspricht dem tatsächlichen und messbaren Wert eines Features (Attributs) einer Instanz oder Entität. Eine Sammlung von Featurewerten für die eindeutige Entität stellt den Feature-Datensatz dar, der der Entität entspricht.

Feature-Zeitstempel
  • Ein Feature-Zeitstempel gibt an, wann die Gruppe von Featurewerten in einem bestimmten Feature-Datensatz für eine Entität generiert wurde.

Feature-Datensatz
  • Ein Feature-Datensatz ist eine Aggregation aller Featurewerte, die die Attribute einer eindeutigen Entität zu einem bestimmten Zeitpunkt beschreiben.

Begriffe im Zusammenhang mit Feature Registry

Feature Registry
  • Ein Feature Registry ist eine zentrale Schnittstelle zum Erfassen von Feature-Datenquellen, die Sie für Onlinevorhersagen bereitstellen möchten.

Featuregruppe
  • Eine Featuregruppe ist eine Ressource der Feature-Registry, die einer BigQuery-Quelltabelle oder ‑ansicht mit Featuredaten entspricht. Eine Feature-Ansicht kann Features enthalten und als logische Gruppierung von Featurespalten in der Datenquelle betrachtet werden.

Bereitstellung von Features
  • Das Bereitstellen von Features ist der Export oder Abruf von Featurewerten für Training oder Inferenz. In Vertex AI gibt es zwei Arten der Bereitstellung von Features: Onlinebereitstellung und Offlinebereitstellung. Die Onlinebereitstellung ruft die neuesten Featurewerte einer Teilmenge der Feature-Datenquelle für Onlinevorhersagen ab. Bei der Offline- oder Batchbereitstellung werden viele Featuredaten für die Offlineverarbeitung exportiert, z. B. für das ML-Modelltraining.

Offlinespeicher
  • Der Offlinespeicher ist eine Speichereinrichtung, in der aktuelle Featuredaten und Feature-Verlaufsdaten gespeichert werden, die normalerweise zum Trainieren von ML-Modellen verwendet werden. Ein Offlinespeicher enthält auch die neuesten Featurewerte, die Sie für Onlinevorhersagen bereitstellen können.

Onlinespeicher
  • Bei der Featureverwaltung ist ein Onlinespeicher eine Speichereinrichtung für die neuesten Featurewerte, die für Onlinevorhersagen bereitgestellt werden.

Featureansicht
  • Eine Featureansicht ist eine logische Sammlung von Features, die aus einer BigQuery-Datenquelle in eine Onlinespeicherinstanz materialisiert werden. In einer Featureansicht werden die Featuredaten des Kunden gespeichert und regelmäßig aktualisiert. Diese werden regelmäßig aus der BigQuery-Quelle aktualisiert. Eine Featureansicht ist dem Featuredatenspeicher entweder direkt oder über Verknüpfungen zu Feature Registry-Ressourcen zugeordnet.

Standorteinschränkungen

Alle Vertex AI Feature Store-Ressourcen müssen sich in derselben Region oder am selben multiregionalen Standort wie Ihre BigQuery-Datenquelle befinden. Befindet sich die Datenquelle für das Element beispielsweise in us-central1, dürfen Sie Ihre FeatureOnlineStore-Instanz nur in us-central1 oder am multiregionalen Standort US erstellen.

Feature-Metadaten

Vertex AI Feature Store ist in Dataplex eingebunden, um Funktionen zur Feature-Governance, einschließlich Feature-Metadaten, bereitzustellen. Onlinespeicherinstanzen, Featureansichten und Featuregruppen werden automatisch als Datenassets in Data Catalog registriert, einer Dataplex-Funktion, die Metadaten aus diesen Ressourcen katalogisiert. Sie können dann die Metadatensuche in Dataplex nutzen, um Metadaten für diese Ressourcen zu suchen, anzusehen und zu verwalten. Weitere Informationen zum Suchen nach Vertex AI Feature Store-Ressourcen in Dataplex, finden Sie unter Ressourcen-Metadaten in Data Catalog suchen.

Feature-Labels

Sie können Ressourcen während oder nach der Ressourcenerstellung Labels hinzufügen. Weitere Informationen zum Hinzufügen von Labels zu vorhandenen Vertex AI Feature Store-Ressourcen, finden Sie unter Labels aktualisieren.

Metadaten der Ressourcenversion

Vertex AI Feature Store unterstützt nur die Version 0 für Features.

Verwaltung von Einbettungen und Abruf von Vektoren

Die optimierte Onlinebereitstellung in Vertex AI Feature Store unterstützt die Verwaltung von Einbettungen. Sie können Einbettungen in BigQuery als reguläre double-Arrays speichern. Mit den Funktionen zum Verwalten von Einbettungen von Vertex AI Feature Store können Sie nach Vektorähnlichkeiten suchen, um Entitäten abzurufen, die ungefähre nächste Nachbarn für eine bestimmte Entität oder einen Einbettungswert sind.

Wenn Sie die Verwaltung von Einbettungen im Vertex AI Feature Store verwenden möchten, müssen Sie Folgendes tun:

Informationen zum Ausführen einer Vektorähnlichkeitssuche in Vertex AI Feature Store finden Sie unter Vektorsuche nach Entitäten durchführen.

Datenaufbewahrung

Vertex AI Feature Store behält die neuesten Featurewerte für eine eindeutige ID basierend auf dem Zeitstempel, der den Featurewerten in der Datenquelle zugeordnet ist. Im Onlinespeicher gibt es kein Limit für die Datenaufbewahrung.

Da der Offlinespeicher von BigQuery bereitgestellt wird, gelten möglicherweise Aufbewahrungslimits oder -Kontingente von BigQuery für die Featuredatenquelle, einschließlich historischer Featurewerte. Weitere Informationen zu Kontingenten und Limits in BigQuery

Kontingente und Limits

In Vertex AI Feature Store werden Kontingente und Limits durchgesetzt, um Sie bei der Verwaltung der Ressourcen zu unterstützen, indem Sie Nutzungslimits festlegen, und um die Community der Google Cloud-Nutzer zu schützen, indem unvorhergesehene Nutzungsspitzen verhindert werden. Um effizient Vertex AI Feature Store-Ressourcen zu verwenden, ohne an diese Grenzen zu stoßen, prüfen Sie die Kontingente und Limits für Vertex AI Feature Store.

Preise

Informationen zu den Preisen für die Ressourcennutzung für Vertex AI Feature Store finden Sie unter Preise für Vertex AI Feature Store.

Notebook-Anleitungen

Online-Bereitstellung von Features und Abruf von BigQuery-Daten mit Vertex AI Feature Store

Online-Bereitstellung von Features und Abruf von BigQuery-Daten mit Vertex AI Feature Store

In diesem Notebook erfahren Sie, wie Sie Vertex AI Feature Store für die Onlinebereitstellung und das Abrufen von Featurewerten in BigQuery verwenden.

In Colab ausführen | Auf GitHub ansehen

Online-Bereitstellung von Features und Abruf von BigQuery-Daten mit Vertex AI Feature Store

Online-Bereitstellung von Features und Abruf von BigQuery-Daten mit Vertex AI Feature Store

In diesem Notebook erfahren Sie, wie Sie Vertex AI Feature Store für die Onlinebereitstellung und den Vektorabruf von Featurewerten in BigQuery verwenden.

In Colab ausführen | Auf GitHub ansehen

Online-Featurebereitstellung und -Abruf von BigQuery-Daten mit optimierter Vertex AI Feature Store-Bereitstellung

Online-Featurebereitstellung und -Abruf von BigQuery-Daten mit optimierter Vertex AI Feature Store-Bereitstellung

In diesem Notebook erfahren Sie, wie Sie die optimierte Onlinebereitstellung in Vertex AI Feature Store zum Bereitstellen und Abrufen von Featurewerten Werte aus BigQuery verwenden.

In Colab ausführen | Auf GitHub ansehen

Nächste Schritte