Informationen zu Vertex AI Feature Store

Vertex AI Feature Store ist ein verwalteter, cloudnativer Feature Store-Dienst, der wesentlich für Vertex AI ist. Er optimiert die ML-Featureverwaltung und die Onlinebereitstellungsprozesse, da Sie die Featuredaten in einer BigQuery-Tabelle oder -Ansicht verwalten können. Sie können dann Features direkt aus der BigQuery-Datenquelle bereitstellen.

Vertex AI Feature Store stellt Ressourcen bereit, mit denen Sie die Onlinebereitstellung einrichten können, indem Sie Ihre Featuredatenquellen angeben. Es fungiert dann als Metadatenschicht als Schnittstelle zu den BigQuery-Datenquellen und stellt die neuesten Featurewerte direkt aus BigQuery für Onlinevorhersagen mit niedrigen Latenzen bereit.

In Vertex AI Feature Store bilden die BigQuery-Tabellen oder -Ansichten, die die Featuredaten enthalten, zusammen den Offlinespeicher. Sie können Featurewerte, einschließlich historischer Featuredaten, im Offlinespeicher beibehalten. Da alle Featuredaten in BigQuery verwaltet werden, muss Vertex AI Feature Store keinen separaten Offlinespeicher in Vertex AI bereitstellen. Wenn Sie die Daten im Offlinespeicher zum Trainieren von ML-Modellen verwenden möchten, können Sie die Daten mit den APIs und Funktionen in BigQuery exportieren oder abrufen.

Der Workflow zum Einrichten und Starten der Onlinebereitstellung mit Vertex AI Feature Store kann so zusammengefasst werden:

1. Bereiten Sie die Datenquelle in BigQuery vor.

2. Optional: Registrieren Sie Ihre Datenquellen, indem Sie Featuregruppen und Features erstellen.

3. Richten Sie Ressourcen für Onlinespeicher und Featureansichten ein, um die Featuredatenquellen mit Onlinebereitstellungsclustern zu verbinden.

4. Bereitstellen der neuesten Featurewerte online über eine Featureansicht.

Vertex AI Feature Store-Datenmodell und -Ressourcen

In diesem Abschnitt werden die Datenmodelle und Ressourcen beschrieben, die mit den folgenden Aspekten von Vertex AI Feature Store verknüpft sind:

• Vorbereitung der Datenquelle in BigQuery

• Einrichtung von Feature Registry

• Einrichtung für die Onlinebereitstellung

• Onlinebereitstellung

Datenquellenvorbereitung in BigQuery

Während der Onlinebereitstellung verwendet Vertex AI Feature Store Featuredaten aus BigQuery-Datenquellen. Bevor Sie Feature Registry oder Online-Bereitstellungsressourcen einrichten, müssen Sie Ihre Featuredaten in einer oder mehreren BigQuery-Tabellen oder -Ansichten speichern.

In einer BigQuery-Tabelle oder -Ansicht stellt jede Spalte ein Feature dar. Jede Zeile enthält Featurewerte, die einer eindeutigen ID entsprechen. Weitere Informationen zum Vorbereiten der Featuredaten in BigQuery finden Sie unter Datenquelle vorbereiten.

In Abbildung 1 enthält die BigQuery-Tabelle beispielsweise die folgenden Spalten:

• f1 und f2: Featurespalten.

• entity_id: Eine ID-Spalte mit den eindeutigen IDs zur Identifizierung der einzelnen Featureeinträge.

• feature_timestamp: Eine Zeitstempelspalte.

Abbildung 1. Beispiel für eine BigQuery-Datenquelle.

Da Sie die Datenquelle in BigQuery und nicht in Vertex AI vorbereiten, müssen Sie zu diesem Zeitpunkt keine Vertex AI-Ressourcen erstellen.

Feature Registry-Einrichtung

Nachdem Sie die Datenquellen in BigQuery vorbereitet haben, können Sie diese Datenquellen, einschließlich bestimmter Featurespalten, in Feature Registry registrieren.

Die Registrierung Ihrer Features ist optional. Sie können Features online bereitstellen, auch wenn Sie Ihre BigQuery-Datenquellen nicht zu Feature Registry hinzufügen. Die Registrierung Ihrer Features ist jedoch in den folgenden Szenarien vorteilhaft:

• Ihre Daten können mehrere Instanzen derselben Entitäts-ID enthalten und Sie müssen die Daten in einem Zeitachsenformat mit einer Zeitstempelspalte vorbereiten. Wenn Sie Ihre Features registrieren, sucht Vertex AI Feature Store den Zeitstempel und stellt nur die neuesten Featurewerte bereit.

• Sie möchten bestimmte Featurespalten aus einer Datenquelle registrieren.

• Sie möchten bestimmte Spalten aus mehreren Datenquellen aggregieren, um eine Featureansichtsinstanz zu definieren.

Achtung: Wenn Sie Ihre Features nicht registrieren möchten, muss jede Zeile in der ID-Spalte einen eindeutigen Wert enthalten. Weitere Informationen finden Sie unter Richtlinien für die Vorbereitung von Datenquellen.

Feature Registry-Ressourcen

Um Ihre Featuredaten in Feature Registry zu registrieren, müssen Sie die folgenden Vertex AI Feature Store-Ressourcen erstellen:

• Featuregruppe (FeatureGroup): Eine FeatureGroup-Ressource ist einer bestimmten BigQuery-Quelltabelle oder -Ansicht zugeordnet. Sie stellt eine logische Gruppierung von Featurespalten dar, die durch Feature-Ressourcen dargestellt werden. Informationen zum Erstellen einer Featuregruppe finden Sie unter Featuregruppe erstellen.

• Feature: Feature Die Ressource Feature stellt eine bestimmte Spalte mit Featurewerten aus dem Datenquelle des Features, die der übergeordneten FeatureGroup-Ressource zugeordnet ist. Informationen zum Erstellen von Features in einer Featuregruppe finden Sie unter Feature erstellen.

Abbildung 2 zeigt eine Featuregruppe, die die Featurespalten f1 und f2 enthält, die aus einer BigQuery-Tabelle stammen, die mit der Featuregruppe verknüpft ist. Die BigQuery-Datenquelle enthält vier Featurespalten – zwei Spalten werden zusammen die Featuregruppe zusammengefasst.

Abbildung 2. Beispiel für ein FeatureGroup mit zwei Feature-Spalten, die aus einer BigQuery-Datenquelle stammen.

Einrichtung der Onlinebereitstellung

Wenn Sie Features für Onlinevorhersagen bereitstellen möchten, müssen Sie mindestens einen Onlinebereitstellungscluster definieren und konfigurieren und mit Ihrer Featuredatenquelle oder Feature Registry-Ressourcen verknüpfen. In Vertex AI Feature Store wird der Onlinebereitstellungscluster als Onlinespeicherinstanz bezeichnet. Eine Onlinespeicherinstanz kann mehrere Instanzen von Featureansichten enthalten, wobei jede Featureansicht einer Featuredatenquelle zugeordnet ist.

Ressourcen für die Onlinebereitstellung

Um die Onlinebereitstellung einzurichten, müssen Sie die folgenden Vertex AI Feature Store-Ressourcen erstellen:

• Onlinespeicher (FeatureOnlineStore): Eine FeatureOnlineStore-Ressource stellt eine Online-Bereitstellungsclusterinstanz dar und enthält Die Onlinebereitstellungskonfiguration, z. B. die Anzahl der Onlinebereitstellungsknoten. Eine Onlinespeicherinstanz gibt nicht die Quelle der Featuredaten an, enthält jedoch FeatureView-Ressourcen, die die Featuredatenquellen entweder in BigQuery oder in Feature Registry angeben. Informationen zum Erstellen einer Onlinespeicherinstanz finden Sie unter Onlinespeicherinstanz erstellen.

• Featureansicht (FeatureView): Eine FeatureView-Ressource ist eine logische Sammlung von Features in einer Onlinespeicherinstanz. Wenn Sie eine Featureansicht erstellen, können Sie den Speicherort der Featuredatenquelle auf eine der folgenden Arten angeben:

  • Verknüpfen Sie eine oder mehrere Featuregruppen und Features aus der Feature Registry. Eine Featuregruppe gibt den Speicherort der BigQuery-Datenquelle an. Ein Feature innerhalb der Featuregruppe verweist auf eine bestimmte Featurespalte innerhalb dieser Datenquelle.

  • Alternativ können Sie eine BigQuery-Quelltabelle oder -Ansicht verknüpfen.

  Informationen zum Erstellen von Featureansicht-Instanzen in einem Onlinespeicher finden Sie unter Featureansicht erstellen.

Abbildung 3 zeigt eine Featureansicht, die die Featurespalten f2 und f4 enthält, die aus zwei separaten Featuregruppen stammen, die einer BigQuery-Tabelle zugeordnet sind.

Abbildung 3. Beispiel für ein FeatureView mit Features aus zwei separaten Featuregruppen.

Onlinebereitstellung

Vertex AI Feature Store bietet folgende Arten von Onlinebereitstellungen für Onlinevorhersagen in Echtzeit:

• Die Onlinebereitstellung von Bigtable eignet sich für die Bereitstellung großer Datenmengen (Terabytes an Daten). Sie ist mit der Onlinebereitstellung im Vertex AI Feature Store (Legacy) vergleichbar und bietet ein verbessertes Caching, um das Heißlaufen zu verhindern.

• Die optimierte Onlinebereitstellung (in der Vorschau) ermöglicht die Onlinebereitstellung von Features bei extrem niedrigen Latenzen. Obwohl die Latenzen bei der Onlinebereitstellung von der Arbeitslast abhängen, kann die optimierte Onlinebereitstellung niedrigere Latenzen als die Bigtable-Onlinebereitstellung bieten und wird für die meisten Szenarien empfohlen. Wenn Sie jedoch große Datenmengen bereitstellen müssen, die häufig aktualisiert werden, verwenden Sie die Onlinebereitstellung von Bigtable.

  Um die optimierte Onlinebereitstellung zu verwenden, müssen Sie einen öffentlichen oder einen dedizierten Private Service Connect-Endpunkt konfigurieren.

Informationen zum Einrichten der Onlinebereitstellung in Vertex AI Feature Store nach dem Einrichten von Features finden Sie unter Typen der Onlinebereitstellung.

Offlinebereitstellung für Batchvorhersagen oder Modelltraining

Da Sie die Featuredaten nicht aus BigQuery in einen separaten Offlinespeicher in Vertex AI kopieren oder importieren müssen, können Sie die Datenverwaltungs- und -exportfunktionen von BigQuery für Folgendes verwenden:

• Featuredaten abfragen, einschließlich Verlaufsdaten für eine bestimmte Zeit.

• Vorverarbeitung und Export von Featuredaten für Modelltraining und Batchvorhersagen.

Weitere Informationen zum maschinellen Lernen mit BigQuery finden Sie unter BigQuery ML-Einführung.

Vertex AI Feature Store-Nutzungsbedingungen

Begriffe im Zusammenhang mit dem Feature Engineering

Feature Engineering

• Feature Engineering ist der Prozess der Umwandlung von Rohdaten für maschinelles Lernen (ML) in Merkmale, die zum Trainieren von ML-Modellen oder für Vorhersagen verwendet werden können.

Feature

• Beim maschinellen Lernen (ML) ist ein Feature ein Merkmal oder Attribut einer Instanz oder Entität, die als Eingabe zum Trainieren eines ML-Modells oder für Vorhersagen verwendet wird.

Featurewert

• Ein Featurewert entspricht dem tatsächlichen und messbaren Wert eines Features (Attributs) einer Instanz oder Entität. Eine Sammlung von Featurewerten für die eindeutige Entität stellt den Featureeintrag dar, der der Entität entspricht.

Feature-Zeitstempel

• Ein Feature-Zeitstempel gibt an, wann die Gruppe von Featurewerten in einem bestimmten Featureeintrag für eine Entität generiert wurden.

Feature-Datensatz

• Ein Feature-Datensatz ist eine Aggregation aller Featurewerte, die die Attribute einer eindeutigen Entität zu einem bestimmten Zeitpunkt beschreiben.

Begriffe im Zusammenhang mit Feature Registry

Feature-Registry

• Eine Feature-Registry ist eine zentrale Schnittstelle zur Aufzeichnung von Feature-Datenquellen, die Sie für Onlinevorhersagen bereitstellen möchten.

Featuregruppe

• Eine Featuregruppe ist eine Feature-Registry-Ressource, die einer BigQuery-Quelltabelle oder -Ansicht entspricht, die Featuredaten enthält. Eine Featureansicht kann Features enthalten und kann als logische Gruppierung der Featurespalten in der Datenquelle betrachtet werden.

Begriffe im Zusammenhang mit der Bereitstellung von Features

Bereitstellung von Features

• Das Bereitstellen von Features ist der Export oder Abruf von Featurewerten für das Training oder die Inferenz. In Vertex AI gibt es zwei Arten der Featurebereitstellung: Onlinebereitstellung und Offlinebereitstellung. Bei der Onlinebereitstellung werden die neuesten Featurewerte einer Teilmenge der Featuredatenquelle für Onlinevorhersagen abgerufen. Bei der Offline- oder Batchbereitstellung werden viele Featuredaten für die Offlineverarbeitung exportiert, z. B. für das ML-Modelltraining.

Offlinespeicher

• Der Offlinespeicher ist eine Speichereinrichtung, in der aktuelle Featuredaten und Feature-Verlaufsdaten gespeichert werden, die normalerweise zum Trainieren von ML-Modellen verwendet werden. Ein Offlinespeicher enthält auch die neuesten Featurewerte, die Sie für Onlinevorhersagen bereitstellen können.

Onlinespeicher

• Bei der Featureverwaltung ist ein Onlinespeicher eine Speichereinrichtung für die neuesten Featurewerte, die für Onlinevorhersagen bereitgestellt werden.

Featureansicht

• Eine Featureansicht ist eine logische Sammlung von Features, die aus einer BigQuery-Datenquelle in einer Onlinespeicherinstanz materialisiert werden. In einer Featureansicht werden die Featuredaten des Kunden gespeichert und regelmäßig aktualisiert, die regelmäßig aus der BigQuery-Quelle aktualisiert werden. Eine Featureansicht ist dem Featuredatenspeicher entweder direkt oder über Verknüpfungen mit Feature-Registry-Ressourcen zugeordnet.

Standortbeschränkungen

Alle Vertex AI Feature Store-Ressourcen müssen sich in derselben Region oder am selben multiregionalen Standort wie Ihre BigQuery-Datenquelle befinden. Wenn sich die Datenquelle für das Feature beispielsweise in us-central1 befindet, dürfen Sie Ihre FeatureOnlineStore-Instanz nur in us-central1 oder am multiregionalen Standort US erstellen.

Achtung: Die Verwendung von Quelldaten aus Dual-Region-Buckets wird nicht unterstützt.

Feature-Metadaten

Vertex AI Feature Store ist in Dataplex eingebunden, um Funktionen für die Feature-Governance bereitzustellen, einschließlich Feature-Metadaten. Onlinespeicherinstanzen, Featureansichten und Featuregruppen werden automatisch als Datenassets in Data Catalog registriert, einer Dataplex-Funktion, die Metadaten aus diesen Ressourcen katalogisiert. Anschließend können Sie die Metadatensuchfunktion von Dataplex verwenden, um die Metadaten für diese Ressourcen zu suchen, aufzurufen und zu verwalten. Weitere Informationen zur Suche nach Vertex AI Feature Store-Ressourcen in Dataplex finden Sie unter In Data Catalog nach Ressourcenmetadaten suchen.

Feature-Labels

Sie können Ressourcen während oder nach der Ressourcenerstellung Labels hinzufügen. Weitere Informationen zum Hinzufügen von Labels zu vorhandenen Vertex AI Feature Store-Ressourcen finden Sie unter Labels aktualisieren.

Metadaten der Ressourcenversion

Vertex AI Feature Store unterstützt nur die Version 0 für Features.

Verwaltung von Einbettungen und Vektorabruf

Vertex AI Feature Store unterstützt die Einbettungsverwaltung. Sie können Einbettungen in BigQuery als reguläre double-Arrays speichern. Mit den Funktionen zur Einbettungsverwaltung von Vertex AI Feature Store können Sie Suchen nach Vektorähnlichkeiten ausführen, um Entitäten abzurufen, die sich am nächsten bei einer bestimmten Entität oder einem bestimmten Einbettungswert befinden.

So verwenden Sie die Einbettungsverwaltung in Vertex AI Feature Store:

• Richten Sie die BigQuery-Datenquelle für die Unterstützung von Einbettungen ein, indem Sie die Spalte embedding hinzufügen. Optional können Sie Spalten mit Filtern und Mengenbeschränkungen hinzufügen. Weitere Informationen finden Sie unter Vorbereitung der Datenquelle.

• Erstellen Sie eine Onlinespeicherinstanz, die die Einbettungsverwaltung unterstützt. Weitere Informationen zum Erstellen einer Onlinespeicherinstanz, die die Einbettungsverwaltung unterstützt, finden Sie unter Einbettungsverwaltung für einen Onlinespeicher konfigurieren.

• Geben Sie beim Erstellen der Featureansicht die Spalte embedding an. Weitere Informationen zum Erstellen einer Featureansicht, die Einbettungen unterstützt, finden Sie unter Vektorabruf für eine Featureansicht konfigurieren.

Informationen zum Ausführen einer Vektorähnlichkeitssuche in Vertex AI Feature Store finden Sie unter Vektorsuche für Entitäten ausführen.

Datenaufbewahrung

Vertex AI Feature Store behält die neuesten Featurewerte für eine eindeutige ID bei, basierend auf dem Zeitstempel, der den Featurewerten in der Datenquelle zugeordnet ist. Im Onlinespeicher gibt es keine Datenaufbewahrungsbeschränkung.

Da der Offlinespeicher von BigQuery bereitgestellt wird, gelten möglicherweise die Limits oder Kontingente für die Datenaufbewahrung aus BigQuery für die Featuredatenquelle, einschließlich historischer Featurewerte. Weitere Informationen zu Kontingenten und Limits in BigQuery

Kontingente und Limits

In Vertex AI Feature Store werden Kontingente und Limits durchgesetzt, um Sie bei der Verwaltung der Ressourcen zu unterstützen, indem Sie Nutzungslimits festlegen, und um die Community der Google Cloud-Nutzer zu schützen, indem unvorhergesehene Nutzungsspitzen verhindert werden. Lesen Sie die Kontingente und Limits für Vertex AI Feature Store, um Vertex AI Feature Store-Ressourcen effizient zu nutzen, ohne diese Einschränkungen zu erreichen.

Preise

Informationen zu den Preisen für die Ressourcennutzung für Vertex AI Feature Store finden Sie unter Vertex AI Feature Store-Preise.

Notebook-Anleitungen

Online-Bereitstellung von Features und Abruf von BigQuery-Daten mit Vertex AI Feature Store

In diesem Notebook erfahren Sie, wie Sie Vertex AI Feature Store für die Onlinebereitstellung und das Abrufen von Featurewerten in BigQuery verwenden. In Colab ausführen | Auf GitHub ansehen

Online-Bereitstellung von Features und Abruf von BigQuery-Daten mit Vertex AI Feature Store (Vorschau)

In diesem Notebook erfahren Sie, wie Sie Vertex AI Feature Store für die Onlinebereitstellung und den Vektorabruf von Featurewerten in BigQuery verwenden. In Colab ausführen | Auf GitHub ansehen

Online-Featurebereitstellung und -Abruf von BigQuery-Daten mit optimierter Vertex AI Feature Store-Bereitstellung (Vorschau)

In diesem Notebook erfahren Sie, wie Sie die optimierte Onlinebereitstellung in Vertex AI Feature Store zum Bereitstellen und Abrufen von Featurewerten aus BigQuery verwenden. In Colab ausführen | Auf GitHub ansehen

Nächste Schritte

• Daten in BigQuery einrichten.

• Weitere Informationen zum Erstellen von Featuregruppen und Features

• Onlinespeicherinstanz erstellen