Einführung in Vertex AI

Vertex AI ist eine Plattform für maschinelles Lernen (ML), mit der Sie ML-Modelle und KI-Anwendungen trainieren und bereitstellen und große Sprachmodelle (LLMs) für Ihre KI-gestützten Anwendungen anpassen können. Vertex AI kombiniert Data Engineering-, Data Science- und ML Engineering-Workflows, sodass Ihre Teams mit einem gemeinsamen Toolset zusammenarbeiten und Ihre Anwendungen mithilfe der Vorteile von Google Cloud skalieren können.

Vertex AI bietet mehrere Optionen für das Modelltraining und die Bereitstellung:

  • Mit AutoML können Sie Tabellen-, Bild-, Text- oder Videodaten trainieren, ohne Code schreiben oder Datenaufteilungen vorbereiten zu müssen.

  • Benutzerdefiniertes Training gibt Ihnen vollständige Kontrolle über den Trainingsprozess. Dazu gehört die Verwendung Ihres bevorzugten ML-Frameworks, das Schreiben eines eigenen Trainingscodes und das Auswählen von Optionen für die Hyperparameter-Abstimmung.

  • Mit Model Garden können Sie Vertex AI ermitteln, testen, anpassen und bereitstellen sowie Open-Source-Modelle und Assets auswählen.

  • Generative AI bietet Zugriff auf die großen generativen KI-Modelle von Google für mehrere Modalitäten (Text, Code, Bilder, Sprache). Sie können die LLM-Systeme von Google an Ihre Anforderungen anpassen und dann für die Verwendung in Ihren KI-gestützten Anwendungen bereitstellen.

Nachdem Sie Ihre Modelle bereitstellen, verwenden Sie die End-to-End-MLOps-Tools von Vertex AI, um Projekte während des gesamten ML-Lebenszyklus zu automatisieren und zu skalieren. Diese MLOps-Tools werden in einer vollständig verwalteten Infrastruktur ausgeführt, die Sie entsprechend Ihren Leistungs- und Budgetanforderungen anpassen können.

Sie können das Vertex AI SDK für Python verwenden, um den gesamten ML-Workflow in Vertex AI Workbench, einer Jupyter-Notebook-basierten Entwicklungsumgebung, auszuführen. Sie können mit einem Team zusammenarbeiten, um Ihr Modell in Colab Enterprise zu entwickeln, einer Version von Colaboratory, die in Vertex AI eingebunden ist. Weitere verfügbare Schnittstellen sind die Google Cloud Console, das gcloud-Befehlszeilentool, Clientbibliotheken und Terraform (eingeschränkte Unterstützung).

Vertex AI und der Workflow für maschinelles Lernen (ML)

Dieser Abschnitt bietet einen Überblick über den Workflow für maschinelles Lernen und wie Sie mit Vertex AI Ihre Modelle erstellen und bereitstellen können.

Diagramm des ML-Workflows

  1. Datenvorbereitung: Nachdem Sie Ihr Dataset extrahiert und bereinigt haben, führen Sie eine explorative Datenanalyse (EDA) durch, um das Datenschema und die Merkmale zu verstehen, die vom ML-Model erwartet werden. Wenden Sie Datentransformationen und Feature Engineering auf das Modell an und teilen Sie die Daten in Trainings-, Validierungs- und Test-Datasets auf.

    • Mit Vertex AI Workbench-Notebooks Daten untersuchen und visualisieren Vertex AI Workbench lässt sich in Cloud Storage und BigQuery einbinden, sodass Sie schneller auf Ihre Daten zugreifen und sie verarbeiten können.

    • Verwenden Sie für große Datasets Dataproc Serverless Spark aus einem Vertex AI Workbench-Notebook, um Spark-Arbeitslasten auszuführen, ohne Ihre eigenen Dataproc-Cluster verwalten zu müssen.

  2. Modelltraining: Wählen Sie eine Trainingsmethode aus, um ein Modell zu trainieren und auf Leistung zu optimieren.

    • Informationen zum Trainieren eines Modells ohne Schreiben von Code finden Sie in der AutoML-Übersicht. AutoML unterstützt Tabellen-, Bild-, Text- und Videodaten.

    • Lesen Sie die Übersicht über benutzerdefiniertes Training, um Ihren eigenen Trainingscode zu schreiben und benutzerdefinierte Modelle mit Ihrem bevorzugten ML-Framework zu trainieren.

    • Optimieren Sie Hyperparameter für benutzerdefinierte Modelle mithilfe von benutzerdefinierten Abstimmungsjobs.

    • Vertex AI Vizier passt Hyperparameter in komplexe Modelle für maschinelles Lernen (ML) an.

    • Verwenden Sie Vertex AI-Tests, um Ihr Modell mit verschiedenen ML-Techniken zu trainieren und die Ergebnisse zu vergleichen.

    • Registrieren Sie Ihre trainierten Modelle in der Vertex AI-Modell-Registry, um sie zu versionieren und an die Produktion zu übergeben. Vertex AI Model Registry ist mit Validierungs- und Bereitstellungsfunktionen wie der Modellbewertung und Endpunkten integriert.

  3. Modellbewertung und -iteration: Evaluieren Sie Ihr trainiertes Modell, passen Sie Ihre Daten basierend auf Bewertungsmesswerten an und iterieren Sie Ihr Modell.

    • Verwenden Sie Modellbewertungsmesswerte wie Precision und Recall, um die Leistung Ihrer Modelle zu bewerten und zu vergleichen. Erstellen Sie Bewertungen über Vertex AI Model Registry oder fügen Sie Bewertungen in Ihren Vertex AI Pipelines-Workflow ein.
  4. Modellbereitstellung: Modell in der Produktion bereitstellen und Vorhersagen abrufen

    • Benutzerdefiniertes Modell mit vordefinierten oder benutzerdefinierten Containern bereitstellen, um Onlinevorhersagen in Echtzeit zu erhalten (manchmal auch als HTTP-Vorhersage bezeichnet).

    • Asynchrone Batchvorhersagen abrufen, für die keine Bereitstellung auf Endpunkten erforderlich ist.

    • Mit der optimierten TensorFlow-Laufzeit können Sie TensorFlow-Modelle zu geringeren Kosten und mit einer geringeren Latenz als Open-Source-vordefinierten TensorFlow Serving-Containern bereitstellen.

    • Verwenden Sie für Online-Bereitstellungsfälle mit tabellarischen Modellen Vertex AI Feature Store, um Features aus einem zentralen Repository bereitzustellen und den Featurezustand zu überwachen.

    • Vertex Explainable AI hilft Ihnen zu verstehen, wie jedes Merkmal zur Modellvorhersage beiträgt (Featureattribution) und findet falsch beschriftete Daten aus dem Trainingsdatensatz (beispielbasierte Erklärung).

    • Modelle mit BigQuery ML erstellen und Onlinevorhersagen abrufen

  5. Modellmonitoring: Überwachen Sie die Leistung des bereitgestellten Modells. Verwenden Sie eingehende Vorhersagedaten, um Ihr Modell neu zu trainieren und die Leistung zu verbessern.

    • Vertex AI Model Monitoring überwacht Modelle auf Trainingsverzerrungen und Vorhersageabweichungen und sendet Ihnen Warnungen, wenn die eingehenden Vorhersagedaten zu weit von der Trainingsbasis abweichen.

Nächste Schritte