Was ist Kubeflow?

Kubeflow kann für eine Reihe von Machine-Learning-Aufgaben verwendet werden, darunter:

• Portable und skalierbare ML-Workflows erstellen: Nutzer können ihre ML-Workflows als Pipelines definieren, die einfach freigegeben und in verschiedenen Umgebungen bereitgestellt werden können. Dies fördert die Konsistenz und Reproduzierbarkeit von Machine-Learning-Prozessen.
• ML-Modelle im großen Maßstab trainieren: Mit Kubeflow lassen sich Trainings-Workloads auf einen Kubernetes-Cluster verteilen, sodass Nutzer Modelle mit größeren Datasets effizienter trainieren können. This scalability may be beneficial for handling the growing volume of data in modern machine learning applications.
• ML-Modelle für die Produktion bereitstellen: Mit Kubeflow können Sie leichter trainierte ML-Modelle als skalierbare und zuverlässige Dienste bereitstellen und die Lücke zwischen Modellentwicklung und Bereitstellung schließen. So lässt sich der Übergang von Experimenten zu produktionsreifen ML-Modellen optimieren.
• Verwaltung des ML-Lebenszyklus: Kubeflow bietet oft Funktionen zum Verfolgen von Experimenten, Verwalten von Modellversionen und Monitoring der Modellleistung, wodurch der gesamte Machine-Learning-Lebenszyklus optimiert wird. Dieses umfassende Management entspricht den MLOps-Grundsätzen der kontinuierlichen Überwachung und Verbesserung.

Kubeflow umfasst mehrere Komponenten, die zusammen eine umfassende Plattform bilden. Hier sind einige wichtige Komponenten.

Kubeflow Pipelines nutzt Docker-Container und bietet eine Plattform zum Erstellen und Bereitstellen von Machine-Learning-Workflows, die sowohl portierbar als auch skalierbar sind. Jede Pipeline dient als Blaupause, in der die Schritte eines ML-Workflows und ihre Verbindungen detailliert beschrieben sind. Eine nutzerfreundliche Oberfläche in Kubeflow Pipelines ermöglicht die effiziente Verwaltung und Nachverfolgung von Experimenten, die Visualisierung von Pipelineausführungen und die detaillierte Untersuchung von Logs und Leistungsmesswerten.

Katib ist ein System zur Hyperparameter-Abstimmung für Machine-Learning-Modelle. Die Suche nach den besten Hyperparametern für ein Modell kann zeitaufwendig sein, aber Katib automatisiert diesen Prozess. Katib unterstützt verschiedene Suchalgorithmen wie Rastersuche, Random Search und Bayes'sche Optimierung, sodass Nutzer die Leistung ihrer Modelle effizienter optimieren können.

KFServing bietet eine serverlose Inferenzplattform für die Bereitstellung trainierter Modelle für maschinelles Lernen. Damit lassen sich trainierte Modelle einfacher bereitstellen und skalieren. KFServing unterstützt verschiedene Machine-Learning-Frameworks wie TensorFlow, PyTorch und scikit-learn. Es ist also frameworkunabhängig und an verschiedene ML-Ökosysteme anpassbar.

Die Metadatenkomponente von Kubeflow bietet Herkunfts- und Artefaktnachverfolgung. Diese Komponente unterstützt Data Scientists beim Nachverfolgen ihrer Experimente, Datasets und Modelle, wodurch die Verwaltung und Reproduktion ihrer Arbeit erleichtert wird. Diese Metadatenverfolgung erleichtert die Zusammenarbeit zwischen den Teammitgliedern und gewährleistet die Reproduzierbarkeit der Ergebnisse.

Es gibt verschiedene Möglichkeiten, mit Kubeflow zu beginnen, je nach individuellen Anforderungen und Vorkenntnissen:

• Kubeflow in der Google Kubernetes Engine (GKE) bereitstellen: Diese Option bietet viel Flexibilität und Kontrolle über Kubeflow-Bereitstellungen. Nutzer können die Installation an ihre spezifischen Anforderungen anpassen und haben vollen Zugriff auf den zugrunde liegenden Kubernetes-Cluster. Dieser Ansatz erfordert jedoch mehr Kubernetes-Fachwissen und kann aufwendiger sein.
• Gemini Enterprise Agent Platform Pipelines: Dies ist ein vollständig verwalteter Dienst, mit dem sich Kubeflow-Pipelines in Google Cloud einfacher bereitstellen und ausführen lassen. Agent Platform Pipelines übernimmt die gesamte Infrastrukturverwaltung, sodass sich Nutzer auf das Erstellen und Ausführen von ML-Workflows konzentrieren können. Dieser Ansatz kann eine gute Option für diejenigen sein, die eine verwaltete Lösung suchen, die schnell und einfach einzurichten ist.
• Kubeflow auf anderen Plattformen: Kubeflow kann auch in anderen Kubernetes-Umgebungen bereitgestellt werden. Installationsanleitungen und Dokumentationen für diese Plattformen finden Sie auf der Kubeflow-Website.