Worauf Sie bei hochwertigen Machine-Learning-Lösungen achten sollten

Wenn ein Machine-Learning-Modell (ML-Modell) in der Praxis schlechte Vorhersagen liefert, kann das eine Vielzahl von Ursachen haben. Möglicherweise handelt es sich bloß um einen typischen Programmierfehler, wie er in jedem Programm auftreten kann. Doch oft kann eine unzureichende ML-Qualität das Ergebnis von ML-spezifischen Problemen sein: Datenabweichungen und -anomalien etwa, die die Vorhersageleistung des Modells im Laufe der Zeit verschlechtern. Eine weitere Schwachstelle kann in einem inkonsistenten Datenformat zwischen der integrierten Schnittstelle des Modells und der Serving API liegen. Werden Modelle nicht auf solche Fehlerquellen überwacht, können sie über lange Zeit falsche Ergebnisse liefern, ohne dass dies jemand bemerkt.

Fehlerhafte ML-Modelle können die Qualität einer Anwendung beeinträchtigen und negative Auswirkungen hinsichtlich der Entscheidungsfindung eines Unternehmens haben, wenn das Modell Teil eines internen Prozesses ist.

Zum Glück gibt es viele Prozesse, Tools und Praktiken in der Softwareentwicklung, die Qualität gewährleisten und dazu beitragen, dass die Software wie geplant funktioniert. Zu diesen Tools gehören Softwaretests, Verifizierung und Validierung sowie Logging und Monitoring.

Doch das Erstellen, Bereitstellen und Ausführen von ML-Systemen bringt spezielle Herausforderungen mit sich, die zusätzliche Prozesse und Verfahren erfordern. Die Systeme sind nicht nur besonders datenabhängig, da die Logik zur Entscheidungsfindung automatisch von den Daten abgeleitet wird, sie fungieren auch als Dual-Systeme für Training und Bereitstellung. Diese Dualität kann zu “training-serving skew”, also einer Abweichung zwischen Training und produktivem Betrieb führen. Zudem sind ML-Systeme bei automatisierten Entscheidungssystemen anfällig für Veralterung.

Um diese Herausforderungen von ML-Modellen und -Systemen zu bewältigen, benötigen Sie andere Test- und Überwachungsmöglichkeiten als für andere Softwaresysteme – von der Entwicklung über die Bereitstellung bis hin zur Produktion.

Wir haben eine umfassende Sammlung von Leitlinien für jeden Prozess im MLOps-Lebenszyklus erstellt, die auf der Zusammenarbeit mit unseren Kunden beruht. Diese helfen Ihnen, die Qualität Ihrer ML-Lösungen zu evaluieren, aufrechtzuerhalten und zu steuern. Die Leitlinien haben wir auf unserer Website veröffentlicht.

Im Folgenden finden Sie einen kurzen Überblick über diese Leitlinien:

• Modellentwicklung: In diesen Leitlinien geht es darum, ein effektives ML-Modell zu erstellen, indem die für die jeweilige Aufgabe relevanten Datenvorverarbeitungs-, Bewertungs-, Test- und Debugging-Verfahren angewendet werden.

• Bereitstellung der Trainingspipeline: Gegenstand dieser Leitlinien ist die Implementierung eines CI-/CD-Verfahrens, das die Komponententests für Modellfunktionen und die Integrationstests der Komponenten der Trainingspipeline automatisiert. Sie helfen Ihnen auch dabei, eine geeignete Strategie für die schrittweise Bereitstellung der Trainingspipeline zu finden.

• Kontinuierliches Training: In diesen Leitlinien finden Sie Empfehlungen zum Ausbau einzelner Schritte Ihrer automatisierten Trainings-Workflows, die die neuen Eingabedaten für das Training sowie das neue Ausgabemodell validieren, das nach dem Training produziert wird. Sie enthalten auch Möglichkeiten zur Nachverfolgung von Metadaten und Artefakten, die während des Trainingsprozesses erzeugt werden.

• Modellbereitstellung: Diese Leitlinien behandeln die Implementierung eines CI-/CD-Verfahrens, das die Validierung der Modellkompatibilität und seiner Abhängigkeiten zur  Infrastruktur, auf der die Anwendung bereitgestellt werden soll automatisiert. Es wird auch erläutert, wie der bereitgestellte Modelldienst getestet und schrittweise Bereitstellungs- und Online-Teststrategien angewandt werden können, um die Effektivität eines Modells zu beurteilen.

• Produktiver Betrieb des Modells: In diesen Leitlinien geht es um die Überwachung des Bereitstellungsmodells in Bezug auf die Ausführung von Vorhersagen, um es auf eine Verschlechterung der Vorhersageleistung und eine Abweichung der Daten zu prüfen. Sie enthalten auch Vorschläge zur Überwachung der Effizienz des Modelldienstes.

• Modell-Governance: Diese Leitlinien betreffen die Festlegung von Qualitätsstandards für Modelle. Darüber hinaus werden Techniken zur Implementierung von Verfahren und Arbeitsabläufen behandelt, die zur Überprüfung und Genehmigung von Modellen für die Produktionsbereitstellung sowie zur Verwaltung des bereitgestellten Modells in der Produktion dienen.

Die vollständige Liste unserer Empfehlungen finden Sie in auf unserer Seite Leitlinien für die Entwicklung hochwertiger ML-Lösungen.

^{Danksagung: Vielen Dank an Jarek Kazmierczak, Renato Leite, Lak Lakshmanan und Etsuji Nakai für ihre wertvollen Beiträge zu diesem Leitfaden.}