KI und ML: Kostenoptimierung

Last reviewed 2024-10-11 UTC

Dieses Dokument im Architektur-Framework: KI- und ML-Perspektive bietet einen Überblick über Prinzipien und Empfehlungen zur Optimierung der Kosten Ihrer KI-Systeme während des gesamten ML-Lebenszyklus. Mit einem proaktiven und fundierten Ansatz zur Kostenverwaltung kann Ihr Unternehmen das volle Potenzial von KI- und ML-Systemen ausschöpfen und gleichzeitig die finanzielle Disziplin wahren. Die Empfehlungen in diesem Dokument stimmen mit dem Säulenelement zur Kostenoptimierung des Architektur-Frameworks überein.

KI- und ML-Systeme können Ihnen helfen, aus Daten wertvolle Erkenntnisse und Prognosefunktionen zu gewinnen. So können Sie beispielsweise Reibungsverluste in internen Prozessen reduzieren, die Nutzerfreundlichkeit verbessern und tiefere Kundeninformationen gewinnen. Die Cloud bietet enorme Ressourcen und eine schnelle Amortisierung ohne große Vorabinvestitionen für KI- und ML-Arbeitslasten. Wenn Sie den Geschäftswert maximieren und die Ausgaben auf Ihre Geschäftsziele ausrichten möchten, müssen Sie die Kostentreiber verstehen, die Kosten proaktiv optimieren, Ausgabenkontrollen einrichten und FinOps anwenden.

Kosten und Renditen definieren und messen

Wenn Sie Ihre KI- und ML-Kosten in Google Cloud effektiv verwalten möchten, müssen Sie die Ausgaben für Cloud-Ressourcen und den Geschäftswert Ihrer KI- und ML-Initiativen definieren und messen. Google Cloud bietet umfassende Tools für die Abrechnung und Kostenverwaltung, mit denen Sie Ausgaben detailliert im Blick behalten können. Zu den Messwerten für den Geschäftswert, die Sie messen können, gehören die Kundenzufriedenheit, der Umsatz und die Betriebskosten. Wenn Sie konkrete Messwerte sowohl für die Kosten als auch für den Geschäftswert festlegen, können Sie fundierte Entscheidungen über die Ressourcenzuweisung und -optimierung treffen.

Beachten Sie die folgenden Empfehlungen:

  • Legen Sie klare Geschäftsziele und Leistungskennzahlen (KPIs) für Ihre KI- und ML-Projekte fest.
  • Verwenden Sie die von Google Cloud bereitgestellten Abrechnungsinformationen, um Kostenüberwachungs- und Berichtsprozesse zu implementieren, mit denen Sie Kosten bestimmten KI- und ML-Aktivitäten zuordnen können.
  • Richten Sie Dashboards, Benachrichtigungs- und Berichtssysteme ein, um Kosten und Renditen anhand von KPIs zu verfolgen.

Ressourcenzuweisung optimieren

Um Kosteneffizienz für Ihre KI- und ML-Arbeitslasten in Google Cloud zu erzielen, müssen Sie die Ressourcenzuweisung optimieren. Wenn Sie die Ressourcenzuweisung sorgfältig an die Anforderungen Ihrer Arbeitslasten anpassen, können Sie unnötige Ausgaben vermeiden und dafür sorgen, dass Ihre KI- und ML-Systeme die Ressourcen haben, die sie für eine optimale Leistung benötigen.

Beachten Sie die folgenden Empfehlungen:

  • Mit dem Autoscaling können Sie die Ressourcen für Training und Inferenz dynamisch anpassen.
  • Beginnen Sie mit kleinen Modellen und Daten. Sparen Sie Kosten, indem Sie Hypothesen nach Möglichkeit in kleinerem Umfang testen.
  • Ermitteln Sie Ihre Rechenanforderungen durch Tests. Passen Sie die Ressourcen, die für das Training und den Dienst verwendet werden, an Ihre ML-Anforderungen an.
  • MLOps-Methoden übernehmen, um Redundanzen, manuelle Prozesse und ineffiziente Ressourcenzuweisung zu reduzieren

Datenverwaltung und -governance erzwingen

Eine effektive Datenverwaltung und -governance spielen eine wichtige Rolle bei der Kostenoptimierung. Gut organisierte Daten helfen Ihrem Unternehmen, unnötige Duplikate zu vermeiden, den Aufwand für die Gewinnung hochwertiger Daten zu reduzieren und Teams zur Wiederverwendung von Datensätzen zu ermutigen. Durch eine proaktive Datenverwaltung können Sie die Speicherkosten senken, die Datenqualität verbessern und dafür sorgen, dass Ihre ML-Modelle mit den relevantesten und wertvollsten Daten trainiert und ausgeführt werden.

Beachten Sie die folgenden Empfehlungen:

  • Ein klar definiertes Data-Governance-Framework einrichten und anwenden.
  • Wenden Sie Labels und relevante Metadaten bei der Datenaufnahme auf Datasets an.
  • Sorgen Sie dafür, dass Datensätze in der gesamten Organisation auffindbar und zugänglich sind.
  • Achten Sie darauf, dass Ihre Datasets und Features nach Möglichkeit während des gesamten ML-Lebenszyklus wiederverwendbar sind.

Mit MLOps automatisieren und optimieren

Ein Hauptvorteil der Einführung von MLOps-Praktiken ist eine Kostensenkung, sowohl aus technologischer Sicht als auch in Bezug auf Personalaktivitäten. Mithilfe von Automatisierung können Sie die Duplizierung von ML-Aktivitäten vermeiden und die Produktivität von Data Scientists und ML-Entwicklern steigern.

Beachten Sie die folgenden Empfehlungen:

  • Erhöhen Sie den Automatisierungs- und Standardisierungsgrad Ihrer Technologien zur Datenerhebung und ‑verarbeitung, um den Entwicklungsaufwand und die Entwicklungszeit zu reduzieren.
  • Entwickeln Sie automatisierte Trainingspipelines, um manuelle Eingriffe zu reduzieren und die Produktivität der Entwickler zu steigern. Implementieren Sie Mechanismen für die Pipelines, um vorhandene Assets wie vorbereitete Datasets und trainierte Modelle wiederzuverwenden.
  • Mit den Modellbewertungs- und -Optimierungsdiensten in Google Cloud können Sie die Modellleistung mit weniger Iterationen steigern. So können Ihre KI- und ML-Teams in kürzerer Zeit mehr Ziele erreichen.

Verwaltete Dienste und vortrainierte oder vorhandene Modelle verwenden

Es gibt viele Ansätze, mithilfe von KI und ML Geschäftsziele zu erreichen. Verwenden Sie einen inkrementellen Ansatz für die Modellauswahl und -entwicklung. So lassen sich übermäßige Kosten vermeiden, die mit einem Neuanfang verbunden sind. Um die Kosten zu kontrollieren, sollten Sie mit einem einfachen Ansatz beginnen: Verwenden Sie ML-Frameworks, verwaltete Dienste und vortrainierte Modelle.

Beachten Sie die folgenden Empfehlungen:

  • Mit Notebook-Umgebungen können explorative und schnelle ML-Tests durchgeführt werden.
  • Verwenden Sie vorhandene und vortrainierte Modelle als Ausgangspunkt, um die Modellauswahl und den Modellentwicklungsprozess zu beschleunigen.
  • Verwaltete Dienste zum Trainieren oder Bereitstellen Ihrer Modelle verwenden Sowohl AutoML als auch verwaltete Dienste zum Trainieren benutzerdefinierter Modelle können dazu beitragen, die Kosten für das Modelltraining zu senken. Verwaltete Dienste können auch dazu beitragen, die Kosten Ihrer Infrastruktur für die Modellbereitstellung zu senken.

Eine Kultur der Kostenbewusstheit und kontinuierlichen Optimierung fördern

Schaffen Sie eine Arbeitsumgebung, die Kommunikation und regelmäßige Bewertungen fördert. Dieser Ansatz hilft Teams, im gesamten ML-Lebenszyklus kostensparende Möglichkeiten zu identifizieren und umzusetzen.

Beachten Sie die folgenden Empfehlungen:

  • Berücksichtigen Sie FinOps-Prinzipien während des gesamten ML-Lebenszyklus.
  • Achten Sie darauf, dass allen Kosten und Geschäftsvorteilen von KI- und ML-Projekten Eigentümer mit klarer Zuständigkeit zugewiesen sind.

Beitragende

Autoren:

Weitere Beitragende: