So messen und maximieren Sie den Wert von Data Science- und KI-Teams

Investitionen in künstliche Intelligenz (KI) können Ihrem Unternehmen Wettbewerbsvorteile verschaffen. Wenn Sie für ein KI- oder Data Science-Team verantwortlich sind, sollten Sie den von Ihnen erbrachten Wert messen und maximieren. Wir haben dazu einige Tipps und Beispiele aus unserer langjährigen Erfahrung auf diesem Gebiet für Sie zusammengetragen. 

Checkliste für den Projektstart: 

Folgende Punkte sollten zu Beginn eines Projekts geklärt sein: 

• Kundenorientierung. Jedes Projekt sollte eine Kundschaft haben, deren Bedürfnisse und Ziele es bedient. Halten Sie fest, welchen Wert Sie ihnen bieten wollen.

• Business Case. Diese Kosten-Nutzen-Rechnung Ihres Projektes wird auf Schätzungen und Annahmen beruhen und lässt sich zumeist in wenigen Minuten definieren. Sie sollten Sie aber hin und wieder überprüfen, um sich immer im Klaren zu sein, was den Kostenaufwand Ihres Teams rechtfertigt und was ihre Kundinnen und Kunden sich davon erwarten.

• Geschäftsprozesse. Ihre Arbeit soll etwas bewirken. Klären Sie deshalb, welche Geschäftsabläufe im Zusammenhang mit Ihrer Arbeit geändert oder geschaffen werden müssen und stimmen Sie sich mit allen Beteiligten dazu ab.

• Meßbare Planung. Sie sollten belegen können, wie sich die laufende Arbeit auf relevante Geschäftsindikatoren auswirkt. Messen und demonstrieren Sie die Verbesserungen, die Ihr Projekt ermöglicht. Berücksichtigen Sie dabei auch andere Faktoren wie saisonale Effekte oder andere geschäftliche Entwicklungen, die Ihre Messwerte beeinflussen können.

• Nutzen Sie all dies, um sich die Unterstützung Ihrer Organisation für Ihr Team und seine Arbeit zu sichern. 

Welche Messwerte sind sinnvoll?

Überlegen Sie im Vorfeld, mit welchen Messwerten und Indikatoren Sie den Wert der Arbeit Ihres Teams für Ihre Organisation belegen wollen.

Die Anzahl Ihrer Entscheidungen. Eine wesentliche Funktion von ML besteht darin, Entscheidungen zu automatisieren und zu optimieren: Welches Produkt soll empfohlen werden, welche Route ist die richtige usw. Verfolgen Sie anhand von Protokollen, wie viele Entscheidungen Ihre Systeme tatsächlich treffen.

Die Entwicklung der Umsätze oder Kosten. Bessere und schnellere Entscheidungen führen oft zu höheren Umsätzen oder Einsparungen. Falls Sie diese nicht direkt messen können, schätzen Sie sie: Sie könnten zum Beispiel von kürzeren Fahrstrecken auf die eingesparten Benzinkosten oder von personalisierten Angeboten auf Zunahmen bei Käufen schließen. 

Ein Beispiel: In den USA nutzt das Illinois Department of Employment Security (IDES) Contact Center AI für den raschen Einsatz virtueller Agenten, die mehr als einer Million Bürger*innen bei ihren Anträgen auf Arbeitslosengeld helfen. Um seinen Erfolg zu messen, verfolgte das Team zwei Ergebniswerte:  Die Anzahl der über die Website bearbeiteten Anrufe und Anfragen und die Gesamtkosten des Callcenters. Nach der Implementierung konnte das Team über 140.000 Telefon- und Online-Anfragen pro Tag und mehr als 40.000 Anrufe in den Abend- und Nachtstunden verzeichnen. Auf der Grundlage der Daten seiner virtuellen Agenten schätzte das IDES die jährlichen Kosteneinsparung auf etwa 100 Mio. US-Dollar (siehe Link zur Fallstudie).

Die Implementierungskosten. Vergessen Sie nicht, den Umsatzsteigerungen oder Einsparungen die anfallenden Kosten gegenüberzustellen. Beziffern Sie die Technologiekosten Ihres Teams und zeigen Sie wo möglich auf, wie Sie mit mehr Effizienz mehr Wert schaffen können.

Die Zeitersparnis. Ein Routenplaner spart Fahrzeit, ein E-Mail-Klassifizierungssystem spart Lesezeit. Berechnen Sie, wie viele Stunden Ihre Organisation dank der Effizienz des Systems, das Ihr Team entwickelt hat, zurückgewinnen konnte.

Auch hierzu ein Beispiel: Im medizinischen Bereich kommt es auf schnelle Diagnosen an. Die Abteilung für Hirnverletzungen der Johns Hopkins University erforscht Möglichkeiten, die Behandlung von Hirnblutungen zu verbessern. Dabei hat das Team die Dauer der Auswertung von Hirnscans als wichtigste Metrik für den Geschäftserfolg identifiziert. Es experimentiert seither mit einer Reihe von Cloud-Computing-Lösungen wie Dataflow, Cloud Healthcare API, Compute Engine und AI Platform, um Iterationen mittels Distributed Training zu beschleunigen. Das Team konnte jüngst auf diese Weise die Auswertungsdauer der Hirnscans von rund 500 Patienten von 2.500 Stunden auf 90 Minuten verkürzen.

Die Anzahl der von Ihrem Team unterstützten Anwendungen. Nicht alle Bereiche Ihrer Organisation werden ML nutzen. Stellen Sie deshalb fest, wie viele Bereiche von der Optimierung und Automatisierung durch Ihr Team profitieren.

Das Nutzungserlebnis. Im Idealfall können Sie Verbesserungen beim Erlebnis Ihrer Kund*innen messen: weniger Beschwerden, bessere Bewertungen, verringerte Latenzen, mehr Interaktionen usw. Das gilt sowohl für interne als auch für externe Stakeholder. Bei Google messen wir die Nutzung aller internen Systeme und Prozesse und bitten regelmäßig um Feedback.

Ein letztes Beispiel: Einer unserer Kunden, die US-amerikanische Stadt Memphis, nutzt VisionAI und ML für die Erkennung und Beseitigung von Schlaglöchern. Das Implementierungsteam identifizierte als eine der wichtigsten Metriken neben der Genauigkeit und der Kosteneinsparungen die prozentuale Zunahme der Anzahl erkannter Schlaglöcher. Die Lösung erfasst die von den städtischen Fahrzeugen übermittelten Videoaufnahmen und nutzt Google Cloud-Funktionen wie Compute Engine, AI Platform und BigQuery für die automatisierte Auswertung des Materials. Durch das Projekt hat die Anzahl der erkannten Schlaglöcher um 75 % zugenommen, bei einer Genauigkeit von mehr als 90 %. Mit seinen Messungen konnte das Team beweisen, dass es in der Lage ist, ein kosteneffizientes, Cloud-basiertes Machine-Learning-Modell zu entwickeln. Nun prüft es bereits neue KI- und ML-Anwendungen, die die Dienste der Stadtverwaltung weiter verbessern und den 652.000 Einwohnern der Stadt das Leben angenehmer machen sollen. 

Danksagung

Filipe und Payam danken der Kollegin und Co-Autorin Mona Mona (AI/ML Customer Engineer, Healthcare and Life Sciences), die maßgeblich an diesem Beitrag mitgewirkt hat.