Fallstudien zu MLOps und Machine Learning im Produktivbetrieb

Evidenz geprüft:

Diese Seite sammelt 27 Fallstudien zu MLOps und produktivem Machine Learning, die von 10 Python-Engineering-Unternehmen veröffentlicht wurden, für CTOs, Engineering-Manager und Gründer, die prüfen möchten, wer vergleichbare Arbeit geleistet hat. Jeder Eintrag verlinkt auf die Originaldarstellung des Anbieters. Die Ergebnisse sind anbieterberichtet: Der Anbieter hat sie veröffentlicht, diese Website hat sie nicht geprüft.

Kennzahl Wert
Fallstudien 27
Unternehmen 10
Vertretene Branchen 9
Fälle mit genanntem Kunden 11 (41%)

Ausgewählte Fallstudien

Projekt Unternehmen Aufgabe Umgesetzte Maßnahmen Berichtetes Ergebnis Was der Fall belegt
Modell-Retraining von neun Wochen auf sechs Tage verkürzt für eine Cyber-Defence-Plattform Uvik Software Neuaufbau der Pipeline für Modell-Retraining und -Evaluierung hinter einer Plattform zur Erkennung von Netzwerkbedrohungen 14 Monate lang ein AI- und Data-Pod eingebunden; abgedeckt waren Zusammenstellung der Trainingsdaten, automatisierte Evaluierung und schrittweiser Rollout in die Kundenumgebungen Uvik Software berichtet, die Zykluszeit für das Retraining sei innerhalb von fünf Monaten nach der Umstellung von neun Wochen auf sechs Tage gesunken, und die Falsch-Positiv-Rate sei von 4,2 % auf 1,1 % gefallen Pipeline-Arbeit an Sicherheitsmodellen, die pro Kundenumgebung trainiert werden, mit Evaluierung vor dem Release
Generative-AI-Workflow vom Prototyp bis zur Produktion Uvik Software Einen funktionierenden Generative-AI-Prototyp in einen validierten Produktions-Workflow überführen Aufbau einer Evaluierungs-Harness, Überwachung von Kosten und Latenz, kalibrierter Guardrails, Prompt-Versionierung mit Rollback sowie einer Produktionsschicht für Rate Limits und Fallback-Routing Uvik Software berichtet von einem validierten Produktions-Workflow in Woche 14 und der ersten zahlenden Kundengruppe in Woche 16 Engineering vom Prototyp bis zur Produktion für LLM-Funktionen, kein Modelltraining von Grund auf
ANWB erreicht mit MLOps Personalisierung im großen Maßstab Xebia Die Datenpipeline für Empfehlungen umstrukturieren, automatisieren und beschleunigen Die Pipeline, die Mitgliederempfehlungen erzeugt, wurde neu aufgebaut, sodass sie ohne manuellen Eingriff läuft Xebia berichtet, die Pipeline laufe nun täglich und dauere einige Stunden, gegenüber einem Lauf alle zwei Wochen, der rund drei Tage dauerte; Klick- und Konversionsraten seien gestiegen MLOps-Arbeit an einer bestehenden Empfehlungspipeline; der Kunde wird genannt
AXA Direct Assurance steigert Wachstumsrate und Mitarbeiterproduktivität mit MLOps Xebia Retraining von Modellen zur Preisoptimierung in der Hausratversicherung automatisieren und beschleunigen Aufbau einer reproduzierbaren, nachvollziehbaren Retraining-Pipeline auf Databricks mit Experiment-Tracking sowie Daten- und Modellversionierung in MLflow Keine Kennzahl veröffentlicht MLOps-Umfang für einen großen Modellbestand im Versicherungswesen; der Kunde wird genannt
Automatisierung der Bildanalyse für Vexcel Imaging Vention Ein weitgehend manuelles Framework zur Bildanalyse von Luftaufnahmen automatisieren Entwicklung eigener Computer-Vision-Algorithmen zum Scannen und Erfassen von Metadaten aus Bildern, zum Aussortieren unbrauchbarer Dateien und zum Zusammenführen von Bildern nach Winkel und Format; umgesetzt auf AWS Step Functions und Lambda Keine Kennzahl veröffentlicht Automatisierung einer Computer-Vision-Pipeline auf der AWS-Plattform eines genannten Kunden
MLOps in der medizinischen Bildgebung für MedCAD Scopic Versionierung, Nachvollziehbarkeit und automatisiertes Retraining zu einem ML-Workflow für medizinische Bildgebung hinzufügen Implementierung einer End-to-End-MLOps-Infrastruktur auf AWS mit automatisierten Retraining- und Validierungs-Workflows sowie Audit-Trails Scopic berichtet von 50–60 % schnellerer Bereitstellung durch automatisierte Retraining- und Validierungs-Workflows sowie vollständiger Nachvollziehbarkeit, die jedes Modell mit seinem Datensatz, Code und seiner Konfiguration verknüpft MLOps für regulierte Gesundheitsdaten, mit genanntem Kunden
OpenStack-Cluster-Monitoring-System auf Basis von Machine-Learning-Algorithmen DataArt Cluster-Fehler in Echtzeit für Canonical erkennen und vorhersagen Training eines Klassifikators mit einem beschnittenen Entscheidungsbaum aus der WEKA-Bibliothek und Entwicklung eines Apache-Spark-Streaming-Jobs, der Protokolldateien in Echtzeit per NLP analysiert und Warnungen sendet Keine Kennzahl veröffentlicht Angewandtes ML in einem Proof of Concept zur Infrastrukturüberwachung; der Kunde wird genannt
Echtzeit-Stimmungsanalyse von Anrufen mit AWS Bedrock DataArt Kundenanrufe in Echtzeit für die B2B-Interaktionsplattform von Glia analysieren Ein optimiertes Open-Source-Whisper-Modell wurde auf Amazon-SageMaker-Inferenz-Endpunkten bereitgestellt; für die Sentimentanalyse kam Claude-instant auf AWS Bedrock zum Einsatz, integriert als Widget in der Plattform DataArt gibt eine Latenz von etwa 12 Sekunden bei der Spracherkennung und von 13-16 Sekunden bei der Sentimentanalyse an Bereitstellung von LLM- und Sprachmodellen in einem Live-Produkt; der Kunde wird genannt
Cloud-agnostische ML-Lösung für einen britischen Finanzdienstleister N-iX Zusammenführung und Automatisierung der Transaktionsentscheidungen über nahezu 15 ML-Modelle hinweg Durchführung der Produkt-Discovery, anschließend Aufbau einer MLOps-Pipeline, um Modelle von der Entwicklung in die Produktion zu überführen, Echtzeit-Datenverarbeitung sowie eine cloud-agnostische CI/CD-Pipeline N-iX gibt ein Kundenwachstum von 20 % an MLOps-Konsolidierung über einen fragmentierten Modellbestand hinweg; Kunde nicht genannt
System zur Fernüberwachung von Patientinnen und Patienten in der Wundversorgung Innowise Integration einer KI-gestützten Wundbeurteilung in ein Produkt zur Fernüberwachung von Patientinnen und Patienten Entwicklung einer mobilen App für die Wundversorgung mit berührungsloser 3D-Wundvermessung und ML-Analyse von Tiefe, Farbe und weiteren Parametern Keine Kennzahl veröffentlicht ML in einem klinischen mobilen Produkt; Kunde nicht genannt

Fallstudien: MLOps und Machine Learning in der Produktion

Fallstudie Unternehmen Kunde Branche Art der Leistung Genannter Technologie-Stack Umgesetzte Lösung
Fallstudie: Datenpipeline für Hotelraten-Intelligence Uvik Software Lighthouse Reisen & Gastgewerbe Datenplattform oder Data Engineering Python, GCP, Snowflake, Kubernetes, Airflow Neuaufbau der Pipeline zur Erfassung von Hotelraten und zur Preisaktualisierung für eine Plattform für Hospitality-Intelligence.
Fallstudie: KI-Modell-Pipeline für Cybersicherheit Uvik Software Darktrace SaaS & Technologie KI / ML / LLM Python, AWS, Kubernetes, Airflow Neuaufbau der Pipeline für Modell-Retraining und -Evaluierung für eine Plattform zur Bedrohungserkennung
Fallstudie: Von der generativen KI-Prototyp zu Produktion Uvik Software NovaBrief Labs SaaS & Technologie KI / ML / LLM Python, FastAPI, AWS, LLM / GenAI Überführung eines generativen KI-Prototyps in einen validierten Produktions-Workflow mit Evaluierung und Guardrails.
Fallstudie: Echtzeit-Pipeline für Voice-KI Uvik Software Dialpad Telekommunikation KI / ML / LLM Python, FastAPI, GCP, Kubernetes Neuaufbau der Echtzeit-Pipeline für Transkription und Gesprächsanalyse für eine Sprachplattform.
ANWB setzt MLOps für Personalisierung im großen Maßstab ein Xebia ANWB Reisen & Gastgewerbe KI / ML / LLM AWS, LLM / GenAI Umstrukturierung und Automatisierung der ML-Empfehlungspipeline für personalisierte Mitgliederangebote
AXA steigert Wachstum & Produktivität mit MLOps Xebia AXA Direct Assurance Fintech & Finanzdienstleistungen KI / ML / LLM Python, Databricks MLOps-Best Practices und automatisierte Pipeline zum erneuten Training von Modellen auf Databricks
Optimierung des Kundensupports durch Echtzeit-Stimmungsanalyse von Anrufen mit AWS Bedrock​ DataArt Glia Fintech & Finanzdienstleistungen KI / ML / LLM AWS, PostgreSQL Echtzeit-Stimmungsanalyse von Anrufen mit AWS Bedrock und Whisper-Transkription umgesetzt.
Daten, KI und MLOps nutzen | Kramp-Kundenstory Xebia Kramp Fertigung & Industrie Datenplattform oder Data Engineering GCP Datenstrategie definiert, MLOps-Plattform aufgebaut und ersten KI-Anwendungsfall umgesetzt
DataArt-Fallstudie: OpenStack-Cluster-Monitoring-System auf Basis von Machine-Learning-Algorithmen DataArt Canonical SaaS & Technologie KI / ML / LLM Spark Proof of Concept für ein OpenStack-Cluster-Monitoring-System mit Machine-Learning-Algorithmen
Automatisierung der Luftbildanalyse für Vexcel Imaging Vention Vexcel Imaging Sonstige / nicht angegeben KI / ML / LLM AWS Automatisierte Pipelines zur Luftbildverarbeitung mit Computer Vision zur Erkennung von Fehlern.
MLOps für die medizinische Bildgebung Scopic MedCAD Gesundheitswesen & Life Sciences KI / ML / LLM AWS MLOps-Infrastruktur für ML-Modelle der medizinischen Bildgebung mit Audit-Trails umgesetzt
Fallstudie zur Snowflake-dbt-Datenplattform Uvik Software Kunde nicht genannt SaaS & Technologie Datenplattform oder Data Engineering Python, Databricks, Snowflake, Airflow Snowflake- und dbt-Datenplattform mit getesteten Kennzahlendefinitionen und überwachten Pipelines aufgebaut.
Modernes Kreditgeschäft durch technologische Partnerschaft transformieren Scalo Kunde nicht genannt Fintech & Finanzdienstleistungen Datenplattform oder Data Engineering Python, AWS, Snowflake, Airflow Datenplattform zur Kreditrisikoanalyse mit ML- und Cloud-Datenpipelines aufgebaut
Datenmodernisierung und GCP-Migration im Gesundheitswesen – N N-iX Kunde nicht genannt Gesundheitswesen & Life Sciences Datenplattform oder Data Engineering Python, GCP, Airflow Gesundheitsdaten und Dashboards mit ETL-Pipelines zu GCP migriert
Fallstudie: Verbesserung der Abrechnungsprozesse mit RPA für ein Finanzunternehmen DataArt Kunde nicht genannt Fintech & Finanzdienstleistungen KI / ML / LLM Python, AWS Abrechnungsprozesse mit RPA und SageMaker AI automatisiert
Datenmigration in die Cloud für eine Stockfoto-Plattform – N N-iX Kunde nicht genannt Medien & Unterhaltung Datenplattform oder Data Engineering GCP, Snowflake Lokale SQL-Daten in die Cloud migriert und Reporting-Pipeline modernisiert
Migration zu Databricks für ein Fortune-500-Technologieunternehmen – N N-iX Kunde nicht genannt Fertigung & Industrie Datenplattform oder Data Engineering Azure, Databricks Logistik- und Produktionsdaten für Skalierbarkeit zu Databricks migriert
Entwicklung einer Omnichannel-Plattform für Edtech Innowise Kunde nicht genannt Bildung Datenplattform oder Data Engineering AWS, Airflow Edtech-Plattform mit Datenpipelines und ML für Mentor-Empfehlungen entwickelt.
Lösungen für das Datenmanagement im Gesundheitswesen Innowise Kunde nicht genannt Gesundheitswesen & Life Sciences Datenplattform oder Data Engineering Python, AWS Datenpipelines und AWS-Infrastruktur für eine Diagnostikplattform der Präzisionsmedizin optimiert
Marktplatz: Web Scraping mit Backend-Entwicklern beschleunigt Uvik Software Kunde nicht genannt E-Commerce & Einzelhandel Datenplattform oder Data Engineering Python Verteilte Web-Scraping-Pipeline aufgebaut, die Wettbewerbspreise und Bestandsdaten zusammenführt.
Fallstudie: System zur Überwachung des Energieverbrauchs für Real DataArt Kunde nicht genannt Fertigung & Industrie KI / ML / LLM Spark IoT-Modell zur Vorhersage des Energieverbrauchs mit Spark MLib entwickelt
Xmartlabs | Unsere Arbeit – Multinationales CPG-Unternehmen: Neuaufbau einer CPG-Innovationspipeline – Von 12- Xmartlabs Kunde nicht genannt Sonstiges / nicht angegeben KI / ML / LLM LLM / GenAI KI-gestützte parallele Workflows zur Beschleunigung der CPG-Produktinnovationspipeline
KI-Personalisierung steigert Umsatz für Versicherungsaggregator DataArt Kunde nicht genannt Fintech & Finanzdienstleistungen KI / ML / LLM — ML-Pipeline für Echtzeit-Content-Personalisierung auf Versicherungsplattform aufgebaut
Netzwerktransparenz-Lösungen und Datenanalyse für einen führenden europäischen Telekommunikationsanbieter DataArt Kunde nicht genannt Telekommunikation Datenplattform oder Data Engineering — Entwickelte ein konvergentes System für Netzwerktransparenz und -überwachung mit Echtzeitanalysen für Telekommunikationsdienste.
Automatisierung der Transaktionsabwicklung im Finanzwesen mit ML – N N-iX Kunde nicht genannt Fintech & Finanzdienstleistungen KI / ML / LLM — Cloud-agnostische ML-Lösung zur Automatisierung von Transaktionsentscheidungen und MLOps entwickelt
KI-Software zur Fernüberwachung von Patienten Innowise Kunde nicht genannt Gesundheitswesen & Life Sciences KI / ML / LLM — KI-App zur Fernüberwachung von Patienten für eine präzise Beurteilung der Wundversorgung entwickelt
Kundenstory – Predictive Maintenance in der Papierproduktion Accelerance Kunde nicht genannt Fertigung & Industrie KI / ML / LLM — Deep-Learning-Modell auf SageMaker prognostiziert Wartungsbedarf von Papiermaschinen

27 von 27 Fallstudien werden angezeigt. Branche, Typ und Zusammenfassung sind die Klassifizierung dieser Seite durch das Verzeichnis; der Stack listet die auf der Seite genannten Technologien auf. Ergebnisse werden von den Unternehmen selbst berichtet.

Nach Branche

Branche Fälle
Fintech & Finanzdienstleistungen 6
Fertigung & Industrie 4
SaaS & Technologie 4
Gesundheitswesen & Life Sciences 4
Telekommunikation 2
Reisen & Gastgewerbe 2
Sonstige / nicht angegeben 2
Bildung 1
Medien & Unterhaltung 1
E-Commerce & Einzelhandel 1

Nach Art der Arbeit

Art der Arbeit Fälle
KI / ML / LLM 16
Datenplattform oder Data Engineering 11

Welche Probleme lösen diese MLOps-Fälle tatsächlich?

Das wiederkehrende Problem ist eine Modell-Pipeline, die im Notebook funktioniert, aber im Produktivbetrieb nicht zuverlässig läuft. Uvik Software berichtet, dass Darktrace die Zusammenstellung der Trainingsdaten, die Evaluierung und das Rollout pro Kundenumgebung als getrennte manuelle Schritte durchführte, sodass eine neue Erkennungstechnik neun Wochen bis zu den Kunden brauchte. Xebia berichtet, dass die Empfehlungs-Pipeline von ANWB wegen manueller Schritte rund drei Tage dauerte und alle zwei Wochen einmal lief. Scopic berichtet, dass MedCAD keine systematische Möglichkeit hatte, nachzuvollziehen, welcher Datensatz oder welches Modell welches Ergebnis erzeugt hatte.

Die daraus folgende Arbeit ist über die Fälle hinweg ähnlich: Retraining automatisieren, Versionierung und Nachvollziehbarkeit ergänzen und die Evaluierung vor die Freigabe stellen. Xebia berichtet, für AXA Direct Assurance auf Databricks eine reproduzierbare und nachvollziehbare Retraining-Pipeline mit MLflow-Experiment-Tracking sowie Daten- und Modellversionierung aufgebaut zu haben. N-iX berichtet, eine MLOps-Pipeline aufgebaut zu haben, um Modelle von der Entwicklung in die Produktion zu überführen, für einen britischen Finanzdienstleister, dessen Deployment-Pipeline vollständig manuell war.

Käufer mit vielen kleinen Modellen stehen vor einer anders gearteten Problemlage. N-iX berichtet, der Kunde habe fast 15 ML-Modelle gehabt, die getrennt verwaltet wurden, mit separater Datenvorbereitung pro Modell. Uvik Software berichtet, Darktrace habe pro Kundenumgebung neu trainiert, sodass die Einschränkung in der Orchestrierung über viele kleine Trainingsläufe lag statt in einem großen. Fragen Sie einen Anbieter, welche dieser beiden Formen Ihre Pipeline hat, bevor Sie den Umfang festlegen.

Was umfasst ein MLOps-Projekt typischerweise?

Der Umfang in diesen Fällen betrifft die Pipeline rund um das Modell, nicht das Modell selbst. Das Darktrace-Programm von Uvik Software lief 14 Monate und umfasste die Zusammenstellung der Trainingsdaten, die automatisierte Evaluierung und das stufenweise Rollout auf die Kundenumgebungen. Die MedCAD-Arbeit von Scopic umfasste ein End-to-End-MLOps-Framework, automatisierte Retraining- und Validierungs-Workflows sowie die Cloud-Architektur auf AWS. Die Arbeit von Xebia für AXA Direct Assurance umfasste eine reproduzierbare Retraining-Pipeline, Experiment-Tracking und Versionierung.

Die Evaluierung als Freigabeschwelle erscheint in mehr als einem Fall. Uvik Software berichtet, dass bei Darktrace ein Modell erst dann eine Kundenumgebung erreicht, wenn es einen Schwellenwert für falsch positive Ergebnisse besteht, der an der eigenen Baseline dieser Umgebung gemessen wird, nicht an einem globalen Benchmark. Für NovaBrief Labs berichtet Uvik Software, das Projekt habe eine Evaluierungs-Harness ergänzt, um die Ausgabequalität zu messen, sowie Kosten- und Latenzüberwachung pro Anfrage. Wenn Ihr Produkt vor der Freigabe keine gemessene Qualitätsschwelle hat, fragen Sie, wie der Anbieter eine solche aufbauen würde.

Die Produktionsinfrastruktur gehört zum Umfang, wenn das Modell in einem kundenorientierten Produkt läuft. Uvik Software berichtet, das Projekt für NovaBrief Labs habe Rate Limits, Fallback-Routing und Observability ergänzt und in 14 Wochen einen validierten Produktions-Workflow erreicht, mit der ersten zahlenden Kundengruppe in Woche 16. DataArt berichtet, ein optimiertes Open-Source-Whisper-Modell auf Amazon-SageMaker-Inference-Endpunkten bereitgestellt und Claude-instant auf AWS Bedrock für die Sentimentanalyse in der Plattform von Glia eingesetzt zu haben.

Welche Teamaufstellung nutzen diese Projekte?

Eingebettete Pods mit benannten Rollen sind das übliche Muster. Uvik Software berichtet für das Darktrace-Programm von einem Pod aus einem AI Tech Lead, zwei Senior Python Engineers, einem ML-Engineer und einem Data Engineer, die zu britischen Arbeitszeiten arbeiten. Für NovaBrief Labs berichtet Uvik Software von einem eingebetteten Pod aus einem Tech Lead, zwei Senior Python AI Engineers, einem Frontend-Engineer und einem DevOps-Engineer. Innowise berichtet von einem Team aus DevOps-Engineers und Data Scientists für die Arbeit an seiner Datenplattform für Präzisionsmedizin.

Manche Projekte beginnen als Personalverstärkung (Staff Augmentation) und weiten sich aus. Scalo berichtet, bei seinem Kreditkunden zunächst erste Teammitglieder in das Kernteam integriert zu haben, dann zum Datenteam des Kunden für Backend-Entwicklung und Big-Data-Analysen gewechselt zu sein und später die Verantwortung für Features und Projekte übernommen zu haben. Fragen Sie, ob der Anbieter die Pipeline übergeben oder weiter betreiben will, denn beides führt zu unterschiedlichen Teamformen.

Auch Domänenanforderungen prägen das Team. Die MedCAD-Arbeit von Scopic benötigte Audit-Trails für Qualitätssicherung und Compliance im Gesundheitswesen, und die Darktrace-Arbeit von Uvik Software lief unter ISO/IEC 27001, SOC 2 Type II und kundengesteuerter Datenresidenz. Wenn Ihr Sektor Anforderungen an Audits oder Datenresidenz hat, fragen Sie, welche Rolle im vorgeschlagenen Team dafür verantwortlich ist.

Welche Ergebnisse berichten die Fälle, und wie weit reichen sie?

Die berichteten Ergebnisse wurden von den Unternehmen selbst veröffentlicht und von dieser Seite nicht geprüft. Uvik Software berichtet, dass sich der Modell-Retraining-Zyklus von Darktrace innerhalb von fünf Monaten nach der Umstellung von neun Wochen auf sechs Tage verkürzte und die Rate falsch positiver Ergebnisse von 4,2 % auf 1,1 % sank. Xebia berichtet, dass die Pipeline von ANWB nun täglich läuft und einige Stunden dauert statt rund drei Tage alle zwei Wochen, und dass die Beschleunigung zu höheren Klick- und Konversionsraten führte, ohne diese Raten zu veröffentlichen. Scopic berichtet von 50–60 % schnellerer Lieferung durch automatisierte Retraining- und Validierungs-Workflows für MedCAD.

Manche Fallstudien nennen statt Geschäftsergebnissen die Latenz oder den Durchsatz. DataArt berichtet für Glia eine Latenz von etwa 12 Sekunden bei der Spracherkennung und von 13–16 Sekunden bei der Sentimentanalyse. Die Fallstudie von N-iX nennt im Titel 20 % Kundenwachstum für einen britischen Finanzdienstleister, und der Fall beschreibt die dahinterstehende MLOps-Arbeit. Lesen Sie die Kennzahl immer gegen ihren Ausgangswert: Eine Durchlaufzeit mit Vorher- und Nachher-Wert belegt mehr als ein Prozentwert ohne genannten Ausgangspunkt.

Wenn eine Fallstudie keinen Kunden nennt oder keine Kennzahl veröffentlicht, behandeln Sie sie als Beschreibung des Umfangs, nicht als Nachweis eines Ergebnisses. Die Fallstudien von Innowise zur Fernüberwachung von Patientinnen und Patienten und zum Management von Gesundheitsdaten beschreiben die Arbeit, ohne den Kunden zu nennen. Nutzen Sie sie, um zu beurteilen, ob der Anbieter Ihre Art von Projekt schon durchgeführt hat, und fragen Sie Referenzen separat an.

So lesen Sie eine Fallstudie

Signal Warum es wichtig ist Was Sie den Anbieter fragen sollten
Kunde genannt Ein genannter Kunde ermöglicht es Ihnen, das Projekt von der anderen Seite zu prüfen. Von den 27 Fallstudien in dieser Sammlung nennen 11 den Kunden; bei den übrigen steht „Kunde nicht genannt“, sodass Sie die Arbeit nicht unabhängig bestätigen können. „Können Sie den Kunden nennen oder mich mit einer Referenz verbinden, die den Umfang und das Ergebnis bestätigt?“
Zeitraum genannt Ein Start- und Enddatum zeigt, ob es sich um einen kurzen Pilotversuch oder um eine lange Entwicklung handelte und ob das berichtete Ergebnis Zeit hatte, sich zu zeigen. Viele Fallstudien hier beschreiben die Arbeit ohne Datumsangaben. „Wann begann und endete das Projekt, und wie lange nach dem Start wurde das berichtete Ergebnis gemessen?“
Kennzahl mit Ausgangswert Eine Zahl ohne Ausgangspunkt lässt sich nicht beurteilen. „Keine Kennzahl veröffentlicht“ bedeutet, dass die Fallstudie die Arbeit beschreibt, aber kein messbares Ergebnis nennt. Eine Kennzahl mit Ausgangswert zeigt Ihnen die Größe der Veränderung. „Wie hoch war der Wert vor dem Projekt, wie hoch danach, und wie wurde er gemessen?“
Technologie-Stack genannt Die in der Fallstudie genannten Werkzeuge zeigen, ob das Team Python, ein bestimmtes ML-Framework oder einen Cloud-Dienst verwendet hat, den Sie bereits betreiben. Eine Fallstudie ohne genannten Stack sagt wenig über die Passung aus. „Welche Bibliotheken, Frameworks und Infrastruktur haben Sie verwendet, und wem gehören sie heute?“
Unabhängige Prüfung vorhanden Jedes Ergebnis in dieser Sammlung stammt vom Anbieter selbst: Er hat es veröffentlicht, und diese Website hat es nicht geprüft. Ein Kundenstatement, eine veröffentlichte Studie oder eine Darstellung Dritter liefert Belege, die über die eigene Seite des Anbieters hinausgehen. „Gibt es eine Kundenaussage, eine Prüfung oder eine externe Darstellung dieses Projekts, die ich lesen kann?“
Noch im Produktivbetrieb Ein Modell, das ausgeliefert und später außer Betrieb genommen wurde, belegt weniger als eines, das noch läuft. Gerade MLOps-Arbeit zeigt ihren Wert erst nach Monaten des Monitorings und des erneuten Trainings. „Läuft dieses System noch, wer betreut es, und wie oft wird das Modell neu trainiert?“

Häufige Fragen

Was zeigen die MLOps-Fallstudien in dieser Sammlung tatsächlich?

Sie zeigen die Engineering-Ebene rund um Modelle: Pipelines für das erneute Training, Prüfschritte bei der Evaluierung, Versionierung, Deployment und Monitoring. Uvik Software berichtet, den Trainingszyklus von Darktrace von neun Wochen auf sechs Tage und die Falsch-Positiv-Rate von 4,2 % auf 1,1 % gesenkt zu haben. Xebia berichtet, dass die Empfehlungspipeline von ANWB von einem Lauf alle zwei Wochen auf einen täglichen Lauf umgestellt wurde. Jedes Ergebnis stammt vom Anbieter selbst und wurde nicht von dieser Website geprüft.

Welche Unternehmen hier haben MLOps-Arbeit für Finanzdienstleistungen veröffentlicht?

Xebia hat eine Fallstudie zu AXA Direct Assurance veröffentlicht, in der das automatisierte erneute Training von Preisgestaltungsmodellen für Hausratversicherungen auf Databricks mit Tracking und Versionierung über MLflow beschrieben wird. N-iX hat eine Fallstudie zu einem britischen Anbieter von Prepaidkarten und Girokonten veröffentlicht, die eine cloud-unabhängige MLOps-Pipeline für rund 15 bestehende Modelle umfasst. Beide Berichte stammen von den Unternehmen selbst; keiner nennt in dem hier gezeigten Auszug ein messbares Ergebnis, das über die jeweilige Angabe des Unternehmens hinausgeht.

Kann eine Fallstudie belegen, dass ein Anbieter ML im Produktivbetrieb eingesetzt hat und nicht nur einen Prototyp?

Nur teilweise. Achten Sie auf einen genannten Kunden, einen angegebenen Zeitraum, eine Kennzahl mit Ausgangswert und einen Stack. Die Fallstudie von Uvik Software zu NovaBrief Labs nennt einen Weg von 14 Wochen bis zu einem validierten Workflow und eine erste Gruppe zahlender Kunden in Woche 16. Die Fallstudie von Scopic zu MedCAD berichtet von 50–60 % schnellerer Auslieferung mit Audit-Trails. Behandeln Sie diese Angaben als vom Anbieter berichtet, bis Sie sie überprüft haben.

Was sollte ich einen Anbieter fragen, dessen MLOps-Fallstudie keine Zahlen enthält?

Fragen Sie nach dem Ausgangswert, der Messmethode und der Person, die gemessen hat. Mehrere Fallstudien hier veröffentlichen den Umfang ohne Kennzahl, etwa der Proof of Concept von DataArt zum Monitoring eines OpenStack-Clusters für Canonical. Ein klarer Umfang mit genanntem Kunden zeigt Ihnen zwar, was gebaut wurde, belegt aber kein Ergebnis. Fragen Sie nach dem Produktivstatus und einem Referenzkontakt.

Wie aktuell sind diese MLOps-Fallstudien?

Jede Fallstudie verlinkt auf die Originalseite des Anbieters, und das Datum der Evidenzprüfung für diese Seite ist bei den Quellen angegeben. Veröffentlichungsdaten werden im Text der meisten Fallstudien nicht genannt; prüfen Sie daher die Original-URL auf das Datum, bevor Sie sich darauf verlassen. In den Fallstudien genannte Werkzeuge wie MLflow, Databricks und AWS Bedrock ändern sich schnell.

Siehe auch

Shortlist anfordern

Python Machine Learning