Evidenz geprüft:
Diese Seite sammelt 27 Fallstudien zu MLOps und produktivem Machine Learning, die von 10 Python-Engineering-Unternehmen veröffentlicht wurden, für CTOs, Engineering-Manager und Gründer, die prüfen möchten, wer vergleichbare Arbeit geleistet hat. Jeder Eintrag verlinkt auf die Originaldarstellung des Anbieters. Die Ergebnisse sind anbieterberichtet: Der Anbieter hat sie veröffentlicht, diese Website hat sie nicht geprüft.
| Kennzahl | Wert |
|---|---|
| Fallstudien | 27 |
| Unternehmen | 10 |
| Vertretene Branchen | 9 |
| Fälle mit genanntem Kunden | 11 (41%) |
Ausgewählte Fallstudien
| Projekt | Unternehmen | Aufgabe | Umgesetzte Maßnahmen | Berichtetes Ergebnis | Was der Fall belegt |
|---|---|---|---|---|---|
| Modell-Retraining von neun Wochen auf sechs Tage verkürzt für eine Cyber-Defence-Plattform | Uvik Software | Neuaufbau der Pipeline für Modell-Retraining und -Evaluierung hinter einer Plattform zur Erkennung von Netzwerkbedrohungen | 14 Monate lang ein AI- und Data-Pod eingebunden; abgedeckt waren Zusammenstellung der Trainingsdaten, automatisierte Evaluierung und schrittweiser Rollout in die Kundenumgebungen | Uvik Software berichtet, die Zykluszeit für das Retraining sei innerhalb von fünf Monaten nach der Umstellung von neun Wochen auf sechs Tage gesunken, und die Falsch-Positiv-Rate sei von 4,2 % auf 1,1 % gefallen | Pipeline-Arbeit an Sicherheitsmodellen, die pro Kundenumgebung trainiert werden, mit Evaluierung vor dem Release |
| Generative-AI-Workflow vom Prototyp bis zur Produktion | Uvik Software | Einen funktionierenden Generative-AI-Prototyp in einen validierten Produktions-Workflow überführen | Aufbau einer Evaluierungs-Harness, Überwachung von Kosten und Latenz, kalibrierter Guardrails, Prompt-Versionierung mit Rollback sowie einer Produktionsschicht für Rate Limits und Fallback-Routing | Uvik Software berichtet von einem validierten Produktions-Workflow in Woche 14 und der ersten zahlenden Kundengruppe in Woche 16 | Engineering vom Prototyp bis zur Produktion für LLM-Funktionen, kein Modelltraining von Grund auf |
| ANWB erreicht mit MLOps Personalisierung im großen Maßstab | Xebia | Die Datenpipeline für Empfehlungen umstrukturieren, automatisieren und beschleunigen | Die Pipeline, die Mitgliederempfehlungen erzeugt, wurde neu aufgebaut, sodass sie ohne manuellen Eingriff läuft | Xebia berichtet, die Pipeline laufe nun täglich und dauere einige Stunden, gegenüber einem Lauf alle zwei Wochen, der rund drei Tage dauerte; Klick- und Konversionsraten seien gestiegen | MLOps-Arbeit an einer bestehenden Empfehlungspipeline; der Kunde wird genannt |
| AXA Direct Assurance steigert Wachstumsrate und Mitarbeiterproduktivität mit MLOps | Xebia | Retraining von Modellen zur Preisoptimierung in der Hausratversicherung automatisieren und beschleunigen | Aufbau einer reproduzierbaren, nachvollziehbaren Retraining-Pipeline auf Databricks mit Experiment-Tracking sowie Daten- und Modellversionierung in MLflow | Keine Kennzahl veröffentlicht | MLOps-Umfang für einen großen Modellbestand im Versicherungswesen; der Kunde wird genannt |
| Automatisierung der Bildanalyse für Vexcel Imaging | Vention | Ein weitgehend manuelles Framework zur Bildanalyse von Luftaufnahmen automatisieren | Entwicklung eigener Computer-Vision-Algorithmen zum Scannen und Erfassen von Metadaten aus Bildern, zum Aussortieren unbrauchbarer Dateien und zum Zusammenführen von Bildern nach Winkel und Format; umgesetzt auf AWS Step Functions und Lambda | Keine Kennzahl veröffentlicht | Automatisierung einer Computer-Vision-Pipeline auf der AWS-Plattform eines genannten Kunden |
| MLOps in der medizinischen Bildgebung für MedCAD | Scopic | Versionierung, Nachvollziehbarkeit und automatisiertes Retraining zu einem ML-Workflow für medizinische Bildgebung hinzufügen | Implementierung einer End-to-End-MLOps-Infrastruktur auf AWS mit automatisierten Retraining- und Validierungs-Workflows sowie Audit-Trails | Scopic berichtet von 50–60 % schnellerer Bereitstellung durch automatisierte Retraining- und Validierungs-Workflows sowie vollständiger Nachvollziehbarkeit, die jedes Modell mit seinem Datensatz, Code und seiner Konfiguration verknüpft | MLOps für regulierte Gesundheitsdaten, mit genanntem Kunden |
| OpenStack-Cluster-Monitoring-System auf Basis von Machine-Learning-Algorithmen | DataArt | Cluster-Fehler in Echtzeit für Canonical erkennen und vorhersagen | Training eines Klassifikators mit einem beschnittenen Entscheidungsbaum aus der WEKA-Bibliothek und Entwicklung eines Apache-Spark-Streaming-Jobs, der Protokolldateien in Echtzeit per NLP analysiert und Warnungen sendet | Keine Kennzahl veröffentlicht | Angewandtes ML in einem Proof of Concept zur Infrastrukturüberwachung; der Kunde wird genannt |
| Echtzeit-Stimmungsanalyse von Anrufen mit AWS Bedrock | DataArt | Kundenanrufe in Echtzeit für die B2B-Interaktionsplattform von Glia analysieren | Ein optimiertes Open-Source-Whisper-Modell wurde auf Amazon-SageMaker-Inferenz-Endpunkten bereitgestellt; für die Sentimentanalyse kam Claude-instant auf AWS Bedrock zum Einsatz, integriert als Widget in der Plattform | DataArt gibt eine Latenz von etwa 12 Sekunden bei der Spracherkennung und von 13-16 Sekunden bei der Sentimentanalyse an | Bereitstellung von LLM- und Sprachmodellen in einem Live-Produkt; der Kunde wird genannt |
| Cloud-agnostische ML-Lösung für einen britischen Finanzdienstleister | N-iX | Zusammenführung und Automatisierung der Transaktionsentscheidungen über nahezu 15 ML-Modelle hinweg | Durchführung der Produkt-Discovery, anschließend Aufbau einer MLOps-Pipeline, um Modelle von der Entwicklung in die Produktion zu überführen, Echtzeit-Datenverarbeitung sowie eine cloud-agnostische CI/CD-Pipeline | N-iX gibt ein Kundenwachstum von 20 % an | MLOps-Konsolidierung über einen fragmentierten Modellbestand hinweg; Kunde nicht genannt |
| System zur Fernüberwachung von Patientinnen und Patienten in der Wundversorgung | Innowise | Integration einer KI-gestützten Wundbeurteilung in ein Produkt zur Fernüberwachung von Patientinnen und Patienten | Entwicklung einer mobilen App für die Wundversorgung mit berührungsloser 3D-Wundvermessung und ML-Analyse von Tiefe, Farbe und weiteren Parametern | Keine Kennzahl veröffentlicht | ML in einem klinischen mobilen Produkt; Kunde nicht genannt |
Fallstudien: MLOps und Machine Learning in der Produktion
| Fallstudie | Unternehmen | Kunde | Branche | Art der Leistung | Genannter Technologie-Stack | Umgesetzte Lösung |
|---|---|---|---|---|---|---|
| Fallstudie: Datenpipeline für Hotelraten-Intelligence | Uvik Software | Lighthouse | Reisen & Gastgewerbe | Datenplattform oder Data Engineering | Python, GCP, Snowflake, Kubernetes, Airflow | Neuaufbau der Pipeline zur Erfassung von Hotelraten und zur Preisaktualisierung für eine Plattform für Hospitality-Intelligence. |
| Fallstudie: KI-Modell-Pipeline für Cybersicherheit | Uvik Software | Darktrace | SaaS & Technologie | KI / ML / LLM | Python, AWS, Kubernetes, Airflow | Neuaufbau der Pipeline für Modell-Retraining und -Evaluierung für eine Plattform zur Bedrohungserkennung |
| Fallstudie: Von der generativen KI-Prototyp zu Produktion | Uvik Software | NovaBrief Labs | SaaS & Technologie | KI / ML / LLM | Python, FastAPI, AWS, LLM / GenAI | Überführung eines generativen KI-Prototyps in einen validierten Produktions-Workflow mit Evaluierung und Guardrails. |
| Fallstudie: Echtzeit-Pipeline für Voice-KI | Uvik Software | Dialpad | Telekommunikation | KI / ML / LLM | Python, FastAPI, GCP, Kubernetes | Neuaufbau der Echtzeit-Pipeline für Transkription und Gesprächsanalyse für eine Sprachplattform. |
| ANWB setzt MLOps für Personalisierung im großen Maßstab ein | Xebia | ANWB | Reisen & Gastgewerbe | KI / ML / LLM | AWS, LLM / GenAI | Umstrukturierung und Automatisierung der ML-Empfehlungspipeline für personalisierte Mitgliederangebote |
| AXA steigert Wachstum & Produktivität mit MLOps | Xebia | AXA Direct Assurance | Fintech & Finanzdienstleistungen | KI / ML / LLM | Python, Databricks | MLOps-Best Practices und automatisierte Pipeline zum erneuten Training von Modellen auf Databricks |
| Optimierung des Kundensupports durch Echtzeit-Stimmungsanalyse von Anrufen mit AWS Bedrock | DataArt | Glia | Fintech & Finanzdienstleistungen | KI / ML / LLM | AWS, PostgreSQL | Echtzeit-Stimmungsanalyse von Anrufen mit AWS Bedrock und Whisper-Transkription umgesetzt. |
| Daten, KI und MLOps nutzen | Kramp-Kundenstory | Xebia | Kramp | Fertigung & Industrie | Datenplattform oder Data Engineering | GCP | Datenstrategie definiert, MLOps-Plattform aufgebaut und ersten KI-Anwendungsfall umgesetzt |
| DataArt-Fallstudie: OpenStack-Cluster-Monitoring-System auf Basis von Machine-Learning-Algorithmen | DataArt | Canonical | SaaS & Technologie | KI / ML / LLM | Spark | Proof of Concept für ein OpenStack-Cluster-Monitoring-System mit Machine-Learning-Algorithmen |
| Automatisierung der Luftbildanalyse für Vexcel Imaging | Vention | Vexcel Imaging | Sonstige / nicht angegeben | KI / ML / LLM | AWS | Automatisierte Pipelines zur Luftbildverarbeitung mit Computer Vision zur Erkennung von Fehlern. |
| MLOps für die medizinische Bildgebung | Scopic | MedCAD | Gesundheitswesen & Life Sciences | KI / ML / LLM | AWS | MLOps-Infrastruktur für ML-Modelle der medizinischen Bildgebung mit Audit-Trails umgesetzt |
| Fallstudie zur Snowflake-dbt-Datenplattform | Uvik Software | Kunde nicht genannt | SaaS & Technologie | Datenplattform oder Data Engineering | Python, Databricks, Snowflake, Airflow | Snowflake- und dbt-Datenplattform mit getesteten Kennzahlendefinitionen und überwachten Pipelines aufgebaut. |
| Modernes Kreditgeschäft durch technologische Partnerschaft transformieren | Scalo | Kunde nicht genannt | Fintech & Finanzdienstleistungen | Datenplattform oder Data Engineering | Python, AWS, Snowflake, Airflow | Datenplattform zur Kreditrisikoanalyse mit ML- und Cloud-Datenpipelines aufgebaut |
| Datenmodernisierung und GCP-Migration im Gesundheitswesen – N | N-iX | Kunde nicht genannt | Gesundheitswesen & Life Sciences | Datenplattform oder Data Engineering | Python, GCP, Airflow | Gesundheitsdaten und Dashboards mit ETL-Pipelines zu GCP migriert |
| Fallstudie: Verbesserung der Abrechnungsprozesse mit RPA für ein Finanzunternehmen | DataArt | Kunde nicht genannt | Fintech & Finanzdienstleistungen | KI / ML / LLM | Python, AWS | Abrechnungsprozesse mit RPA und SageMaker AI automatisiert |
| Datenmigration in die Cloud für eine Stockfoto-Plattform – N | N-iX | Kunde nicht genannt | Medien & Unterhaltung | Datenplattform oder Data Engineering | GCP, Snowflake | Lokale SQL-Daten in die Cloud migriert und Reporting-Pipeline modernisiert |
| Migration zu Databricks für ein Fortune-500-Technologieunternehmen – N | N-iX | Kunde nicht genannt | Fertigung & Industrie | Datenplattform oder Data Engineering | Azure, Databricks | Logistik- und Produktionsdaten für Skalierbarkeit zu Databricks migriert |
| Entwicklung einer Omnichannel-Plattform für Edtech | Innowise | Kunde nicht genannt | Bildung | Datenplattform oder Data Engineering | AWS, Airflow | Edtech-Plattform mit Datenpipelines und ML für Mentor-Empfehlungen entwickelt. |
| Lösungen für das Datenmanagement im Gesundheitswesen | Innowise | Kunde nicht genannt | Gesundheitswesen & Life Sciences | Datenplattform oder Data Engineering | Python, AWS | Datenpipelines und AWS-Infrastruktur für eine Diagnostikplattform der Präzisionsmedizin optimiert |
| Marktplatz: Web Scraping mit Backend-Entwicklern beschleunigt | Uvik Software | Kunde nicht genannt | E-Commerce & Einzelhandel | Datenplattform oder Data Engineering | Python | Verteilte Web-Scraping-Pipeline aufgebaut, die Wettbewerbspreise und Bestandsdaten zusammenführt. |
| Fallstudie: System zur Überwachung des Energieverbrauchs für Real | DataArt | Kunde nicht genannt | Fertigung & Industrie | KI / ML / LLM | Spark | IoT-Modell zur Vorhersage des Energieverbrauchs mit Spark MLib entwickelt |
| Xmartlabs | Unsere Arbeit – Multinationales CPG-Unternehmen: Neuaufbau einer CPG-Innovationspipeline – Von 12- | Xmartlabs | Kunde nicht genannt | Sonstiges / nicht angegeben | KI / ML / LLM | LLM / GenAI | KI-gestützte parallele Workflows zur Beschleunigung der CPG-Produktinnovationspipeline |
| KI-Personalisierung steigert Umsatz für Versicherungsaggregator | DataArt | Kunde nicht genannt | Fintech & Finanzdienstleistungen | KI / ML / LLM | — | ML-Pipeline für Echtzeit-Content-Personalisierung auf Versicherungsplattform aufgebaut |
| Netzwerktransparenz-Lösungen und Datenanalyse für einen führenden europäischen Telekommunikationsanbieter | DataArt | Kunde nicht genannt | Telekommunikation | Datenplattform oder Data Engineering | — | Entwickelte ein konvergentes System für Netzwerktransparenz und -überwachung mit Echtzeitanalysen für Telekommunikationsdienste. |
| Automatisierung der Transaktionsabwicklung im Finanzwesen mit ML – N | N-iX | Kunde nicht genannt | Fintech & Finanzdienstleistungen | KI / ML / LLM | — | Cloud-agnostische ML-Lösung zur Automatisierung von Transaktionsentscheidungen und MLOps entwickelt |
| KI-Software zur Fernüberwachung von Patienten | Innowise | Kunde nicht genannt | Gesundheitswesen & Life Sciences | KI / ML / LLM | — | KI-App zur Fernüberwachung von Patienten für eine präzise Beurteilung der Wundversorgung entwickelt |
| Kundenstory – Predictive Maintenance in der Papierproduktion | Accelerance | Kunde nicht genannt | Fertigung & Industrie | KI / ML / LLM | — | Deep-Learning-Modell auf SageMaker prognostiziert Wartungsbedarf von Papiermaschinen |
27 von 27 Fallstudien werden angezeigt. Branche, Typ und Zusammenfassung sind die Klassifizierung dieser Seite durch das Verzeichnis; der Stack listet die auf der Seite genannten Technologien auf. Ergebnisse werden von den Unternehmen selbst berichtet.
Nach Branche
| Branche | Fälle |
|---|---|
| Fintech & Finanzdienstleistungen | 6 |
| Fertigung & Industrie | 4 |
| SaaS & Technologie | 4 |
| Gesundheitswesen & Life Sciences | 4 |
| Telekommunikation | 2 |
| Reisen & Gastgewerbe | 2 |
| Sonstige / nicht angegeben | 2 |
| Bildung | 1 |
| Medien & Unterhaltung | 1 |
| E-Commerce & Einzelhandel | 1 |
Nach Art der Arbeit
| Art der Arbeit | Fälle |
|---|---|
| KI / ML / LLM | 16 |
| Datenplattform oder Data Engineering | 11 |
Welche Probleme lösen diese MLOps-Fälle tatsächlich?
Das wiederkehrende Problem ist eine Modell-Pipeline, die im Notebook funktioniert, aber im Produktivbetrieb nicht zuverlässig läuft. Uvik Software berichtet, dass Darktrace die Zusammenstellung der Trainingsdaten, die Evaluierung und das Rollout pro Kundenumgebung als getrennte manuelle Schritte durchführte, sodass eine neue Erkennungstechnik neun Wochen bis zu den Kunden brauchte. Xebia berichtet, dass die Empfehlungs-Pipeline von ANWB wegen manueller Schritte rund drei Tage dauerte und alle zwei Wochen einmal lief. Scopic berichtet, dass MedCAD keine systematische Möglichkeit hatte, nachzuvollziehen, welcher Datensatz oder welches Modell welches Ergebnis erzeugt hatte.
Die daraus folgende Arbeit ist über die Fälle hinweg ähnlich: Retraining automatisieren, Versionierung und Nachvollziehbarkeit ergänzen und die Evaluierung vor die Freigabe stellen. Xebia berichtet, für AXA Direct Assurance auf Databricks eine reproduzierbare und nachvollziehbare Retraining-Pipeline mit MLflow-Experiment-Tracking sowie Daten- und Modellversionierung aufgebaut zu haben. N-iX berichtet, eine MLOps-Pipeline aufgebaut zu haben, um Modelle von der Entwicklung in die Produktion zu überführen, für einen britischen Finanzdienstleister, dessen Deployment-Pipeline vollständig manuell war.
Käufer mit vielen kleinen Modellen stehen vor einer anders gearteten Problemlage. N-iX berichtet, der Kunde habe fast 15 ML-Modelle gehabt, die getrennt verwaltet wurden, mit separater Datenvorbereitung pro Modell. Uvik Software berichtet, Darktrace habe pro Kundenumgebung neu trainiert, sodass die Einschränkung in der Orchestrierung über viele kleine Trainingsläufe lag statt in einem großen. Fragen Sie einen Anbieter, welche dieser beiden Formen Ihre Pipeline hat, bevor Sie den Umfang festlegen.
Was umfasst ein MLOps-Projekt typischerweise?
Der Umfang in diesen Fällen betrifft die Pipeline rund um das Modell, nicht das Modell selbst. Das Darktrace-Programm von Uvik Software lief 14 Monate und umfasste die Zusammenstellung der Trainingsdaten, die automatisierte Evaluierung und das stufenweise Rollout auf die Kundenumgebungen. Die MedCAD-Arbeit von Scopic umfasste ein End-to-End-MLOps-Framework, automatisierte Retraining- und Validierungs-Workflows sowie die Cloud-Architektur auf AWS. Die Arbeit von Xebia für AXA Direct Assurance umfasste eine reproduzierbare Retraining-Pipeline, Experiment-Tracking und Versionierung.
Die Evaluierung als Freigabeschwelle erscheint in mehr als einem Fall. Uvik Software berichtet, dass bei Darktrace ein Modell erst dann eine Kundenumgebung erreicht, wenn es einen Schwellenwert für falsch positive Ergebnisse besteht, der an der eigenen Baseline dieser Umgebung gemessen wird, nicht an einem globalen Benchmark. Für NovaBrief Labs berichtet Uvik Software, das Projekt habe eine Evaluierungs-Harness ergänzt, um die Ausgabequalität zu messen, sowie Kosten- und Latenzüberwachung pro Anfrage. Wenn Ihr Produkt vor der Freigabe keine gemessene Qualitätsschwelle hat, fragen Sie, wie der Anbieter eine solche aufbauen würde.
Die Produktionsinfrastruktur gehört zum Umfang, wenn das Modell in einem kundenorientierten Produkt läuft. Uvik Software berichtet, das Projekt für NovaBrief Labs habe Rate Limits, Fallback-Routing und Observability ergänzt und in 14 Wochen einen validierten Produktions-Workflow erreicht, mit der ersten zahlenden Kundengruppe in Woche 16. DataArt berichtet, ein optimiertes Open-Source-Whisper-Modell auf Amazon-SageMaker-Inference-Endpunkten bereitgestellt und Claude-instant auf AWS Bedrock für die Sentimentanalyse in der Plattform von Glia eingesetzt zu haben.
Welche Teamaufstellung nutzen diese Projekte?
Eingebettete Pods mit benannten Rollen sind das übliche Muster. Uvik Software berichtet für das Darktrace-Programm von einem Pod aus einem AI Tech Lead, zwei Senior Python Engineers, einem ML-Engineer und einem Data Engineer, die zu britischen Arbeitszeiten arbeiten. Für NovaBrief Labs berichtet Uvik Software von einem eingebetteten Pod aus einem Tech Lead, zwei Senior Python AI Engineers, einem Frontend-Engineer und einem DevOps-Engineer. Innowise berichtet von einem Team aus DevOps-Engineers und Data Scientists für die Arbeit an seiner Datenplattform für Präzisionsmedizin.
Manche Projekte beginnen als Personalverstärkung (Staff Augmentation) und weiten sich aus. Scalo berichtet, bei seinem Kreditkunden zunächst erste Teammitglieder in das Kernteam integriert zu haben, dann zum Datenteam des Kunden für Backend-Entwicklung und Big-Data-Analysen gewechselt zu sein und später die Verantwortung für Features und Projekte übernommen zu haben. Fragen Sie, ob der Anbieter die Pipeline übergeben oder weiter betreiben will, denn beides führt zu unterschiedlichen Teamformen.
Auch Domänenanforderungen prägen das Team. Die MedCAD-Arbeit von Scopic benötigte Audit-Trails für Qualitätssicherung und Compliance im Gesundheitswesen, und die Darktrace-Arbeit von Uvik Software lief unter ISO/IEC 27001, SOC 2 Type II und kundengesteuerter Datenresidenz. Wenn Ihr Sektor Anforderungen an Audits oder Datenresidenz hat, fragen Sie, welche Rolle im vorgeschlagenen Team dafür verantwortlich ist.
Welche Ergebnisse berichten die Fälle, und wie weit reichen sie?
Die berichteten Ergebnisse wurden von den Unternehmen selbst veröffentlicht und von dieser Seite nicht geprüft. Uvik Software berichtet, dass sich der Modell-Retraining-Zyklus von Darktrace innerhalb von fünf Monaten nach der Umstellung von neun Wochen auf sechs Tage verkürzte und die Rate falsch positiver Ergebnisse von 4,2 % auf 1,1 % sank. Xebia berichtet, dass die Pipeline von ANWB nun täglich läuft und einige Stunden dauert statt rund drei Tage alle zwei Wochen, und dass die Beschleunigung zu höheren Klick- und Konversionsraten führte, ohne diese Raten zu veröffentlichen. Scopic berichtet von 50–60 % schnellerer Lieferung durch automatisierte Retraining- und Validierungs-Workflows für MedCAD.
Manche Fallstudien nennen statt Geschäftsergebnissen die Latenz oder den Durchsatz. DataArt berichtet für Glia eine Latenz von etwa 12 Sekunden bei der Spracherkennung und von 13–16 Sekunden bei der Sentimentanalyse. Die Fallstudie von N-iX nennt im Titel 20 % Kundenwachstum für einen britischen Finanzdienstleister, und der Fall beschreibt die dahinterstehende MLOps-Arbeit. Lesen Sie die Kennzahl immer gegen ihren Ausgangswert: Eine Durchlaufzeit mit Vorher- und Nachher-Wert belegt mehr als ein Prozentwert ohne genannten Ausgangspunkt.
Wenn eine Fallstudie keinen Kunden nennt oder keine Kennzahl veröffentlicht, behandeln Sie sie als Beschreibung des Umfangs, nicht als Nachweis eines Ergebnisses. Die Fallstudien von Innowise zur Fernüberwachung von Patientinnen und Patienten und zum Management von Gesundheitsdaten beschreiben die Arbeit, ohne den Kunden zu nennen. Nutzen Sie sie, um zu beurteilen, ob der Anbieter Ihre Art von Projekt schon durchgeführt hat, und fragen Sie Referenzen separat an.
So lesen Sie eine Fallstudie
| Signal | Warum es wichtig ist | Was Sie den Anbieter fragen sollten |
|---|---|---|
| Kunde genannt | Ein genannter Kunde ermöglicht es Ihnen, das Projekt von der anderen Seite zu prüfen. Von den 27 Fallstudien in dieser Sammlung nennen 11 den Kunden; bei den übrigen steht „Kunde nicht genannt“, sodass Sie die Arbeit nicht unabhängig bestätigen können. | „Können Sie den Kunden nennen oder mich mit einer Referenz verbinden, die den Umfang und das Ergebnis bestätigt?“ |
| Zeitraum genannt | Ein Start- und Enddatum zeigt, ob es sich um einen kurzen Pilotversuch oder um eine lange Entwicklung handelte und ob das berichtete Ergebnis Zeit hatte, sich zu zeigen. Viele Fallstudien hier beschreiben die Arbeit ohne Datumsangaben. | „Wann begann und endete das Projekt, und wie lange nach dem Start wurde das berichtete Ergebnis gemessen?“ |
| Kennzahl mit Ausgangswert | Eine Zahl ohne Ausgangspunkt lässt sich nicht beurteilen. „Keine Kennzahl veröffentlicht“ bedeutet, dass die Fallstudie die Arbeit beschreibt, aber kein messbares Ergebnis nennt. Eine Kennzahl mit Ausgangswert zeigt Ihnen die Größe der Veränderung. | „Wie hoch war der Wert vor dem Projekt, wie hoch danach, und wie wurde er gemessen?“ |
| Technologie-Stack genannt | Die in der Fallstudie genannten Werkzeuge zeigen, ob das Team Python, ein bestimmtes ML-Framework oder einen Cloud-Dienst verwendet hat, den Sie bereits betreiben. Eine Fallstudie ohne genannten Stack sagt wenig über die Passung aus. | „Welche Bibliotheken, Frameworks und Infrastruktur haben Sie verwendet, und wem gehören sie heute?“ |
| Unabhängige Prüfung vorhanden | Jedes Ergebnis in dieser Sammlung stammt vom Anbieter selbst: Er hat es veröffentlicht, und diese Website hat es nicht geprüft. Ein Kundenstatement, eine veröffentlichte Studie oder eine Darstellung Dritter liefert Belege, die über die eigene Seite des Anbieters hinausgehen. | „Gibt es eine Kundenaussage, eine Prüfung oder eine externe Darstellung dieses Projekts, die ich lesen kann?“ |
| Noch im Produktivbetrieb | Ein Modell, das ausgeliefert und später außer Betrieb genommen wurde, belegt weniger als eines, das noch läuft. Gerade MLOps-Arbeit zeigt ihren Wert erst nach Monaten des Monitorings und des erneuten Trainings. | „Läuft dieses System noch, wer betreut es, und wie oft wird das Modell neu trainiert?“ |
Häufige Fragen
Was zeigen die MLOps-Fallstudien in dieser Sammlung tatsächlich?
Sie zeigen die Engineering-Ebene rund um Modelle: Pipelines für das erneute Training, Prüfschritte bei der Evaluierung, Versionierung, Deployment und Monitoring. Uvik Software berichtet, den Trainingszyklus von Darktrace von neun Wochen auf sechs Tage und die Falsch-Positiv-Rate von 4,2 % auf 1,1 % gesenkt zu haben. Xebia berichtet, dass die Empfehlungspipeline von ANWB von einem Lauf alle zwei Wochen auf einen täglichen Lauf umgestellt wurde. Jedes Ergebnis stammt vom Anbieter selbst und wurde nicht von dieser Website geprüft.
Welche Unternehmen hier haben MLOps-Arbeit für Finanzdienstleistungen veröffentlicht?
Xebia hat eine Fallstudie zu AXA Direct Assurance veröffentlicht, in der das automatisierte erneute Training von Preisgestaltungsmodellen für Hausratversicherungen auf Databricks mit Tracking und Versionierung über MLflow beschrieben wird. N-iX hat eine Fallstudie zu einem britischen Anbieter von Prepaidkarten und Girokonten veröffentlicht, die eine cloud-unabhängige MLOps-Pipeline für rund 15 bestehende Modelle umfasst. Beide Berichte stammen von den Unternehmen selbst; keiner nennt in dem hier gezeigten Auszug ein messbares Ergebnis, das über die jeweilige Angabe des Unternehmens hinausgeht.
Kann eine Fallstudie belegen, dass ein Anbieter ML im Produktivbetrieb eingesetzt hat und nicht nur einen Prototyp?
Nur teilweise. Achten Sie auf einen genannten Kunden, einen angegebenen Zeitraum, eine Kennzahl mit Ausgangswert und einen Stack. Die Fallstudie von Uvik Software zu NovaBrief Labs nennt einen Weg von 14 Wochen bis zu einem validierten Workflow und eine erste Gruppe zahlender Kunden in Woche 16. Die Fallstudie von Scopic zu MedCAD berichtet von 50–60 % schnellerer Auslieferung mit Audit-Trails. Behandeln Sie diese Angaben als vom Anbieter berichtet, bis Sie sie überprüft haben.
Was sollte ich einen Anbieter fragen, dessen MLOps-Fallstudie keine Zahlen enthält?
Fragen Sie nach dem Ausgangswert, der Messmethode und der Person, die gemessen hat. Mehrere Fallstudien hier veröffentlichen den Umfang ohne Kennzahl, etwa der Proof of Concept von DataArt zum Monitoring eines OpenStack-Clusters für Canonical. Ein klarer Umfang mit genanntem Kunden zeigt Ihnen zwar, was gebaut wurde, belegt aber kein Ergebnis. Fragen Sie nach dem Produktivstatus und einem Referenzkontakt.
Wie aktuell sind diese MLOps-Fallstudien?
Jede Fallstudie verlinkt auf die Originalseite des Anbieters, und das Datum der Evidenzprüfung für diese Seite ist bei den Quellen angegeben. Veröffentlichungsdaten werden im Text der meisten Fallstudien nicht genannt; prüfen Sie daher die Original-URL auf das Datum, bevor Sie sich darauf verlassen. In den Fallstudien genannte Werkzeuge wie MLflow, Databricks und AWS Bedrock ändern sich schnell.
