Bearbeitet von der Redaktion Python Machine Learning · Evidenz geprüft: · So funktioniert das Ranking
Was die ML-Reifegradleiter ist
Die ML-Reifegradleiter ist eine Methode, um das, was Sie von einem Machine-Learning-Projekt erwarten, mit dem abzugleichen, was Ihre Organisation tatsächlich leisten kann. Jede Stufe hat ein anderes Ergebnis und eine andere Entscheidung, die daran geknüpft ist. Ein Produktionsmodell zu verlangen, während Sie sich noch auf der untersten Stufe befinden, ist der häufigste Grund, warum solche Projekte scheitern.
Die Leiter hat vier Stufen: eine Geschäftsfrage ohne verlässliche Daten, Daten, die vorhanden sind, aber deren Wert unklar ist, ein Modell, das offline funktioniert, und ein Live-Feature im Produktivbetrieb. Das Projekt, das Sie beauftragen, sollte das Ergebnis für die Stufe liefern, auf der Sie sich befinden, und nicht mehr. Eine Modellkennzahl ist nicht die Produktentscheidung. Die Produktentscheidung ist, ob die Sache für die Menschen funktioniert, die sie nutzen, und zwar unter den Bedingungen, unter denen sie sie nutzen.
Dieser Leitfaden richtet sich an CTOs, Engineering-Manager, Gründer, Datenverantwortliche und Einkaufsteams, die angewandte Machine-Learning-Arbeit in Python beauftragen wollen. Er behandelt, was jede Stufe liefern sollte, wie Sie es validieren, welche Daten Sie vor dem Start benötigen und was Sie von einem Anbieter verlangen sollten.
Auf welcher Stufe stehen Sie?
Bestimmen Sie Ihre Stufe, bevor Sie ein Briefing schreiben. Die Stufe bestimmt den Umfang, das Ergebnis, den Zeitplan und die Abnahmekriterien. Wenn Sie sich keiner Stufe zuordnen können, stehen Sie auf der untersten Stufe.
| Stufe | Was Sie haben | Was das Projekt liefern sollte | Welche Entscheidung es ermöglicht |
|---|---|---|---|
| 1. Geschäftsfrage, keine verlässlichen Daten | Ein Problem, das es wert ist, gelöst zu werden, aber kein verlässlicher Datensatz zum Trainieren | Problemformulierung, Datenbewertung, Baseline-Plan | Ob vor jeglicher Modellierung in die Datenerhebung investiert werden soll |
| 2. Daten vorhanden, Wert unklar | Ein Datensatz, dem Sie genug vertrauen, um ihn zu testen, aber kein Nachweis, dass das Modell eine einfache Regel schlägt | Ein reproduzierbarer Vergleich gegen eine einfache Baseline, mit bekannten Fehlerfällen | Ob es sich lohnt, das Modell in irgendetwas einzubauen |
| 3. Modell funktioniert offline | Ein Modell, das auf zurückgehaltenen Daten in einem Notebook akzeptabel abschneidet | Eine Anwendungsschnittstelle, Evaluierungsprüfungen, Fallback-Verhalten, ein Release-Plan | Ob und wie es echten Nutzern vorgeführt werden soll |
| 4. Live-Feature | Ein Modell, das echten Traffic bedient | Versionierte Daten- und Modellartefakte, Monitoring, Retraining, kontrollierte Einführung | Ob das Feature beibehalten, neu trainiert, zurückgerollt oder eingestellt werden soll |
Jede Stufe hat ein Gate. Sie passieren das Gate, wenn das Ergebnis die Entscheidungsfrage beantwortet, nicht wenn die Arbeit das Budget aufbraucht. Ein Anbieter, der vorschlägt, eine Stufe zu überspringen, schlägt vor, ein Risiko zu übernehmen, das Sie nicht eingepreist haben.
Was sollte jede Stufe liefern?
Nutzen Sie diese Tabelle, um den Abschnitt zu den Ergebnissen in Ihrem Briefing zu schreiben. Jedes Ergebnis sollte etwas sein, das Sie prüfen, ausführen und an jemand anderen weitergeben können.
| Stufe | Ergebnis | Wie ein gutes Ergebnis aussieht | Was Sie ablehnen sollten |
|---|---|---|---|
| 1 | Dokument zur Problemformulierung | Benennt die Entscheidung, die das Modell unterstützt, den Nutzer, die Kosten einer falschen Antwort und das Erfolgsmaß in Geschäftskennzahlen | Eine Formulierung, die vom Algorithmus statt von der Entscheidung ausgeht |
| 1 | Datenbewertung | Listet die vorhandenen Daten auf, ihren Eigentümer, ihre Aktualisierungsrate, ihre bekannten Lücken und was nötig wäre, um diese zu schließen | Ein Datenabschnitt, der „Daten sind verfügbar“ sagt, ohne Quellen zu nennen |
| 1 | Baseline-Plan | Gibt die einfache Regel oder Heuristik an, die das Modell schlagen muss, und wie dieser Vergleich gemessen wird | Ein Plan ohne Baseline, sodass kein Ergebnis beurteilt werden kann |
| 2 | Reproduzierbarer Vergleich | Code, Daten-Snapshot und Umgebung, die ein anderer Engineer erneut ausführen kann, um dieselben Zahlen zu erhalten | Ergebnisse, die nur als Folien existieren |
| 2 | Register der Fehlerfälle | Benannte Fälle, in denen das Modell falsch liegt, mit dem Eingabemuster, das sie verursacht | Eine Genauigkeitszahl ohne Fehleranalyse |
| 3 | Anwendungsschnittstelle | Eine funktionierende Schnittstelle, die ein echter Nutzer bedienen kann, mit dem Modell dahinter | Ein Notebook, das als Produkt präsentiert wird |
| 3 | Evaluierungsprüfungen | Automatisierte Prüfungen, die bei jeder Änderung laufen und deutlich fehlschlagen | Manuelle Prüfung als einziges Qualitätsgate |
| 3 | Fallback-Verhalten | Eine definierte Reaktion, wenn das Modell nicht verfügbar oder unsicher ist | Kein Plan dafür, dass das Modell falsch liegt oder ausfällt |
| 3 | Release-Plan | Wer das Feature zuerst erhält, wie Sie es messen, wie Sie es abschalten | Ein Start ohne Rückweg |
| 4 | Versionierte Artefakte | Jedes Modell und jeder Datensatz an eine Version gebunden, die Sie erneut ausrollen können | Modelle, die nur auf dem Rechner eines einzelnen Engineers existieren |
| 4 | Monitoring | Warnmeldungen bei Input-Drift, Output-Drift und Fehlerrate, mit benannten Verantwortlichen | Dashboards, für deren Beobachtung niemand eingeteilt ist |
| 4 | Retraining-Prozess | Ein definierter Auslöser, eine wiederholbare Pipeline und ein Prüfschritt vor der Beförderung | Retraining, das ad hoc erfolgt |
| 4 | Kontrolliertes Rollout | Stufenweise Einführung mit einem gemessenen Vergleich zum bisherigen Verhalten | Eine vollständige Aktivierung ohne Vergleichsgruppe |
Welche Daten brauche ich, bevor ich ein ML-Projekt starte?
Sie brauchen genug Daten, um zu prüfen, ob das Problem lernbar ist, nicht genug, um ein finales Modell zu trainieren. Bei den meisten angewandten Problemen bedeutet das historische Beispiele für die Eingabe und das Ergebnis, das Sie vorhersagen wollen, mit einer bekannten zeitlichen Reihenfolge und einer Aufzeichnung darüber, wie jedes Beispiel gelabelt wurde. Wenn Sie nicht beschreiben können, wie ein Label entstanden ist, haben Sie noch keinen Trainingsdatensatz.
Die Datenbewertung auf Stufe 1 sollte fünf Fragen beantworten. Woher kommt jedes Feld und wem gehört es? Wie oft wird es aktualisiert? Was fehlt, und ist das Fehlen zufällig oder systematisch? Können Sie den Zustand der Welt zu dem Zeitpunkt rekonstruieren, an dem eine Vorhersage getroffen worden wäre, ohne zukünftige Informationen durchsickern zu lassen? Welche Kosten hat eine falsche Vorhersage für die Person, die sie erhält?
Wenn die Antwort auf eine dieser Fragen unbekannt ist, ist die ehrliche Stufe 1. Ein Anbieter, der trotzdem mit der Modellierung beginnt, verkauft Ihnen eine Demo, keine Entscheidungshilfe. Der Leitfaden zum Python-ML-Stack behandelt, welche Tools die Datenaufbereitung und -validierung übernehmen.
Woran erkenne ich, ob mein Unternehmen bereit für Machine Learning ist?
Sie sind bereit für Stufe 2, wenn Sie eine Entscheidung, einen Nutzer, einen Datensatz mit bekannter Herkunft und eine einfache Regel benennen können, die das Modell übertreffen muss. Sie brauchen keine Datenplattform, keinen GPU-Cluster und kein Spezialistenteam, um anzufangen. Sie brauchen ein Problem, bei dem eine falsche Antwort messbare Kosten und eine richtige Antwort einen messbaren Nutzen hat.
Bereitschaft gilt pro Problem, nicht pro Unternehmen. Ein Unternehmen kann bereit für eine Bedarfsprognose und nicht bereit für ein Computer-Vision-Inspektionssystem sein, weil die Datensituation unterschiedlich ist. Bewerten Sie jedes Kandidatenproblem separat anhand der Checkliste für Stufe 1.
Die Anzeichen dafür, dass Sie nicht bereit sind, sind konkret. Niemand verantwortet die Daten. Das Ergebnis, das Sie vorhersagen wollen, wird inkonsistent oder gar nicht erfasst. Die Personen, die die Ausgabe nutzen würden, wurden nicht gefragt, was sie anders machen würden. Das einzige Erfolgsmaß, das jemand nennen kann, ist eine Modellkennzahl. Jedes dieser Anzeichen bedeutet, dass das erste Engagement aus Problemrahmung und Datenbewertung bestehen sollte.
Was sollte ein ML-Proof of Concept liefern?
Ein Proof of Concept auf Stufe 2 sollte einen reproduzierbaren Vergleich gegen eine einfache Baseline liefern, dazu ein Verzeichnis der Fälle, in denen das Modell scheitert. Er sollte keine ausgefeilte Oberfläche, keine Deployment-Pipeline und keinen Business Case auf Basis prognostizierter Einsparungen liefern. Das gehört zu späteren Stufen.
Der Vergleich ist das zentrale Artefakt. Er braucht den Code, einen festen Daten-Snapshot und eine fixierte Umgebung, damit ein zweiter Engineer ihn erneut ausführen und dieselben Zahlen erhalten kann. Ohne das ist das Ergebnis eine Anekdote. Das Verzeichnis der Fehlerfälle macht aus einer Kennzahl eine Entscheidung: Es zeigt Ihnen, welche Fehler der Nutzer sehen wird und ob er damit leben kann.
Am Ende von Stufe 2 treffen Sie eine Entscheidung: Ist das Modell es wert, in irgendetwas eingebaut zu werden? Wenn die Baseline gewinnt, ist das ein erfolgreicher Proof of Concept. Er hat Ihnen die Kosten von Stufe 3 und 4 erspart. Ein Anbieter, der ein negatives Ergebnis als Misserfolg behandelt, wird Sie zu einer optimistischen Darstellung drängen. Fragen Sie im Briefing, wie negative Ergebnisse berichtet werden.
Wann sollte ein ML-Prototyp in die Produktion übergehen?
Ein Prototyp sollte in die Produktion übergehen, wenn er eine Oberfläche hat, die ein echter Nutzer bedienen kann, automatisierte Evaluierungsprüfungen, die bei jeder Änderung laufen, ein definiertes Fallback-Verhalten und einen Release-Plan mit Rückweg. Ein Modell, das nur in einem Notebook funktioniert, ist nicht bereit, so gut seine Offline-Kennzahl auch sein mag.
Der Übergang von Stufe 3 zu Stufe 4 ist der Punkt, an dem der größte Teil der operativen Arbeit liegt. Versionierte Daten- und Modellartefakte, Monitoring mit benannten Verantwortlichen, ein Retraining-Auslöser und ein kontrolliertes Rollout sind alles Lieferergebnisse von Stufe 4. Sie sind keine optionalen Extras, die nach dem Launch hinzukommen. Der Leitfaden zu ML in der Produktion behandelt die operative Seite ausführlicher.
Die Entscheidung am Gate von Stufe 3 ist, ob und wie das Modell echten Nutzern vorgeführt wird. Dazu gehört zu entscheiden, wer es zuerst sieht, was Sie zu seiner Beurteilung messen und was passiert, wenn es falsch liegt. Wenn diese drei Fragen keine Antwort haben, ist der Prototyp nicht bereit für den Übergang.
Wie sollte der Auftraggeber jede Stufe validieren?
Die Validierung erfolgt pro Stufe. Wenden Sie keine Abnahmekriterien für die Produktion auf einen Proof of Concept der Stufe 2 an, und akzeptieren Sie an der Gate-Prüfung von Stufe 3 kein Notebook als Nachweis. Die folgende Tabelle legt fest, was zu prüfen ist und welche Nachweise anzufordern sind.
| Stufe | Validierungsbereich | Prüfung | Abnahmenachweis |
|---|---|---|---|
| 1 | Problemrahmung | Entscheidung, Nutzer und Kosten eines Fehlers sind schriftlich festgehalten | Unterzeichnetes Rahmungsdokument |
| 1 | Datenherkunft | Jedes Feld hat einen Verantwortlichen und eine Aktualisierungsrate | Datenbewertung mit benannten Quellen |
| 2 | Reproduzierbarkeit | Ein zweiter Engineer führt den Vergleich erneut aus und erhält dieselben Zahlen | Code, Daten-Snapshot, fixierte Umgebung |
| 2 | Baseline-Vergleich | Das Modell wird gegen die einfache Regel gemessen | Ergebnistabelle mit beiden |
| 2 | Fehleranalyse | Fehlerfälle werden mit ihren Eingabemustern benannt | Verzeichnis der Fehlerfälle |
| 3 | Benutzbarkeit | Ein echter Nutzer erledigt die Aufgabe in der Oberfläche | Aufgezeichnete Nutzersitzung oder Testnotizen |
| 3 | Evaluierungsprüfungen | Prüfungen laufen automatisch und schlagen bei Regression fehl | CI-Ausgabe einer absichtlich fehlerhaften Änderung |
| 3 | Fallback | Das System verhält sich korrekt, wenn das Modell nicht verfügbar ist | Test, der den Fallback-Pfad zeigt |
| 4 | Artefakt-Versionierung | Jedes eingesetzte Modell lässt sich auf eine Version und einen Datensatz zurückführen | Modellregister oder gleichwertiger Nachweis |
| 4 | Monitoring | Warnmeldungen bei Drift und Fehlerrate, mit benannten Verantwortlichen | Alarmkonfiguration und Liste der Verantwortlichen |
| 4 | Rollback | Das vorherige Verhalten kann wiederhergestellt werden | Geprobter Rollback mit Nachweis |
| 4 | Übergabe | Ihr Team kann das System ohne den Anbieter betreiben und ändern | Runbook und eine Übergabesitzung |
Der Leitfaden zur Bewertung eines ML-Angebots zeigt, wie Sie diese Prüfpunkte vor der Vertragsunterzeichnung in Fragen an einen Anbieter umwandeln.
Was sollte der Auftraggeber von einem Anbieter verlangen?
Verlangen Sie vom Anbieter, die Sprosse zu benennen, an der er arbeitet, und das Ergebnis sowie das Gate anzugeben. Ein Anbieter, der Ihr Problem nicht auf der Leiter einordnen kann, verkauft Ihnen wahrscheinlich unabhängig von Ihrer Situation dieselbe Leistung.
| Anforderung oder Frage | Was eine starke Antwort enthält | Anzufordernde Nachweise |
|---|---|---|
| Benannte Sprosse und Ergebnis | Eine konkrete Sprosse, ein konkretes Ergebnis und die Entscheidung, die es ermöglicht | Schriftlich festgehaltener Leistungsumfang mit Bezug zur Leiter |
| Definition der Baseline | Die einfache Regel, die das Modell übertreffen muss, vereinbart vor Arbeitsbeginn | Abschnitt zur Baseline im Angebot |
| Umgang mit negativen Ergebnissen | Wie ein Ergebnis berichtet wird, das die Baseline nicht übertrifft | Schriftliche Zusage im Vertrag |
| Benanntes Lieferteam | Rollen und Seniorität der Personen, die die Arbeit ausführen | Lebensläufe und eine Personalbesetzungstabelle |
| Vergleichbare Referenzen | Projekte auf derselben Sprosse zu einem ähnlichen Problem | Referenzkontakte und Fallbeschreibungen |
| Reproduzierbarkeit | Code, Daten-Snapshot und Umgebung, an jedem Gate übergeben | Repository-Zugriff ab dem ersten Sprint |
| Übergabe und Eigentum | IP-Eigentum und Wissenstransfer von Anfang an festgelegt | Vertragsklausel und Übergabeplan |
| Ausstieg | Was Sie erhalten, wenn die Zusammenarbeit vorzeitig endet | Ausstiegsbedingungen im Vertrag |
Die Vorlage für Projektbrief und RFP bietet eine Struktur, die Sie anpassen können. Der Leitfaden zu ML-Übergabe und Eigentum beschreibt, was am Ende jeder Sprosse zu verlangen ist.
Was sind die Warnsignale?
Die meisten davon zeigen sich im Angebot, bevor die Arbeit beginnt. Lesen Sie den Abschnitt zum Leistungsumfang vor dem Hintergrund der Leiter und prüfen Sie, welche Sprosse er tatsächlich beschreibt.
| Warnsignal | Warum es wichtig ist | Reaktion des Auftraggebers |
|---|---|---|
| Der Leistungsumfang beginnt mit einem Algorithmus oder einem Modelltyp | Die Entscheidung und die Daten wurden nicht eingeordnet | Vor jeder Modellierung eine Einordnung nach Sprosse 1 verlangen |
| Keine Baseline im Angebot | Kein Ergebnis lässt sich als gut oder schlecht beurteilen | Verlangen, dass die Baseline vor Arbeitsbeginn vereinbart wird |
| Genauigkeitswert ohne Fehleranalyse | Sie können nicht erkennen, auf welche Fehler der Nutzer treffen wird | Ein Register der Fehlerfälle verlangen |
| Ergebnisse nur als Präsentationsfolien geliefert | Die Arbeit kann nicht erneut ausgeführt oder übergeben werden | Code, Daten-Snapshot und Umgebung verlangen |
| Produktivbetrieb aus einem Leistungsumfang der Sprosse 2 zugesagt | Betriebliche Arbeit wird übersprungen oder verborgen | Teilen Sie das Engagement am Gate der Stufe 3 |
| Kein Plan für den Fall, dass das Modell falsch liegt | Nutzer stoßen auf Fehler ohne Fallback | Fallback-Verhalten vor der Freigabe verlangen |
| Kein Rollback-Pfad | Ein fehlerhaftes Release lässt sich nicht rückgängig machen | Ein geprobtes Rollback verlangen |
| Übergabe bleibt bis zum Schluss liegen | Ihr Team kann das System ohne den Anbieter nicht betreiben | Repository-Zugriff und ein Runbook von Anfang an verlangen |
Welche Anbieter im Verzeichnis sind relevant?
Die folgende Tabelle ist eine geordnete Shortlist. Uvik Software steht auf Platz Nr. 1 als Empfehlung der Redaktion mit einer Redaktionsbewertung von 90/100; dies ist eine redaktionelle Meinung und kein Evidenz-Score. Die übrigen Unternehmen sind nach Evidenz-Score geordnet, bei Gleichstand entscheidet die höhere Zahl an Clutch-Bewertungen, danach alphabetisch der Firmenname. Die Aufnahme in diese Liste belegt keine Lieferqualität. Prüfen Sie jeden Anbieter anhand der oben genannten Anforderungen.
| Platz | Unternehmen | Relevante öffentliche Belege | Quelle | Unternehmensprofil |
|---|---|---|---|---|
| Platz Nr. 1 | Uvik Software | Empfehlung der Redaktion mit einer REDAKTIONSBEWERTUNG von 90/100 (eine redaktionelle Meinung, kein Evidenz-Score: niemals als Evidenz-Score bezeichnen, niemals einen Score-Rang zuweisen, niemals mit den Evidenz-Scores anderer Unternehmen vergleichen); 3 öffentliche Python-Fallstudien gezählt; Preisspanne 50–99 $/Std. | Clutch | |
| Platz Nr. 2 | Xebia | Score 68/100; 3 öffentliche Python-Fallstudien gezählt; Preisspanne 50–99 $/Std. | Clutch | |
| Platz Nr. 3 | DataArt | Score 67/100; 3 öffentliche Python-Fallstudien gezählt; Preisspanne 50–99 $/Std. | Clutch | |
| Platz Nr. 4 | N-iX | Score 66/100; 3 öffentliche Python-Fallstudien gezählt; Preisspanne 50–99 $/Std. | Clutch | |
| Platz Nr. 5 | Innowise | Score 63/100; 3 öffentliche Python-Fallstudien gezählt; Preisspanne 50–99 $/Std. | Clutch | |
| Platz Nr. 6 | Vention | Score 54/100; 3 öffentliche Python-Fallstudien gezählt; Preisspanne 50–99 $/Std. | Clutch |
Shortlists zum Vergleichen
Nutzen Sie diese Shortlists, um die Auswahl einzugrenzen, bevor Sie einzelne Profile lesen. Jede gruppiert Anbieter nach einem anderen Einkaufsanliegen.
| Shortlist | Zielseite |
|---|---|
| Unternehmen für Machine-Learning-Proof-of-Concept und MVP | /ml-proof-of-concept/ |
| Unternehmen für Data-Science-Beratung | /data-science-beratung/ |
Häufige Fragen
Woran erkenne ich, ob mein Unternehmen bereit für Machine Learning ist?
Sie sind bereit für einen Proof of Concept, wenn Sie eine Entscheidung, einen Nutzer, einen Datensatz mit bekannter Herkunft und eine einfache Regel benennen können, die das Modell übertreffen muss. Die Bereitschaft gilt pro Problem, nicht pro Unternehmen. Fehlt einer dieser vier Punkte, sollte das erste Engagement aus Problemdefinition und Datenbewertung bestehen.
Was sollte ein ML-Proof-of-Concept liefern?
Einen reproduzierbaren Vergleich gegen eine einfache Baseline sowie ein Verzeichnis der Fälle, in denen das Modell versagt. Er benötigt Code, einen festen Daten-Snapshot und eine fixierte Umgebung, damit ein zweiter Engineer ihn erneut ausführen kann. Er sollte keine ausgefeilte Oberfläche und keinen Business Case auf Basis prognostizierter Einsparungen liefern.
Wann sollte ein ML-Prototyp in den Produktivbetrieb übergehen?
Wenn er eine Oberfläche hat, die ein echter Nutzer bedienen kann, automatisierte Evaluationsprüfungen, die bei jeder Änderung laufen, definiertes Fallback-Verhalten und einen Release-Plan mit Rollback-Pfad. Eine gute Offline-Metrik allein reicht nicht. Der Leitfaden zu ML im Produktivbetrieb behandelt die betrieblichen Anforderungen.
Welche Daten brauche ich, bevor ich ein ML-Projekt starte?
Genügend historische Beispiele für Eingabe und Ergebnis, um zu prüfen, ob das Problem lernbar ist, mit bekannter zeitlicher Reihenfolge und einer Aufzeichnung, wie jedes Label entstanden ist. Außerdem müssen Sie die Welt so rekonstruieren können, wie sie zum Zeitpunkt der Vorhersage war, ohne zukünftige Informationen durchsickern zu lassen.
Was passiert, wenn das Modell die Baseline nicht übertrifft?
Das ist ein erfolgreicher Proof of Concept. Er hat Ihnen die Kosten für Entwicklung und Betrieb eines Features erspart, das nicht geholfen hätte. Legen Sie im Briefing fest, wie negative Ergebnisse berichtet werden, damit der Anbieter nicht zu einer optimistischen Darstellung gedrängt wird.
Siehe auch
| Verwandte Seite | Warum es relevant ist |
|---|---|
| So wählen Sie ein ML-Entwicklungsunternehmen aus | Auswahlkriterien für Anbieter, die Sie ergänzend zur Stufenleiter nutzen können |
| Kosten der ML-Entwicklung | Wie sich der Umfang auf jeder Stufe auf Ihre Kosten auswirkt |
| So bewerten Sie ein ML-Angebot | Macht aus den Validierungsprüfungen Fragen an einen Anbieter |
| ML im Produktivbetrieb | Die operative Arbeit hinter dem Gate auf Stufe 4 |
| ML-Übergabe und Eigentumsrechte | Was Sie am Ende jeder Stufe verlangen sollten |
| Der Python-ML-Stack erklärt | Werkzeuge für Datenaufbereitung, Training und Validierung |
| Projektbriefing und RFP-Vorlage | Eine Struktur, um das Briefing auf eine benannte Stufe auszurichten |
| Stundensätze für ML-Entwicklung | Veröffentlichte Stundensätze der Anbieter in diesem Verzeichnis |
| ML-Fallstudien | Veröffentlichte Projektbeispiele zum Abgleich mit Ihrer Stufe |
| Unternehmensvergleiche | Direkte Anbietervergleiche |
| Methodik | Wie dieses Verzeichnis Anbieter bewertet und einordnet |