Was ist ModelOps?

Überblick

Um den maximalen Nutzen aus einem Machine-Learning-Modell (ML) zu ziehen, braucht es mehr als nur die Entwicklung und Bereitstellung eines leistungsfähigen Modells – es bedarf auch der Implementierung geeigneter Governance-Kontrollen, um den Betrieb des Modells mit den Zielen und Prioritäten des Unternehmens in Einklang zu bringen.

Genau das ist das Ziel von ModelOps: Durch die Bereitstellung eines Rahmens für das systematische Management von Modellen überbrückt ModelOps die Kluft zwischen den technischen Aspekten der ML-Entwicklung auf der einen und den Geschäftsanforderungen auf der anderen Seite.

Was ist ModelOps?

Auf übergeordneter Ebene lässt sich ModelOps als eine Sammlung von Praktiken und Tools definieren, mit denen Unternehmen den Wert ihrer KI-Ressourcen maximieren.

Allerdings ist eine präzise Definition von ModelOps nicht ganz einfach, da der Begriff für teils unterschiedliche Konzepte und Vorgehensweisen verwendet wird. Im Wesentlichen existieren zwei Hauptströmungen in der Auffassung dessen, was ModelOps bedeutet.

Die erste stammt von IBM-Forschern, die den Begriff „ModelOps“ in einer Präsentation im Jahr 2018 geprägt haben. In ihrem Vortrag beschrieben sie ModelOps als einen Ansatz zur Förderung „wiederverwendbarer, plattformunabhängiger und komponierbarer KI-Workflows“. Aus dieser Perspektive heraus konzentriert sich ModelOps in erster Linie darauf, Geschwindigkeit und Effizienz in ML-Entwicklungs- und Bereitstellungsprozesse zu bringen. Es baut auf Konzepten aus der DevOps-Bewegung auf, die ursprünglich darauf abzielte, Geschwindigkeit und Effizienz in der Softwareentwicklung allgemein zu steigern.

Andere Definitionen von ModelOps – etwa jene von Gartner – legen den Schwerpunkt stärker auf Governance und Lifecycle-Management von ML-Modellen als auf die Effizienz der Modellentwicklung. In diesen Ansätzen dient ModelOps dazu, die technischen Aspekte von ML-Modellen mit den geschäftlichen Prioritäten in Einklang zu bringen, beispielsweise indem sichergestellt wird, dass Modelle über die nötigen Governance-Kontrollen verfügen, um den Compliance-Anforderungen eines Unternehmens in Bezug auf AI gerecht zu werden.

Trotz dieser unterschiedlichen Auffassungen stimmen die Definitionen darin überein, dass ModelOps als strategischer Ansatz verstanden wird, mit dem Unternehmen ihre KI-Investitionen steuern und den daraus resultierenden Mehrwert optimieren können – unabhängig davon, wie man ModelOps im Detail definiert, ist das übergeordnete Ziel stets, Unternehmen dabei zu unterstützen, das volle Potenzial ihrer KI-Ressourcen auszuschöpfen.

ModelOps vs. MLOps

Auch wenn es unterschiedliche Definitionen von ModelOps gibt, ist allen gemein, dass sie eine klare Abgrenzung zu MLOps vornehmen.

MLOps, die Abkürzung für “Machine Learning Operations”, ist ein Ansatz zur Entwicklung von ML-Modellen, bei dem der Prozess in konsistente, wiederholbare Phasen unterteilt wird – etwa Modellentwurf, -entwicklung, -test und -bereitstellung. Das Hauptziel von MLOps besteht darin, die ML-Entwicklung verlässlich und vorhersehbar zu gestalten.

Im Gegensatz dazu konzentriert sich ModelOps auf das übergeordnete Management des unternehmensweiten Umgangs mit KI- und ML-Ressourcen. Dabei stehen Aspekte wie Modell-Governance und Lifecycle-Management im Vordergrund – Themen, die in vielen MLOps-Strategien von Unternehmen bislang keine zentrale Rolle spielen.

Man kann argumentieren, dass ModelOps auf MLOps aufbaut oder eine Erweiterung davon darstellt. Denn ein systematischer und vorhersehbarer Entwicklungsprozess – das zentrale Ziel von MLOps – ist die Voraussetzung dafür, dass Modelle im Sinne von ModelOps wirksam gesteuert und mit Governance-Kontrollen versehen werden können.

Alternativ lässt sich ModelOps auch als Ergänzung zu MLOps verstehen: Während MLOps sicherstellt, dass Modelle effektiv entwickelt und bereitgestellt werden, sorgt ModelOps dafür, dass diese Modelle auch unternehmensweit wertschöpfend und regelkonform eingesetzt werden.

Unabhängig davon, wie man das Verhältnis der beiden Konzepte zueinander interpretiert, ist entscheidend, dass MLOps als spezifischer, technischer Prozess verstanden wird, der sich auf Entwurf, Entwicklung und Bereitstellung von ML-Modellen konzentriert. ModelOps hingegen greift weiter und adressiert die KI- und ML-Strategie auf organisatorischer Ebene.

Bestandteile von ModelOps

Aufgrund der unterschiedlichen Definitionen von ModelOps existieren auch verschiedene Meinungen darüber, welche Prozesse und Tools Unternehmen konkret implementieren müssen, um ModelOps einzuführen. Allgemein lassen sich jedoch die folgenden zentralen Komponenten als Schlüsselelemente von ModelOps identifizieren:

• ML-Entwicklung: In der Welt des Machine Learning bezeichnet „Entwicklung“ den Prozess der Erstellung und Verfeinerung von Modellen.
• Datenmanagement: Um ML-Initiativen mit den Geschäftszielen in Einklang zu bringen, ist es entscheidend, dass Modelle mit den richtigen und qualitativ hochwertigen Daten trainiert werden.
• Training: Beim Training werden Modelle mit Daten konfrontiert, anhand derer sie Muster erkennen und „lernen“, wie sie Entscheidungen treffen können.
• Testing und Performance-Analyse: Durch die Analyse der Leistungsfähigkeit eines Modells bei der Ausführung spezifischer Aufgaben können Unternehmen bewerten, ob es sich für den geplanten Einsatzzweck eignet.
• Governance: Governance-Kontrollen in Modellen helfen, Geschäftsrisiken zu minimieren – etwa durch die Sicherstellung, dass Modelle auf faire, transparente und regelkonforme Weise entwickelt, trainiert und bereitgestellt werden.
• Versionierung: Modell-Versionskontrollen ermöglichen es, Änderungen an Modellen über die Zeit hinweg nachzuverfolgen und zu verwalten.
• Skalierung: Die Skalierung stellt sicher, dass Modelle auch bei wachsender Nutzerzahl oder steigenden Datenvolumina zuverlässig und performant bleiben.

Diese verschiedenen Komponenten erfordern die Beteiligung unterschiedlichster Stakeholder im ModelOps-Prozess. Neben ML-Entwicklern, die für die Entwicklung und Bereitstellung der Modelle verantwortlich sind, spielen auch Vertreter aus anderen Unternehmensbereichen eine zentrale Rolle – etwa Risikoanalysten, die festlegen, welche Governance-Kontrollen erforderlich sind, oder Führungskräfte, die definieren, welche übergeordneten Geschäftsziele durch den Einsatz der Modelle unterstützt werden sollen.

Die Bedeutung von ModelOps

ModelOps ist deshalb so wichtig, weil Investitionen in KI- und ML-Technologien häufig kostspielig, komplex und mit erheblichen Risiken verbunden sind – ohne Garantie, dass daraus auch tatsächlich ein geschäftlicher Mehrwert entsteht.

Ein Unternehmen könnte beispielsweise ein teures KI-Modell zur Automatisierung eines geschäftskritischen Prozesses entwickeln und bereitstellen – nur um dann festzustellen, dass das Modell Entscheidungen trifft, die Compliance-Risiken verursachen. Oder es stellt sich heraus, dass das Modell nicht regelmäßig genug mit neuen Trainingsdaten aktualisiert wird, um mit den sich wandelnden Geschäftsanforderungen Schritt zu halten.

ModelOps hilft dabei, solche Risiken zu minimieren, indem es Unternehmen eine strukturierte und konsistente Methode an die Hand gibt, mit der sich KI- und ML-Initiativen steuern lassen. Es sorgt dafür, dass Projekte – etwa die Entwicklung eines neuen Modells – von Anfang an auf die Unternehmensziele ausgerichtet sind. Gleichzeitig fördert ModelOps einen proaktiven Umgang mit Themen wie Modellpflege, Performance-Überwachung und regulatorischer Absicherung.

Beispiele für ModelOps

Zur Veranschaulichung, wie Unternehmen ModelOps in der Praxis anwenden, lassen sich folgende zwei Beispielszenarien heranziehen:

#1. Fairness im Finanzwesen sicherstellen

Banken und andere Finanzinstitute unterliegen ethischen und regulatorischen Verpflichtungen, ihre Kunden fair zu behandeln. Dazu gehört unter anderem, diskriminierende Entscheidungen zu vermeiden – etwa eine Kreditverweigerung auf Basis des Wohnorts oder Alters einer antragstellenden Person. Um diesen Anforderungen auch beim Einsatz von ML-Modellen zur Bearbeitung von Kreditanträgen gerecht zu werden, müssen die Modelle mit Mechanismen ausgestattet sein, die das Risiko von Bias gezielt minimieren.

Ein ModelOps-Ansatz kann in diesem Szenario entscheidend helfen, indem er Risiko- und Compliance-Teams von Anfang an in den Entwicklungs- und Bereitstellungsprozess von ML-Modellen einbindet. Diese Stakeholder können den Entwicklerteams frühzeitig Input geben, welche Fairness-Kontrollen im Modell berücksichtigt werden müssen. Auf diese Weise lassen sich potenzielle Geschäftsrisiken durch automatisierte Entscheidungsprozesse frühzeitig identifizieren und abmildern.

#2.Cybersicherheitsrisiken bei KI-gestützter Softwareentwicklung mindern

KI-gestützte Tools zur Softwareentwicklung können den Entwicklungsprozess erheblich beschleunigen. Gleichzeitig bringen sie neuartige Risiken mit sich – etwa die Möglichkeit, dass ein Modell fiktive Namen für Softwarepakete oder Abhängigkeiten „halluziniert“. Solche Halluzinationen können gezielt von Bedrohungsakteuren ausgenutzt werden, etwa im Rahmen sogenannter Package-Hallucination-Angriffe.

Um dieses Risiko zu mindern, kann ein Unternehmen ModelOps nutzen, um Sicherheitskontrollen für KI-Ausgaben zu implementieren, die in der Lage sind, fiktive Pakete im generierten Code zu erkennen. So könnten Entwickler beispielsweise einen Output-Filter einführen, der Paketnamen im Code mit bekannten Paketlisten abgleicht und auf diese Weise erkennt, wenn das Modell eine nicht existierende Abhängigkeit erzeugt hat.

Diese Schutzmaßnahme reduziert das Risiko erheblich, dass KI-generierter Code zum Einfallstor für Supply-Chain-Angriffe wird, die auf halluzinierte Abhängigkeiten abzielen. ModelOps stellt damit sicher, dass auch sicherheitsrelevante Aspekte bei der Einführung und Nutzung von KI im Softwareentwicklungsprozess strukturiert berücksichtigt werden.

Aufbau einer ModelOps-Plattform

Da ModelOps noch ein vergleichsweise neues Konzept ist, befindet sich das Software-Ökosystem rund um dessen Umsetzung noch im Aufbau. Zwar gibt es bereits einige spezialisierte Plattformen, die gezielt darauf ausgerichtet sind, Unternehmen bei der Einführung von ModelOps zu unterstützen – der Einsatz solcher Lösungen ist jedoch nur ein möglicher Weg.

Alternativ können Teams ModelOps auch schrittweise einführen, indem sie Governance- und Lifecycle-Management-Funktionalitäten in ihre bestehenden MLOps-Tools und -Workflows integrieren. So lassen sich beispielsweise Prozesse rund um das Modelldesign so anpassen, dass neben Entwicklerinnen und Entwicklern auch andere Stakeholder – etwa aus den Bereichen Risk, Compliance oder Business – frühzeitig eingebunden werden. Ebenso können gezielte Schritte im Entwicklungsprozess ergänzt werden, um Governance-Kontrollen zu definieren und umzusetzen.

Diese integrative Vorgehensweise eignet sich besonders für Organisationen, die bereits etablierte ML-Toolchains und Entwicklungsprozesse im Einsatz haben und vermeiden möchten, ihre Infrastruktur vollständig umzustellen. Durch die Erweiterung bestehender Strukturen um ModelOps-Prinzipien lässt sich ein nachhaltiger, regelkonformer und geschäftsorientierter Umgang mit KI-Modellen erreichen – ohne einen radikalen Systemwechsel.

ModelOps mit JFrog

Durch die Bereitstellung einer einheitlichen Plattform für das Erstellen, Trainieren, Absichern, Bereitstellen und Überwachen von ML-Modellen liefert JFrog die grundlegenden Funktionen, die erforderlich sind, um einen ganzheitlichen, auf ModelOps basierenden Ansatz zur Verwaltung von ML-Investitionen zu etablieren. Überzeugen Sie sich selbst – starten Sie jetzt kostenlos.