Neue Version von Red Hat OpenShift AI steigert Skalierbarkeit von KI-Modellen​

Red Hat hat die neueste Version von Red Hat OpenShift AI angekündigt. Die auf Red Hat OpenShift aufbauenden KI- und Machine-Learning-Plattform hilft Unternehmen dabei, KI-gestützte Anwendungen im großen Maßstab in der Hybrid Cloud zu entwickeln und bereitzustellen. Red Hat OpenShift AI 2.15 wurde mit dem Ziel entwickelt, mehr Flexibilität und Funktionen für das Tuning und Tracking anzubieten.

Unternehmen sind damit in der Lage, KI- und ML-Innovationen schneller voranzutreiben und eine gleichbleibende operative Effizienz sowie verbesserte Sicherheit über die Public Cloud, Rechenzentren und Edge-Umgebungen hinweg sicherzustellen.

Laut dem Marktforschungsunternehmen IDC werden Unternehmen der Forbes Global 2000, die größten börsennotierten Firmen der Welt, mehr als 40 Prozent ihrer IT-Ausgaben in KI-Projekte investieren. Zudem prognostiziert IDC, dass Unternehmen bis 2026 mit generativer KI (GenAI) und Automatisierungen Produktivitätssteigerungen in Höhe von einer Billion US-Dollar erzielen werden.

Red Hat ist der Ansicht, dass dieses Investitionsniveau eine KI/ML-Plattform erfordert, die gleichzeitig die Lebenszyklen der Modelle effizient verwaltet und GenAI-Anwendungen entwickelt, während sie außerdem flexibel genug ist, um sie neben traditionellen Workloads und Anwendungen in der Hybrid Cloud zu betreiben.

Red Hat OpenShift AI 2.15 zielt darauf, Unternehmen dabei zu helfen, die aufkommenden Anforderungen von KI-Workloads neben den Anforderungen der geschäftskritischen, Cloud-nativen Anwendungen zu erfüllen.

Zu den erweiterten Funktionen der neuesten Version von Red Hat OpenShift AI gehören:

• Model Registry als zentrale Anzeige und Verwaltung registrierter Modelle ist aktuell als Technology Preview verfügbar. Die Registry bietet eine einfache und strukturierte Möglichkeit, um prädiktive sowie GenAI-Modelle, Metadaten und Modell-Artefakte gemeinsam zu nutzen, zu versionieren, bereitzustellen und zu tracken. Auch sind mehrere Modelle gleichzeitig registrierbar. Red Hat hat das Model-Registry-Projekt auch der Kubeflow-Community als Unterprojekt zur Verfügung gestellt.
  
  
• Data Drift Detection überwacht Änderungen in der Verteilung von Eingabedaten für bereits ausgerollte ML-Modelle. So können Data Scientists feststellen, wenn die Live-Daten, die für die Modellvorhersagen verwendet werden, erheblich von den Trainingsdaten abweichen. Data Drift Detection hilft, die Zuverlässigkeit des Modells zu überprüfen, indem sie die Eingabedaten kontinuierlich überwacht, das Modell an die realen Daten anpasst und so die Genauigkeit der Vorhersagen sicherstellt.
  
  
• Bias Detection unterstützt Data Scientists und KI-Engineers dabei, ihre Modelle fair und unvoreingenommen zu entwickeln – ein entscheidender Faktor für die Vertrauenswürdigkeit eines Modells. Die Tools geben nicht nur Aufschluss darüber, ob die Modelle auf der Grundlage der Trainingsdaten unvoreingenommen sind, sondern überwachen auch die Fairness der Modelle in der Praxis. Bias Detection wird von der TrustyAI-Open-Source-Community bereitgestellt, die ein vielfältiges Toolkit für die verantwortungsvolle Entwicklung und den Einsatz von KI bietet.
  
  
• Effizientes Fine-Tuning mit LoRA (Low-Rank-Adapter), um die effiziente Feinabstimmung von LLMs wie Llama 3 zu realisieren. Auf diese Weise können Unternehmen KI-Workloads skalieren und gleichzeitig Kosten und Ressourcenverbrauch senken. Durch die Optimierung des Modelltrainings und des Fine-Tuning in nativen Cloud-Umgebungen verbessert diese Lösung sowohl die Leistung als auch die Flexibilität und macht die KI-Bereitstellung leichter zugänglich und skalierbar.
  
  
• Unterstützung für NVIDIA NIM beschleunigt mit einer Reihe von benutzerfreundlichen Schnittstellen-Microservices die Bereitstellung von KI-Anwendungen. Die Integration von NIM, Teil der NVIDIA AI Enterprise Software Platform, verbessert das Deployment von GenAI-Anwendungen und unterstützt eine breite Palette von KI-Modellen, um skalierbare Inferenzen vor Ort oder in der Cloud über Anwendungsprogrammierschnittstellen (APIs) bereitzustellen.
  
  
• Unterstützung für AMD-GPUs ermöglicht den Zugriff auf ein AMD ROCm Workbench Image zur Verwendung von AMD-GPUs für die Modellentwicklung. Die neue Funktionalität ermöglicht auch den Zugriff auf Images, die für Serving- und Trainings-/Tuning-Anwendungsfälle mit AMD-GPUs einsetzbar sind. Damit stehen Unternehmen zusätzliche Optionen für den Einsatz von GPUs zur Verbesserung der Leistung bei rechenintensiven Aktivitäten zur Verfügung.
  
  

Verbessertes Model Serving​
Als umfassende KI- und ML-Plattform bietet Red Hat OpenShift AI 2.15 ebenfalls neue Funktionen für das GenAI Model Serving – inklusive der vLLM-Serving-Laufzeit für KServe. Damit erhält die Plattform eine populäre Model Serving Runtime für LLMs auf Open-Source-Basis. Die Flexibilität und Leistung von vLLM ist eine optimale Ergänzung zu den derzeit von der Plattform unterstützten Laufzeiten. Anwender können aber auch, je nach Anforderung, ihre präferierten Alternativen hinzuzufügen.

Die neueste Version von Red Hat OpenShift AI bietet außerdem Unterstützung für KServe Model Cars, das Repositories der Open Container Initiative (OCI) als Option für die Speicherung und den Zugriff von containerisierten Modellversionen hinzufügt. Darüber hinaus können Unternehmen mit der Auswahl privater/öffentlicher Routen für Endpunkte in KServe die Sicherheit eines Modells verbessern, indem sie es bei Bedarf gezielt an interne Endpunkte leiten.

Erweiterte Optionen für KI-Training und -Experimente​
Red Hat OpenShift AI 2.15 bietet Verbesserungen für Data-Science-Pipelines und das Tracking von Experimenten. Data Scientists können damit Pipeline Runs, die in einer logischen Struktur gruppiert sind, einfacher verwalten, vergleichen und analysieren. Die neue Version fügt außerdem Hyperparameter-Tuning mit Ray Tune hinzu. Damit stehen erweiterte Algorithmen zur Verbesserung der Genauigkeit und zum effizienteren Trainieren von prädiktiven GenAI-Modellen zur Verfügung.

Die Basis-Container-Images für Ray-Cluster sind ebenfalls in der neuesten Version von Red Hat OpenShift AI enthalten. Trainings- und Tuning-Aufträge können über verteilte Workloads im Cluster geplant werden, um Aufträge zu beschleunigen und die Knotenauslastung zu maximieren.