Red Hat hat mit Red Hat AI 3 eine umfangreiche Weiterentwicklung seiner Enterprise-AI-Plattform angekündigt. Die hybride, Cloud-native KI-Plattform von Red Hat vereinfacht KI-Workflows und bietet leistungsstarke neue Inferenz-Funktionen. Damit schafft sie die Grundlage für den breiten Einsatz von Agentic AI und befähigt IT-Teams und KI-Entwickler, Innovationen schneller und effizienter voranzutreiben.
Immer mehr Unternehmen haben die experimentelle Phase ihrer KI-Projekte abgeschlossen und stehen jetzt vor erheblichen Herausforderungen – darunter Datenschutz, Kostenkontrolle und dem Management einer Vielzahl von Modellen. Red Hat AI 3 zielt darauf ab, Lösungen für diese Herausforderungen zu liefern.
Die Plattform bietet CIOs und IT-Führungskräften eine einheitliche und konsistente Umgebung, mit der sie ihre Investitionen in leistungsstarke Computing-Technologien maximieren können. Damit ist es ebenfalls möglich, KI-Workloads schneller zu skalieren sowie über hybride Multi-Vendoren-Umgebungen zu verteilen – und gleichzeitig die teamübergreifende Zusammenarbeit an modernen KI-Workloads wie Agenten zu verbessern.
Aufbauend auf offenen Standards unterstützt Red Hat AI 3 jedes Modell auf jedem KI-Beschleuniger, von Rechenzentren über Public-Cloud- und souveräne KI-Umgebungen bis hin zum Edge.
Vom Training in die Praxis: Der Wandel hin zu Enterprise-KI-Inferenz
Wenn Unternehmen KI-Projekte in die Produktion überführen, verschiebt sich der Fokus von Training und Feinabstimmung der Modelle hin zur Inferenz – also der Produktionsphase. Red Hat AI 3 legt den Schwerpunkt auf skalierbare und kosteneffiziente Inferenz, die auf den erfolgreichen Community-Projekten vLLM und llm-d sowie auf der Expertise zur Modelloptimierung von Red Hat basiert, um die produktionsreife und zuverlässige Bereitstellung großer Sprachmodelle (LLMs) zu ermöglichen.
llm-d ermöglicht eine intelligente, verteilte Inferenz, nutzt den bewährten Ansatz der Kubernetes-Orchestrierung und die Performance von vLLM in Kombination mit zentralen Open-Source-Technologien wie der Kubernetes Gateway API Inference Extension, der NVIDIA Dynamo Low Latency Data Transfer Library (NIXL) sowie der DeepEP Mixture of Experts (MoE) Communication Library.
Daraus ergibt sich eine Reihe an Vorteilen für Unternehmen:
- Sinkende Kosten und steigende Effizienz durch disaggregiertes Serving, was zu einer besseren Performance pro investiertem Euro führt.
- Einfache Bedienung und maximale Zuverlässigkeit dank vordefinierter „Well-lit Paths“, die die Bereitstellung von Modellen auch im großen Maßstab auf Kubernetes optimieren.
- Maximale Flexibilität durch eine plattformübergreifende Unterstützung der Bereitstellung von LLM-Inferenz auf verschiedenen Hardware-Beschleunigern, darunter NVIDIA und AMD.
llm-d baut auf vLLM auf und entwickelt die Single-Node-Hochleistungs-Inferenz-Engine zu einem verteilten, konsistenten und skalierbaren Serving-System weiter. Ziel ist eine vorhersehbare Performance, messbarer ROI und effektive Infrastrukturplanung. Alle Verbesserungen adressieren direkt die Herausforderungen, die mit der Verarbeitung hochvariabler LLM-Workloads und der Bereitstellung umfangreicher Modelle wie Mixture-of-Experts-Modellen (MoE) verbunden sind.
Eine einheitliche Plattform für kollaborative KI
Mit Red Hat AI 3 bietet Red Hat jetzt eine einheitliche, flexible Plattform an, die ganz konkret auf die kollaborativen Anforderungen bei der Entwicklung produktionsreifer generativer KI-Lösungen zugeschnitten ist. Sie wurde entwickelt, um die Arbeit mit KI stark zu vereinfachen und durch die Förderung der teamübergreifenden Zusammenarbeit und einheitlichen Workflows spürbaren Mehrwert zu schaffen.
Die Plattform bietet damit sowohl Plattform- als auch KI-Ingenieuren eine gemeinsame Umgebung, um ihre KI-Strategie gemeinsam umzusetzen. Zu den neuen Funktionen, die darauf ausgerichtet sind, die für die Skalierung vom Proof-of-Concept bis zur Produktion erforderliche Produktivität und Effizienz zu gewährleisten, gehören:
- Model-as-a-Service-Funktionen (MaaS) basieren auf verteilter Inferenz und ermöglichen es IT-Teams, als eigene MaaS-Anbieter zu agieren, gängige Modelle zentral bereitzustellen und sowohl KI-Entwicklern als auch KI-Anwendungen On-Demand-Zugriff zu gewähren. Dies ermöglicht ein besseres Kostenmanagement und unterstützt Anwendungsfälle, die aufgrund von Datenschutz- oder Privacy-Bedenken nicht auf öffentlichen KI-Diensten ausgeführt werden können.
- Der KI-Hub ermöglicht es Plattformingenieuren, grundlegende KI-Assets zu suchen, bereitzustellen und zu verwalten. Der zentrale Hub enthält einen kuratierten Katalog von Modellen, einschließlich validierter und optimierter Gen-AI-Modelle, einem Register zur Verwaltung des Lebenszyklus von Modellen und einer Produktivumgebung zur Konfiguration und Überwachung aller auf OpenShift AI laufenden KI-Assets.
- Gen AI Studio bietet KI-Ingenieuren eine praktische Umgebung, in der sie mit Modellen interagieren und Prototypen für KI-Anwendungen der neuen Generation noch schneller erstellen können. Mit der KI-Assets-Endpunktfunktion können Ingenieure verfügbare Modelle und MCP-Server (Model Context Protocol), die die Interaktion von Modellen mit externen Tools optimieren sollen, leichter finden und nutzen.
Der integrierte Playground bietet dabei eine interaktive, zustandslose Umgebung, um mit Modellen zu experimentieren, Eingabeaufforderungen zu testen und Parameter für Anwendungsfälle wie Chat und Retrieval-Augmented Generation (RAG) anzupassen. - Neue von Red Hat validierte und optimierte Modelle sind enthalten, um die Entwicklung zu vereinfachen. Die kuratierte Auswahl umfasst beliebte Open-Source-Modelle wie gpt-oss von OpenAI, DeepSeek-R1 und spezialisierte Modelle wie Whisper für die Sprache-zu-Text-Umwandlung und Voxtral Mini für sprachgesteuerte Agenten.
Das Fundament für die nächste Generation von KI-Agenten
KI-Agenten sind dabei, die Art und Weise, wie Anwendungen entwickelt werden, grundlegend zu verändern. Dabei stellen ihre komplexen autonomen Workflows allerdings hohe Anforderungen an die Inferenz-Fähigkeiten. Mit der Version Red Hat OpenShift AI 3 legt Red Hat das Fundament für skalierbare agentenbasierte KI-Systeme – nicht nur durch erweiterte Inferenz-Funktionen, sondern auch durch neue Features und Verbesserungen.
Um die Erstellung und Bereitstellung von Agenten zu beschleunigen, hat Red Hat einen Unified API Layer auf Basis des Llama Stack eingeführt, um die Entwicklung konkret an Branchenstandards wie OpenAI auszurichten. Darüber hinaus setzt sich Red Hat für ein offeneres und interoperableres Ökosystem ein und gehört zu den frühen Anwendern des Model Context Protocol. Der aufstrebende leistungsstarke Standard soll die Interaktion von KI-Modellen mit externen Tools vereinfachen, eine zentrale Funktion moderner KI-Agenten.
Red Hat AI 3 führt darüber hinaus ein neues modulares und erweiterbares Toolkit zur Modellanpassung ein, das auf der bestehenden InstructLab-Funktionalität aufbaut. Es umfasst spezialisierte Python-Bibliotheken, die Entwicklern mehr Flexibilität und Kontrolle bieten. Grundlage des Toolkit sind Open-Source-Projekte wie Docling für die Datenverarbeitung, das die Aufnahme unstrukturierter Dokumente in ein KI-lesbares Format deutlich vereinfacht.
Außerdem enthält das Toolkit ein flexibles Framework zur Erzeugung synthetischer Daten sowie einen Trainings-Hub für das Finetuning von LLMs. Ein integrierter Evaluations-Hub unterstützt KI-Ingenieure bei der Überwachung und Validierung ihrer Ergebnisse – und ermöglicht es ihnen, ihre eigenen Daten gezielt zu nutzen, um noch genauere und relevantere KI-Modelle zu entwickeln.