Das Aufkommen der generativen KI und der damit verbundene Bedarf an skalierbarer Inferenz zwingen Unternehmen dazu, ihre IT-Infrastruktur neu zu bewerten. IDC prognostiziert dabei, dass „bis 2027 40 % der Unternehmen maßgeschneiderte Siliziumchips einsetzen werden, um den steigenden Anforderungen an Performanceoptimierung, Kosteneffizienz und spezialisierte Rechenleistung gerecht zu werden“.
Die Zusammenarbeit von Red Hat mit AWS ermöglicht Unternehmen eine Full-Stack-Gen-AI-Strategie, indem die umfassenden Plattformfunktionen von Red Hat mit der AWS-Cloud-Infrastruktur und den AI-Chipsätzen AWS Inferentia und AWS Trainium kombiniert werden. Zu den wichtigsten Aspekten der Zusammenarbeit gehören:
- Red Hat AI Inference Server auf AWS-KI-Chips
Der Red Hat AI Inference Server, der auf vLLM basiert, wird auch mit AWS-KI-Chips wie AWS Inferentia2 und AWS Trainium3 nutzbar sein, um eine gemeinsame Inferenzschicht bereitzustellen, die jedes KI-Modell unterstützen kann.
Damit können Unternehmen eine höhere Performance, geringere Latenz und Kosteneffizienz für die Skalierung von KI-Produktionsbereitstellungen erzielen – mit einer um 30 bis 40 % besseren Preis-Leistungs-Bilanz als bei aktuellen, vergleichbaren GPU-basierten Amazon-EC2-Instanzen. - Bereitstellung von KI auf Red Hat OpenShift
Red Hat arbeitete mit AWS zusammen, um einen AWS Neuron Operator für Red Hat OpenShift, Red Hat OpenShift AI und Red Hat OpenShift Service auf AWS zu entwickeln. Eine umfassende und vollständig verwaltete Anwendungsplattform auf AWS bietet Unternehmen einen nahtlosen, unterstützten Weg, ihre KI-Workloads mit AWS-Beschleunigern auszuführen. - Einfacher Zugriff und leichte Bereitstellung
Durch die Unterstützung von AWS-KI-Chips bietet Red Hat seinen Kunden auf AWS einen verbesserten und einfacheren Zugriff auf stark nachgefragte Beschleuniger mit hoher Kapazität. Darüber hinaus hat Red Hat kürzlich die amazon.ai Certified Ansible Collection für Red Hat Ansible Automation Platform veröffentlicht, um die Orchestrierung von KI-Services auf AWS zu ermöglichen. - Beitrag zur Upstream-Community
Red Hat und AWS arbeiten gemeinsam an der Optimierung eines AWS-KI-Chip-Plugins, das an vLLM weitergeleitet wird. Als führender kommerzieller Mitwirkender an vLLM setzt sich Red Hat dafür ein, vLLM auf AWS zu unterstützen, um die KI-Inferenz- und Trainingsfunktionen für Benutzer zu beschleunigen.
vLLM ist auch die Grundlage von llm-d, einem Open-Source-Projekt, das sich auf die Bereitstellung von Inferenz in großem Maßstab konzentriert und jetzt als kommerziell unterstützte Funktion in Red Hat OpenShift AI 3 verfügbar ist.
Red Hat blickt auf eine lange Historie der Zusammenarbeit mit AWS zurück, um Kunden vom Rechenzentrum bis zur Edge zu unterstützen. Dieser jüngste Meilenstein zielt nun darauf ab, den sich wandelnden Anforderungen von Unternehmen gerecht zu werden, die KI in ihre Hybrid-Cloud-Strategien integrieren, um optimierte, effiziente Ergebnisse im Bereich der generativen KI zu erzielen.