Der Energiebedarf von KI-Rechenzentren steigt weiter an. Der IT-Branchenverband Bitkom geht davon aus, dass die KI-basierte Recheninfrastruktur in Deutschland bis 2030 von derzeit rund 530 MW auf etwa 2.020 MW anwachsen und damit ihr Anteil an der gesamten Rechenzentrumskapazität in Deutschland von etwa 15 % auf 40 % steigen wird. Gleichzeitig führen Energiekosten und Nachhaltigkeitsanforderungen zu Einschränkungen beim Ausbau.
Für Rechenzentrumsbetreiber verändert sich die Art und Weise, wie Energieeffizienz gemessen wird. Die Reduzierung des Stromverbrauchs eines Rechenzentrums ist nach wie vor wichtig, gibt jedoch allein keinen Aufschluss darüber, ob die niedrigere Energiemenge tatsächlich in nutzbare Rechenleistung umgewandelt wird.
Denn ein aufgrund von Stromeinsparungen nicht voll ausgelasteter GPU-Cluster kann Umsatzverluste verursachen. Deshalb wird die Maximierung der pro Megawatt erzeugten nutzbaren KI-Rechenleistung immer mehr zur entscheidenden Zielvorgabe.
Allerdings erfordert diese Maximierung der KI-Leistung eine einheitliche Verwaltung von Rechenleistung, Netzwerk, Stromversorgung und Flüssigkeitskühlung auf Rack- und Cluster-Ebene, anstatt einzelne Komponenten isoliert zu optimieren.
Dieser Ansatz verknüpft den Status der IT-Infrastruktur mit der Planung anfallender KI-Workloads und passt die Kühlkapazität an den tatsächlichen Wärmeabfuhrbedarf an, was eine dynamische Skalierung ermöglicht.
Neues Infrastrukturmanagement für Rack KI-Systeme
Da sich die KI-Infrastruktur von eigenständigen Servern hin zu kompletten Rack-Scale-Computing-Systemen wie dem GB300 NVL72 entwickelt, funktionieren GPUs, CPUs, Hochgeschwindigkeitsnetzwerke, die zentrale Stromversorgung und die Flüssigkeitskühlung nicht mehr als relativ unabhängige Komponenten.
Stattdessen bilden sie gemeinsam ein stark gekoppeltes Rechensystem, in dem eine ungleiche Aufgabenverteilung zu einer Überlastung bestimmter Knoten führen kann und sich Änderungen der Rechenlast direkt auf den Stromverbrauch und den Kühlbedarf auswirken. Ein Problem in einer einzelnen Verbindung kann die KI-Rechenleistung des gesamten Racks beeinträchtigen.
Folglich haben KI-Systeme auf Rack-Ebene die Art und Weise verändert, wie KI-Infrastrukturen organisiert werden. Das Infrastrukturmanagement muss auf die Rack- und Cluster-Ebene verlagert werden, um zu beobachten, wie verschiedene Ressourcen koordiniert zusammenwirken und KI-Aufgaben gemeinsam beeinflussen.
Traditionelle KI-Infrastruktur- und Verwaltungsmodelle eignen sich aufgrund von drei wesentlichen Einschränkungen hierfür nicht:
- Kennzahlen auf Anlagenebene geben keinen Aufschluss darüber, ob Strom in nutzbare Rechenkapazität umgewandelt wird oder nicht.
- Durch die Überwachung einzelner Geräte können Anwender systemweite Engpässe nicht erkennen und leiden unter einem eingeschränkten Überblick sowie mangelnder Transparenz.
- IT- und Kühlsysteme arbeiten in der Regel mit getrennten Datensätzen und Steuerungslogiken – was wiederum einen zentralen Überblick verhindert.
Bei der Verlagerung des KI-Infrastrukturmanagements auf eine höhere Ebene geht es darum, Energieflüsse, Ressourcenstatus und Arbeitsergebnisse miteinander zu verknüpfen – um zu erkennen, an welcher Stelle der Strom nicht in die erwartete KI-Leistung umgewandelt wird, und Ressourcen sowie Kühlkapazität entsprechend anzupassen.
Verbesserung der KI-Leistung pro Leistungseinheit
Dabei gibt es zwei Kernbereiche zur Optimierung der Energienutzung kompletter KI-Rack-Scale-Systeme. Erstens: die Steigerung der Rechenleistung pro Megawatt durch Transparenz und einheitliches Management und zweitens: die präzise Steuerung der Wärmeableitung durch ein flexibles Flüssigkeitskühlsystem.
Um die Rechenleistung pro Megawatt zu steigern, benötigen KI-Fabriken eine Rack-Management-Plattform, die die Bereiche Überwachung, Alarmierung, Planung sowie Analyse abdeckt und folgende Funktionen bietet:
- Vollständige Transparenz aller Ressourcen innerhalb der KI-Racks: Durch die Erfassung mehrdimensionaler Betriebskennzahlen in Echtzeit – wie GPU-/CPU-Auslastung, Belegung des Videospeichers, Netzwerkbandbreite, Festplatten-E/A, Geräte-Leistungsaufnahme in Echtzeit und Auslastung der Stromversorgung – kann die Lösung brachliegende Rechenressourcen und überlastete Knoten (Engpässe) genau identifizieren.
- Festlegung von Schwellenwerten für Kapazitätswarnungen: So können etwa GPUs mit einer Auslastung unter 15 % als im Leerlauf befindlich gekennzeichnet werden, während eine Auslastung von über 60 % eine Überlastungswarnung auslöst. Dank der rund um die Uhr Überwachung erfolgt bei Schwellenwertüberschreitungen eine automatische Warnmeldung, die eine präzise Datengrundlage für die Workload-Optimierung liefert.
- Verwaltung von inaktiven oder überlasteten Knoten: Durch die Option einer Workload-Migration auf inaktive GPU-Knoten ermöglicht die Lösung die Planung von Aufgaben außerhalb der Spitzenzeiten und die gemeinsame Zuweisung von Rechenressourcen.
- Unterstützung einer korrelativen Attributionsanalyse: Die Lösung liefert Einblicke in den Zusammenhang zwischen Rechenleistung und Energieverbrauch und bietet so datengestützte Erkenntnisse für die Hardware-Beschaffung im Unternehmen, die Clustererweiterung und die Planung der Aufgabenverteilung.
Die präzise Steuerung der Wärmeabgabe ist notwendig, da das Training großer Sprachmodelle (LLMs) extrem schwankende Rechenlasten erzeugt, wodurch die Clusterkapazität innerhalb von Sekunden zwischen Leerlauf und Volllast schwankt. Herkömmliche Flüssigkeitskühlungen mit festen Kühlmittel-Durchflussraten sowie konstanten Pumpendrehzahlen verhindern eine dynamische Anpassung der Kühlleistung an die GPU-Leistung.
Die Lösung liegt in einer dynamischen arbeitslastbasierter Kühlung: Ein solches System kann die Kühlungsanforderungen flexibel an den Bedarf anpassen, was nicht nur den unnötigen Energieverbrauch durch Pumpeneinheiten und Kühlstationen reduziert, sondern auch die Leistung sowie die Zuverlässigkeit des Rechenzentrumssystems verbessert und gleichzeitig dessen Lebensdauer verlängert.
Modernes Energiemanagement auf Rack-Ebene
„Für KI-Rechenzentren geht die Herausforderung über die bloße Reduzierung des Stromverbrauchs einzelner Geräte hinaus. Vielmehr müssen Betreiber die Umwandlung immer begrenzterer Stromkapazitäten in nutzbare Workloads für Training, Inferenz und Hochleistungsrechnen maximieren – trotz begrenzter Netzkapazitäten, gestaffelter Strompreise und strengerer Nachhaltigkeitsanforderungen“, erklärt Darren Cox, General Manager for Europe bei KAYTUS.
Durch die Kombination aus vollständiger Ressourcentransparenz und lastadaptiver Kühlungssteuerung mit fortschrittlicher GPU-Planung werden ungenutzte Kapazitäten beseitigt und der Energieverlust durch Überkühlung und nicht ausgelastete Knoten reduziert. Das Ergebnis ist eine messbar höhere KI-Leistung pro Megawatt und eine nachhaltigere Energiebilanz für das Rechenzentrum.