KI-Rechenzentren – hoch komplexe Industrieanlagen

Sie ermöglichen moderne KI, benötigen aber enorme Investitionen, Strom, Flächen und Wasser. Durch einen Vortrag auf einer unserer Veranstaltungen wurde mein Interesse geweckt. Nun versuche ich mich diesem Thema in Bezug auf die Gegebenheiten für mögliche Standorte zu nähern: Was ist das Besondere an einem KI-Rechenzentrum? Was sind Voraussetzungen für einen Standort bezogen auf die Infrastruktur? Und welche Ressourcen müssen zur Verfügung stehen? Das ist natürlich keine Wissenschaftliche Abhandlung, aber dennoch ein Versuch, die Komplexität von KI-Rechenzentren einfach zu schildern. Zunächst möchte ich wissen, was denn ein KI-Rechenzentrum von einem herkömmlichen Rechenzentrum unterscheidet.

Was ist ein KI-Rechenzentrum?

Rechenzentren, die auf das Training und den Betrieb von KI-Modellen spezialisiert sind, werden als KI-Rechenzentren bezeichnet. Im Gegensatz zum klassischen Rechenzentrum, hier werden hauptsächlich CPU’s (Central Processing Unit’s) verwendet, werden in KI-Rechenzentren sehr viele, eng gekoppelte GPU’s (Graphic Processing Unit’s) und auch andere Beschleunigerchips betrieben, um gemeinsam Berechnungen auszuführen, besser gesagt gleichzeitig.

Die modernen Rechenzentren der großen LLM’s in den USA geben uns Hinweise auf die Architektur:

• leistungsfähige Energieversorgung, das heißt ein ausgebautes Stromnetz (über 100 kW/Rack)
• Hochgeschwindigkeitsnetzwerke zwischen den Chips (LWL)
• dichte Server-Racks (hohes Gewicht, hohe Wärmeentwicklung)
• Luftkühlung reicht nicht mehr aus, also Wasserkühlung in verschiedenen Ausführungen (Kühlwasser)
• Speicher- und Datensysteme für große Trainingsdatensätze

Allein diese 5 Punkte geben uns bereits einen Einblick, nur in die rein physischen Dimensionen, welche als Anforderungen für einen Standort als Voraussetzung erfüllt sein müssen. Von diesen nehme ich mir vorerst 2 Stück heraus und möchte schauen, was das bedeutet.

Im Vergleich mit einem klassischen Rechenzentrum mit bis zu 10 kW/Rack, können wir hier bereits eine ver15fachung der Anforderungen vorfinden und das auf derselben Grundfläche, nur als kleiner Ausblick. Wasserkühlung heißt ja aber Wasserverbrauch oder?

Bedeutung von Wasser und Kühlung

KI-Chips arbeiten mit einer sehr hohen Leistungsdichte, je nach Auslastung. Damit einhergehend muss die entstehende Wärme dauerhaft und sicher in irgendeiner Form abgeführt werden. Je dichter die Anordnung der Chips erfolgt, desto höher ist auch der Bedarf, diese Wärme wegzuschaffen. Nun gibt es hier bereits verschiedene Methoden, wie zum Beispiel der Einsatz von Flüssigkeitskühlungen oder Wärmetauschern. Dabei unterscheidet sich der Wasserverbrauch erheblich. Je nach Leistungsdichte der KI-Chips müssen entsprechende Kühlmethoden berücksichtigt werden:

• Luftkühlung: Große Kühlkörper mit optimierten Lamellendesign, werden für Leistungsdichten verwendet, die noch in den Luftkühlungsbereich fallen (maximal 400 W), oder wo keine neuen Kühlsysteme eingebracht werden können (Bestandsbau, Umbau) --> kommen also für KI-Rechenzentren nicht infrage
• Closed-Loop Cooling -> Kaltplatten nehmen die Wärme an den belasteten Chips auf, eine Wasser-Glycol-Mischung transportiert die Wärme in einem geschlossenen Kreislauf zu Wärmetauschern und diese wird dort von Dry Coolern an die Außenluft abgegeben. Das Kreislaufmedium verdampft dabei nicht. (Quelle: Closed-Loop Cooling Explained: The Plumbing Behind Meta's AI), ähnlich Direct to Chip Cooling (Erweiterungen und Neubauten)
• Wärmetauscher: gekühltes, zirkulierendes Wasser entzieht durch einen Wärmetauscher die heiße Luft, die in den Racks entstehen, bevor diese an die Umgebungstemperatur des Rechenzentrums abgegeben werden. Leider gibt es keine konkreten Quellen, welche Grenzen diese Anwendung besitzt.

Es gibt noch weitere Arten von Kühlsystemen und die Entwicklung steht nicht still. Es ist also nicht automatisch so, dass KI-Rechenzentren enorme Mengen Wasser benötigen, aber die lokalen Auswirkungen können natürlich drastisch sein. Verdunstungskühlungen können erhebliche Mengen Wasser benötigen, geschlossene Systeme reduzieren diesen Verbrauch, aber entscheidend ist der Standort, das vorherrschende Klima und die Wassersituation. Auf die Frage: Wie viel Wasser wird denn wirklich im Betrieb eines KI-Rechenzentrums benötigt, werden Leser mit dem vorangegangenen Standortsatz und den diversen Einflussfaktoren vertröstet.

Anforderungen an das Energienetz

Dazu mache ich einen kleinen Abstecher in den Vortrag von Andreas Wolske (axilaris GmbH, Chemnitz). Die Herleitung und die Veranschaulichung des Bedarfs sind mir durch seine Ausführungen im Kopf geblieben.

• In einem klassischen Rechenzentrum hat ein Rack eine Leistungsaufnahme zwischen 5-15 kW
• Racks moderner KI-Rechenzentren haben kalkulierte Leistungsaufnahmen von 120 kW bis 142 kW pro Rack (für aktuelle NVIDIA Systeme: GB200 NVL72: 120 kW nominal (NVIDIA Spec) / 132 kW (HPE Spec) und GB300 NVL72: bis zu 142 kW), rechnen werde ich mit 135 kW
• Das entspricht ca. dem Faktor 15-27 auf derselben Grundfläche

Nun kam ich ins Grübeln und habe gleich geschaut, was ich denn der durchschnittliche Verbrauch in deutschen Haushalten übers Jahr gesehen ist. Hier lassen sich Verbräche zwischen 3.000 – 6.000 kWh finden, ich rechne dazu mit 4.500 kWh pro Haushalt.

Das Entspricht 4.500 kWh / 8.760 Stunden = 0,51 kW je Haushaltsstunde

135 kW / 0,51 kW = 265 Haushalte

Hier kann etwas nicht stimmen, Andreas Wolske (axilaris GmbH) hat doch etwas von 30-40 Einfamilienhäusern gesagt. Da mussten die Teilnehmer schon Schlucken, aber egal wie ich es drehe und wende, ein einziges Rack verbraucht rechnerisch so viel Strom wie ein kleines Dorf oder eine kleine Vorstadt.

Ich rechne weiter und habe im Hinterkopf, dass ein Rack vielleicht für ein Rechenzentrum nicht so attraktiv ist. Was wäre, sagen wir mit 50 solcher Racks? Ok, dann kommt man an die 6,75 MW ohne Kühlung und alles Weitere. Das übersteigt bereits die Kapazitäten für kleinere Industriegebiete in Deutschland. Überall kann man diese also auch nicht aufstellen.

Zumindest, wenn wir davon ausgehen, dass die Auslastung permanent ist, was mich gleich zum nächsten Punkt bringt: Was kostet so ein NVL72 GB200 bzw. das aktuellere Modell GB300- für KI-Training eigentlich und laufen die Systeme immer unter Vollast?

Anforderungen an die Investition

Die Wahrheit ist, in einem solchen Rack, gar in einem solchen Projekt stecken mehrere hundert Millionen Dollar an Investitionskosten.

Nachdem ich mir das alles angesehen habe und ich auch noch weiter in die Tiefen des Themas eintauchen möchte, will ich vorerst mit diesem Abschnitt enden und noch ein paar Zahlen auf den Tisch legen, die Online zu finden sind und auch noch eine kurze Zusammenfassung geben.

• Infrastruktur (Stromversorgung und Kühlung) 50-100 Mio. USD
• Racks x 50 GB300 300 – 325 Mio. USD

Für die weiteren Posten bleibe ich etwas allgemeiner: für Notstromanlage, Gebäude, Netzwerkinfrastruktur, Integration und die Bereitstellung werden dann bestimmt auch noch mal über 100 Mio. Dollar fällig

Diese Zahlen (ganz grobe Schätzungen) zeigen schon, dass die Investitionen für eine solches Rechenzentrum nicht einfach so aus der Portokasse freigegeben werden können. Zumal ist Europa was Racks, Chips und teilweise auch die Kühllösungen angeht, sehr stark von Zuliefern aus den USA und China abhängig. Diese wiederum, sind voneinander abhängig. Es nützt nun mal nichts, wenn 12.000 Racks produziert werden können, aber die Chipproduktion nur 6.000 Racks füllen kann. Weiter auf die aktuellen Lieferketten möchte ich aber nicht eingehen, das wäre ein Thema für sich.

Was bedeutet das jetzt für unseren Standort Deutschland? Sind wir abgehängt?

Zum einen haben wir wenige Standorte, die die enormen Lastaufnahmen ohne Erweiterungen stemmen können, Frankfurt oder München vielleicht in Teilen. Netzausbauten können sehr lange dauern, bis zu 13 Jahre. Also müssten Standorte in Nähe von Wasserkraftwerken, (Kernkraftwerken) oder an die See, in der Nähe großer Windparks in Betracht gezogen werden. Die Verwendung von Leerstand ist auch kritisch zu betrachten, denn witzigerweise sind solche Racks mit ca. 1,5 t auch keine Leichtgewichte. Auch der Platz für die Kühlsysteme übersteigt die Kapazität von Bestandsbauten. Das bedeutet, dass statische Gegebenheiten, z.B. bei Mehrstöckigkeit oder auch die standarmäßigen Raumhöhen sehr wahrscheinlich ebenfalls für Grünfeld-Projekte sprechen. Das heißt, bestehende Industriegebiete kommen wahrscheinlich auch weniger in Frage.

„Aber Moment mal: in Deutschland tut sich doch etwas, was ist denn mit dem Data Center von Schwarz Digits?“

Ja, interessanter Einwand, hier schauen wir rein, was bekannt ist:

Investitionsvolumen:     11 Mrd. Euro

Standort:                          ehemaliges Kohlekraftwerk, Infrastruktur ist schon da

Kapazität:                         bis 100.000 GPU’s, da gehen wir kurz rein

Strom:                               erste Ausbaustufe 200 MW, modular erweiterbar

Nachhaltigkeit:                Betrieb mit Ökostrom

Kühlung:                           Direct Liquid Cooling (direkt am Entstehungsort der Wärme), keine Trinkwassernutzung

Abwärmenutzung:          kann theoretisch bis zu 75.000 Haushalte mit Fernwärme versorgen Post von www.golem.de KI Rechenzentrum schließt Vertrag für Abwärme

Auf den 1. Blick sehe ich 100.000 GPU’s, aktueller technischer Stand sind ca. 72 GPU’s auf einem Rack, also rechne ich 100.000 / 72 und erhalte ca. 1.400 Racks x 125 kW = 175 MW. Das sind natürlich viel mehr, als meine 50 Racks in der Schätzung. Da wären noch ein paar Megawatt für Kühlsysteme und das Drumherum übrig. Die Informationen, die ich finden konnte, sind also zunächst ganz sinnig.

Der Standort des alten Kohlemeilers ist bewusst gewählt, da das Stromnetz im Grunde schon da ist. Die Kühlmethode ist den aktuellen Informationen so konzipiert, dass diese keine Trinkwasserressourcen benötigt und gleichzeitig die Abwärme der Kühlanlage als Fernwärme zur Nutzung zur Verfügung stellt.

Nun stellt sich die Frage, was wird in diesem KI-Rechenzentrum eigentlich gemacht? Allen voran wird das Rechenzentrum neben der Verarbeitung interner Daten (u.a. Zahlungs- und Bestellvorgänge) auch Cloud-Dienste für externe Kunden zur Verfügung stellen. Und genau das ist der Knackpunkt, aktuell werden viele Cloud-Dienste eben von ausländischen Firmen gehostet und das macht uns extrem abhängig. Wir mieten also aktuell CPU-Leistung und wenn es um KI geht, mieten wir GPU Leistung, einfach gesprochen.

Warum brauchen wir in Deutschland und Europa KI-Rechenzentren?

Das Projekt in Lübbenau ist ein Schlüsselbaustein für digitale Souveränität, also digitale Unabhängigkeit in Europa und Deutschland. Diese Unabhängigkeit gerade mit Bezug auf unsere kritischen Infrastrukturen ist notwendig damit Staat, Wirtschaft und unsere Gesellschaft selbstbestimmt, sicher und im Krisenfall handlungsfähig sind und weiterhin digitale Technologien nutzen können. Für uns bedeutet das, Rechenleistung, Datenverarbeitung und KI-Entwicklung kann stärker in Deutschland stattfinden.

Ein KI-Rechenzentrum ist ein wichtiger Baustein, aber keine vollständige digitale Unabhängigkeit.

Vielen Dank fürs Lesen, ich freue mich, das spannende Thema mit dem Netzwerk teilen zu können und bin offen für Ergänzungen und Gespräche.

Mit besten Grüßen 

Danny Walther
Referent der Geschäftstelle SWS