KI-Anwendungen im eigenen Rechenzentrum: offene Modelle in Ihrem Serverraum oder Rack in Frankfurt Rhein-Main

Was KI im eigenen Rechenzentrum für ein Unternehmen heißt

KI im eigenen Rechenzentrum ist ein Sprachmodell auf Servern, die Ihrem Unternehmen gehören: in Ihrem Serverraum oder in einem gemieteten Rack bei einem Colocation-Anbieter. Gewichte, Prompts und Antworten bleiben auf diesen Rechnern. DeepSeek, Qwen, Mistral und OpenAI mit gpt-oss veröffentlichen ihre trainierten Gewichte. Open-Source-Software für Agenten kann ein solches Modell dort nutzen, wo sie sonst ein Cloud-Modell aufrufen würde.

Die Wahl des Modells ist eine Entscheidung. Die anderen betreffen den Raum drumherum: Strom, Kühlung, Netzwerk, eine Ausweichlösung, Zugriffsregeln und eine Person, die das Modell am Laufen hält. Hier geht es um das Rack und den Betrieb, für Unternehmen in Frankfurt, Offenbach, Wiesbaden, Darmstadt, Mainz, Hanau und Bad Homburg.

Vom Modell zum Rack, geprüft im September 2026

Die Größe des Modells bestimmt, wie viel GPU-Speicher Sie brauchen. Die GPUs bestimmen, wie viel Strom und Kühlung das Rack liefern muss. Die Tabelle stellt veröffentlichte Werte nebeneinander.

Modell oder Hardware	Veröffentlichter Wert	Was das für Ihr Rack heißt
gpt-oss-20b (OpenAI)	21 Milliarden Parameter, läuft mit 16 GB Speicher	Passt auf eine GPU in einem gewöhnlichen Server.
gpt-oss-120b (OpenAI)	117 Milliarden Parameter, passt auf eine einzelne GPU mit 80 GB	Eine GPU für Rechenzentren in einem Server.
DeepSeek-V4.1-Flash	552 Milliarden Parameter	Bei einem Byte pro Parameter belegen allein die Gewichte etwa 552 GB. Das ist mehr, als jede einzelne GPU in dieser Tabelle fasst.
NVIDIA RTX PRO 6000 Blackwell Server Edition	96 GB GPU-Speicher, bis zu 600 W, Luft- oder Flüssigkühlung	Vier Karten ziehen bis zu 2,4 kW, ohne den Rest des Servers.
NVIDIA DGX B200	8 GPUs, 1.440 GB GPU-Speicher, etwa 14,3 kW, 10 Höheneinheiten	Fragen Sie den Anbieter, ob ein Rack 14,3 kW liefern und die Wärme abführen kann.

Quellen: gpt-oss, DeepSeek-V4.1-Flash, RTX PRO 6000 Blackwell Server Edition, DGX B200. Wie viele Menschen gleichzeitig fragen und wie lang ihre Dokumente sind, erhöht den Speicherbedarf zusätzlich. Die Analyse schätzt beides anhand Ihrer Aufgaben, bevor etwas gekauft wird.

Was Sie Ihren Serverraum oder Colocation-Anbieter fragen sollten

Bevor ein GPU-Server einzieht, muss der Raum diese Fragen beantworten. Ich gehe sie mit Ihnen oder mit dem Anbieter durch:

• Wie viele Kilowatt bekommt ein Rack, und reicht das für die GPU-Server unter Volllast?
• Führt die Kühlung diese Wärme ab, per Luft oder per Flüssigkeit?
• Gibt es eine zweite Stromzuführung und eine USV, damit ein Stromausfall das Modell nicht stoppt?
• Wie schnell ist die Leitung zu Ihren Büros, und ist das Rechenzentrum an einen Internetknoten wie DE-CIX angebunden?
• Wer darf den Raum betreten, und wird jeder Zutritt protokolliert?
• Können die Techniker des Anbieters ein Teil tauschen, wenn niemand aus Ihrem Unternehmen hinfahren kann?
• Welche zweite Maschine, welcher zweite Standort oder welches freigegebene Cloud-Modell übernimmt die Anfragen, wenn der erste Standort ausfällt?

Laut DE-CIX verbindet der Frankfurter Internetknoten mehr als 1.000 Netzwerke und ist in mehr als 30 Rechenzentren erreichbar (DE-CIX Frankfurt).

Was nach der Einrichtung läuft

Ein Modell im Produktivbetrieb braucht dieselbe Pflege wie Ihre anderen Server. Ich richte ein:

• eine Überwachung von GPU-Speicher, Temperatur und Antwortzeiten,
• ein Protokoll jeder Anfrage mit der Anwendung, die sie gestellt hat,
• einen Plan für Modell-Updates: Die neue Version läuft neben der alten, bis Ihre Mitarbeiter sie freigeben,
• ein Betriebshandbuch, dem Ihr IT-Team bei einer Störung folgen kann.

Agenten, die das Modell nutzen, folgen denselben Regeln wie Menschen.

Wer ich bin

Ich bin Michael Wutzke, IT-Experte für Datenplattformen in Frankfurt am Main. Mein Weg führte in mehr als zwanzig Jahren vom Code bis zum CIO, in der Finanzbranche, im E-Commerce und in der Immobilienwirtschaft, mit Cloud-Plattformen und Rechenzentren. Heute baue ich Datenplattformen mit KI-Agenten schneller auf und um.

In Kundenprojekten baue ich eine Plattform mit Claude und Codex nach einer gemeinsamen Regeldatei neu auf. Regeln und Gedächtnis der Agenten liegen außerhalb des Modells. Ein Open-Weight-Modell auf Ihren eigenen Servern kann dann die Arbeit eines Cloud-Modells übernehmen. In Rechenzentren in Deutschland und den USA habe ich Server, Switches, Firewalls und Backup-Systeme aufgebaut und verkabelt. Für eine Web-Community habe ich 40 Server mit Lastverteilung selbst eingerichtet. Ich habe Blockchain-Nodes in mehreren Rechenzentren betrieben. Eine Infrastruktur habe ich mit Failover von Azure in eine andere Cloud umgezogen.