AI Infrastructure Engineer in Deutschland

Was ein AI Infrastructure Engineer macht

Ein AI Infrastructure Engineer betreibt die Modelle und die Agenten-Software eines Unternehmens und die Server darunter. Dazu gehören der Server oder die Cloud-Region, die Serving-Software, die Anfragen beantwortet, das Modell, der Agent Harness und die Regeln dafür, wer was aufrufen darf. Die Anwendungen darauf baut ein AI Engineer.

Auf Ihren eigenen Servern bleiben Prompts und Dokumente auf Rechnern, die Sie auswählen. Die Modellversion wechselt erst, wenn Ihr Team es entscheidet.

Offene Gewichte und offene Harnesses, Stand September 2026

Für beide Teile gibt es offene Lizenzen: für das Modell und für den Harness, der es steuert.

DeepSeek hat am 24. April 2026 eine Preview von DeepSeek V4 veröffentlicht, in zwei Größen: V4-Pro und V4-Flash (Ankündigung). Die Gewichte von DeepSeek-V4.1-Flash stehen unter der MIT-Lizenz, mit Anleitungen für vLLM und SGLang auf der Modellseite. Die API von DeepSeek versteht das Format von OpenAI und das von Anthropic (API-Dokumentation). Software, die für eines der beiden Formate geschrieben ist, erreicht DeepSeek nach einer Änderung der Basis-URL.

DeepSeek Harness ist ein Open-Source-Agent-Harness von DeepSeek unter der MIT-Lizenz. Er läuft auf Node.js, und alles darin ist ein Plugin (GitHub). Laut InfoQ vom 20. August 2026 genügt eine Änderung der Konfigurationsdatei, um das Modell zwischen entfernten API-Anbietern und lokalen Runtime-Servern zu wechseln (InfoQ). Das Projekt ist eine Developer Preview, und die Entwickler kündigen inkompatible Änderungen an.

Modell und Harness sind Teile, die Ihr Team austauschen kann. Der Engineer, den Sie einstellen, sorgt dafür, dass Regeln und Zugriffsgrenzen bestehen bleiben, wenn Modell oder Harness wechseln.

Die Stellenbeschreibung, Schicht für Schicht

Die Tabelle nennt, was ein AI Infrastructure Engineer betreibt und auf welchen Teil meiner Arbeit ich in jeder Schicht zurückgreife. Legen Sie sie neben Ihre eigene Stellenbeschreibung.

Schicht	Was der Engineer tut	Woher meine Erfahrung kommt
Hardware	Legt Server in Ihrem Rack oder bei einem Hosting-Anbieter aus und betreibt sie	Server, Switches und Firewalls, die ich in Rechenzentren in Deutschland und den USA eingebaut habe; 40 Server mit Lastverteilung für eine Web-Community
Cloud und Failover	Betreibt den Dienst in einer Cloud-Region mit einem zweiten Standort	AWS, Azure und Google Cloud; ein Node-Betrieb, den ich mit Failover von Azure in eine andere Cloud umgezogen habe
Dienste ohne Ausfall	Hält Software für Nutzer am Laufen, die auf sie angewiesen sind	Blockchain-Nodes und ein Oracle-Netzwerk in mehreren Rechenzentren, auf Bare-Metal-Servern und in der Cloud, eingerichtet als Skripte und Docker-Container
Serving des Modells	Installiert Serving-Software wie vLLM, mit einem Token pro Anwendung und einem Protokoll der Anfragen	Ein Aufbau, den ich für Unternehmen plane; die Serverarbeit aus den Zeilen darüber lässt sich übertragen
Agent Harness	Betreibt Claude, Codex oder einen offenen Harness nach den Regeln des Unternehmens	Claude und Codex unter einer Regeldatei, die auch die Gemini CLI liest; Regeln und Gedächtnis außerhalb des Modells
Zugriff und Grenzen	Legt fest, was ein Agent lesen und ändern darf	Eine Datenbankrolle nur mit Leserechten, Tokens mit begrenzten Rechten, ein geschützter Produktions-Branch und Hooks mit Testmatrix
Daten	Bindet das Modell über APIs an die Daten des Unternehmens an	Eine Kundenplattform, mit Claude und Codex umgebaut, hat mehr als 300 RESTful-API-Endpunkte und mehr als 8.000 Commits

Wer ich bin

Ich bin Michael Wutzke, IT-Experte für Datenplattformen in Frankfurt. Mein Weg führte in mehr als zwanzig Jahren vom Code bis zum CIO, in der Finanzbranche, im E-Commerce und in der Immobilienwirtschaft, mit Cloud-Plattformen und Rechenzentren. Heute baue ich Datenplattformen mit KI-Agenten schneller auf und um.

In Kundenprojekten baue ich eine Plattform mit Claude und Codex nach einer gemeinsamen Regeldatei neu auf. Ich unterrichte im Claude Hacker House. Ich habe Blockchain-Nodes in mehreren Rechenzentren betrieben. Ich bin zertifizierter AWS Solutions Architect Associate.