Self-hosted KI: Warum Open-Source-Modelle neue Hardwarestrategien brauchen
Generative KI wurde in den letzten Jahren für viele Unternehmen zunächst vor allem über die Cloud zugänglich: Account anlegen, API anbinden, Modell auswählen – und die benötigte Rechenleistung kommt aus dem Rechenzentrum des jeweiligen Anbieters. Parallel entwickelt sich jedoch ein anderer Ansatz immer weiter: KI-Modelle auf eigener oder dediziert bereitgestellter Infrastruktur betreiben.
Self-hosted KI kann Unternehmen mehr Kontrolle über Daten, Modelle und Infrastruktur geben. Modelle aus dem Open-Source- und Open-Weight-Ökosystem machen es zunehmend möglich, Anwendungen unabhängig von einer klassischen KI-API aufzubauen.
Damit kommt allerdings eine Frage zurück, die bei Cloud-KI weitgehend unsichtbar bleibt: Auf welcher Hardware soll die KI eigentlich laufen?
Gerade größere Sprach-, Vision- und multimodale Modelle können erhebliche Anforderungen an GPU-Leistung und Speicher stellen. Leistungsfähige Workstations und andere KI-taugliche Systeme sind entsprechend kostspielig. Für Unternehmen entsteht damit ein interessantes neues Einsatzfeld für Miethardware: Rechenleistung nutzen, ohne die benötigte Hochleistungs-Hardware direkt kaufen zu müssen.
Was bedeutet Self-hosted KI?
Bei einer Self-hosted-KI-Anwendung wird das verwendete Modell nicht ausschließlich über die Infrastruktur eines externen API-Anbieters ausgeführt. Stattdessen läuft die Inferenz auf einer Infrastruktur, die das Unternehmen selbst betreibt oder kontrolliert.
Das kann beispielsweise sein:
- eine leistungsfähige GPU-Workstation,
- ein dediziertes lokales KI-System,
- ein eigener GPU-Server,
- eine private Rechenzentrumsumgebung oder
- eine speziell für ein KI-Projekt bereitgestellte Infrastruktur.
Allen Varianten ist gemeinsam, dass die Rechenleistung nicht beim externen Anbieter liegt, sondern in einer Umgebung, über die ihr selbst entscheidet.
Tools und Frameworks wie Ollama, llama.cpp, vLLM oder andere Inference Engines ermöglichen es heute, zahlreiche verfügbare Modelle auf eigener Hardware auszuführen.
Damit wird aus einer reinen Softwareentscheidung plötzlich wieder eine klassische IT-Infrastrukturentscheidung.
Warum Unternehmen KI-Modelle selbst betreiben wollen
Für viele Anwendungen bleibt KI aus der Cloud die einfachste Lösung. Self-hosting ist deshalb kein automatischer Ersatz für kommerzielle KI-Dienste.
Es gibt aber Szenarien, in denen ein lokal oder kontrolliert betriebenes Modell interessant wird.
Kontrolle über Daten
Bei einer eigenen Inferenz-Infrastruktur kann genauer gesteuert werden, wohin Prompts, Dokumente oder andere Unternehmensdaten übertragen werden.
Das kann insbesondere dann relevant werden, wenn KI mit internen Wissensbeständen, technischen Dokumentationen, Entwicklungsdaten oder anderen sensiblen Informationen arbeiten soll.
Kontrolle über das Modell
Self-hosted Modelle können unabhängig von Änderungen eines externen API-Anbieters betrieben werden. Unternehmen können Modellversionen gezielt auswählen, testen und teilweise an eigene Anforderungen anpassen.
Planbare Infrastruktur
Bei einer API wird üblicherweise nach Nutzung abgerechnet. Bei eigener Infrastruktur entstehen dagegen vor allem Kosten für Hardware, Betrieb und Administration.
Ab einer entsprechend intensiven oder kontinuierlichen Nutzung kann deshalb auch die Frage interessant werden, welche Betriebsform wirtschaftlich sinnvoller ist.
Eigene KI-Anwendungen und Automatisierungen
Nicht jeder Anwendungsfall benötigt das größte verfügbare Frontier-Modell.
Für klar umrissene Aufgaben können kleinere spezialisierte Modelle ausreichen – beispielsweise für Klassifikation, Dokumentenanalyse, interne Assistenten, Zusammenfassungen oder bestimmte automatisierte Prozesse.
Wichtig: Self-hosting bedeutet nicht automatisch Datenschutz, Datensouveränität oder Compliance.
Modelllizenz, verwendete Daten, Zugriffsrechte, Protokollierung, Security, Backup, Betrieb und die regulatorischen Anforderungen an den konkreten KI-Einsatz müssen weiterhin separat betrachtet werden.
Open Source ist nicht automatisch Open Source
Im Zusammenhang mit lokalen KI-Modellen wird häufig pauschal von „Open Source KI“ gesprochen. Technisch und lizenzrechtlich sollte jedoch genauer unterschieden werden.
Bei manchen Modellen werden beispielsweise die trainierten Modellgewichte veröffentlicht und dürfen unter bestimmten Bedingungen selbst betrieben werden. Das bedeutet aber nicht zwingend, dass Trainingsdaten, Trainingsprozess, Code und sämtliche weiteren Bestandteile vollständig offen verfügbar sind.
Deshalb begegnet euch zunehmend auch der Begriff Open Weight.
Für die Infrastrukturentscheidung ist zunächst vor allem entscheidend, ob ein Modell unter den jeweiligen Lizenzbedingungen selbst betrieben werden darf. Vor einem produktiven Einsatz sollte die Lizenz jedoch immer konkret geprüft werden.
Der eigentliche Engpass: KI braucht Speicher
Bei klassischer Business-Hardware achten Unternehmen häufig auf Prozessor, RAM und SSD. Bei lokaler generativer KI kommt eine weitere Kennzahl besonders stark ins Spiel:
GPU-Speicher beziehungsweise verfügbarer gemeinsamer Systemspeicher.
Ein Sprachmodell muss während der Inferenz im Speicher gehalten werden. Je größer das Modell, desto höher ist grundsätzlich auch sein Speicherbedarf. Dazu kommen weitere Faktoren:
- gewählte Quantisierung,
- Kontextlänge,
- Anzahl paralleler Nutzer,
- Batch-Größe,
- Modellarchitektur,
- Inference Engine und
- weitere gleichzeitig laufende Anwendungen.
Deshalb lässt sich die richtige KI-Hardware nicht ausschließlich anhand der Parameterzahl eines Modells auswählen.
Von der normalen Workstation bis zur großen KI-Infrastruktur
Nicht jedes Self-hosted-KI-Projekt braucht sofort ein GPU-Cluster. Welche Hardware sinnvoll ist, hängt stark vom konkreten Modell und Einsatzzweck ab.
| Einsatz | Typisches Szenario | Hardwarebedarf | Geeignet für |
|---|---|---|---|
| Erste Tests | Kleine oder quantisierte lokale Modelle | leistungsfähiger Rechner bzw. Workstation | Evaluation, Entwicklung, Einzelanwender |
| KI-Workstation | Größere Modelle, Entwicklung und regelmäßige lokale Inferenz | starke GPU und hoher GPU-Speicher | Entwickler, AI-Teams, Prototyping |
| Produktiver Betrieb | Mehrere Nutzer oder kontinuierliche Workloads | professionelle GPU-Infrastruktur, abhängig von Last und Modell | interne KI-Dienste und Unternehmensanwendungen |
| Große Modelle | Sehr große LLMs, hoher Kontext oder viele parallele Anfragen | Multi-GPU- oder spezialisierte Server-Infrastruktur | anspruchsvolle produktive KI-Systeme |
Damit unterscheidet sich auch der Investitionsbedarf enorm. Ein kleiner Proof of Concept kann mit einer einzelnen leistungsfähigen Workstation funktionieren. Ein größeres Modell mit mehreren parallelen Nutzern kann dagegen eine völlig andere Hardwareklasse benötigen.
Das Problem beim Kauf: Die Anforderungen stehen am Anfang oft noch gar nicht fest
Genau hier entsteht für Unternehmen ein Beschaffungsproblem.
Bei klassischen Arbeitsplatzrechnern lässt sich relativ gut planen, welche Leistung ein Mitarbeiter in den kommenden drei oder vier Jahren benötigt. Bei KI-Infrastruktur ist das schwieriger.
Vielleicht startet ein Projekt heute mit einem kleineren Modell. Einige Monate später soll ein leistungsfähigeres Modell getestet werden. Danach kommen längere Kontextfenster, weitere Nutzer oder multimodale Anwendungen hinzu.
Damit können sich auch die Hardwareanforderungen verändern. Wer zu Beginn direkt eine teure High-End-Konfiguration kauft, geht deshalb mehrere Risiken ein:
- Die Hardware ist für den eigentlichen Use Case überdimensioniert.
- Der Proof of Concept wird nicht produktiv eingesetzt.
- Das gewählte Modell ändert sich.
- Der Speicherbedarf steigt schneller als erwartet.
- Eine neue Hardwaregeneration ist für den späteren Produktivbetrieb besser geeignet.
Gerade bei einem technologisch schnelllebigen Thema wird Hardwarebesitz damit nicht automatisch zur besten Lösung.
KI-Hardware mieten statt hohe Anfangsinvestition
Miethardware verändert diese Ausgangslage.
Statt die benötigte Hochleistungs-Hardware direkt zu kaufen, kann sie für eine definierte Nutzungsdauer bereitgestellt werden. Das ist insbesondere für Unternehmen interessant, die Self-hosted KI zunächst evaluieren oder einen konkreten Anwendungsfall aufbauen möchten.
Proof of Concept
Ihr könnt leistungsfähige Hardware für einen realen Test einsetzen, ohne daraus direkt eine langfristige Investitionsentscheidung machen zu müssen.
Projektbetrieb
Wird die Rechenleistung nur für ein bestimmtes Entwicklungs- oder KI-Projekt benötigt, kann die Hardware passend zum Projektzeitraum geplant werden.
Technologiewechsel
Ändern sich Modelle und Anforderungen, muss nicht zwangsläufig eine bereits gekaufte Workstation möglichst lange weiterbetrieben werden.
Investitionsplanung
Hohe einmalige Hardwareinvestitionen können vermieden und die Kosten über die vereinbarte Nutzung verteilt werden.
Cloud-KI, eigene Hardware oder Miethardware?
Die Entscheidung ist keine reine Frage von „Cloud oder lokal“. Unternehmen können verschiedene Modelle abhängig vom jeweiligen Use Case kombinieren.
| Modell | Einstieg | Hardwareinvestition | Kontrolle über Infrastruktur | Anpassung an neue Anforderungen |
|---|---|---|---|---|
| KI über API / Cloud | sehr einfach | keine eigene KI-Hardware nötig | geringer | hoch |
| Self-hosted + gekaufte Hardware | höherer technischer Aufwand | hoch | hoch | durch vorhandene Hardware begrenzt |
| Self-hosted + Miethardware | höherer technischer Aufwand | keine hohe einmalige Anschaffung | hoch | abhängig von Laufzeit und Hardwarekonzept |
Wann lohnt sich Self-hosted KI überhaupt?
Trotz aller Vorteile sollte ein Unternehmen nicht allein deshalb eigene KI-Infrastruktur aufbauen, weil ein Modell lokal verfügbar ist. Self-hosting wird vor allem interessant, wenn es einen konkreten Grund für den eigenen Betrieb gibt.
Zum Beispiel:
- sensible oder besonders kontrollierte Datenverarbeitung,
- hohe und kontinuierliche Modellnutzung,
- eigene KI-Produkte oder interne KI-Services,
- spezialisierte oder angepasste Modelle,
- Entwicklungs- und Forschungsprojekte,
- geringe Abhängigkeit von einzelnen KI-Anbietern oder
- bestimmte Anforderungen an Infrastruktur und Datenstandort.
Diesen Szenarien ist gemeinsam, dass der eigene Betrieb einen konkreten fachlichen, rechtlichen oder wirtschaftlichen Grund hat und nicht nur technisch möglich ist.
Für gelegentliche KI-Nutzung oder erste Experimente kann eine API dagegen deutlich unkomplizierter sein.
Erst den Use Case auswählen – dann die Hardware
Ein häufiger Fehler wäre, zunächst eine möglichst leistungsstarke GPU-Workstation zu beschaffen und danach zu überlegen, was darauf laufen soll. Sinnvoller ist die umgekehrte Reihenfolge:
- Use Case definieren: Was soll die KI konkret leisten?
- Modelle evaluieren: Welche Modellgröße und Modellfamilie erfüllt die Anforderungen?
- Nutzer und Last bestimmen: Einzelanwender, Entwicklerteam oder produktiver Dienst?
- Speicherbedarf berechnen: Modell, Quantisierung, Kontext und Parallelität berücksichtigen.
- Hardwareklasse auswählen: Workstation, dediziertes System oder größere GPU-Infrastruktur.
- Pilot durchführen: Leistung und tatsächlichen Ressourcenbedarf unter realen Bedingungen testen.
- Produktivbetrieb planen: Erst danach über die längerfristige Infrastruktur entscheiden.
Besonders zwischen Schritt vier und sieben kann Miethardware interessant sein.
Sie ermöglicht es, nicht nur theoretisch zu kalkulieren, sondern einen Use Case auf leistungsfähiger Hardware tatsächlich zu testen.
Warum KI-Hardware ein interessantes Mietmodell ist
Hardwaremiete wird häufig mit Arbeitsplatzgeräten wie Notebooks, Smartphones oder Tablets verbunden. Bei KI-Systemen ist das Grundprinzip jedoch besonders interessant. Denn hier treffen drei Eigenschaften aufeinander:
- hohe Anschaffungskosten,
- schnelle technische Entwicklung und
- zu Projektbeginn schwer vorhersehbare Anforderungen.
Genau das macht eine hohe Anfangsinvestition schwierig. Ein Mietmodell kann dagegen ermöglichen, leistungsfähige Hardware für Entwicklung, Proof of Concept oder produktive Projekte bereitzustellen, ohne dass das Unternehmen die komplette Hardware unmittelbar erwerben muss.
Wenn aus einem Pilotprojekt später ein größerer KI-Service wird, kann anschließend neu bewertet werden, welche Infrastruktur für den dauerhaften Betrieb tatsächlich benötigt wird.
Self-hosted KI macht Hardware wieder strategisch
Cloud-KI hat Rechenleistung für den Anwender lange nahezu unsichtbar gemacht. Mit lokalen und selbst betriebenen KI-Modellen ändert sich das. Plötzlich werden GPU-Leistung, Speicher, Energiebedarf, Skalierung und Hardware-Lifecycle wieder Teil der KI-Strategie.
Das muss kein Nachteil sein. Unternehmen erhalten dadurch neue Möglichkeiten, KI-Infrastruktur an ihre eigenen Anforderungen anzupassen. Sie sollten dabei jedoch vermeiden, aus einem technologischen Experiment sofort eine große Hardwareinvestition zu machen.
Gerade in einer Phase, in der sich Modelle und Hardware schnell weiterentwickeln, kann Nutzung sinnvoller sein als Besitz.
Hardware für euer KI-Projekt mieten
Ihr plant ein Self-hosted-KI-Projekt, einen Proof of Concept oder benötigt leistungsfähige Hardware für Entwicklung und lokale KI-Anwendungen?
Mit fonlos neo könnt ihr geeignete Business- und Workstation-Hardware für definierte Zeiträume mieten, statt die benötigte Ausstattung direkt zu kaufen.
Gemeinsam schauen wir darauf, welche Geräteklasse, Leistung und Laufzeit zu eurem Projekt passen.