Noch vor wenigen Jahren war leistungsfähige KI eng mit großen Modellen und entsprechend hohen Infrastrukturanforderungen verbunden. Das hat sich deutlich geändert. Laut Stanford AI Index benötigte 2022 das kleinste Modell, das beim Sprachbenchmark MMLU mehr als 60 Prozent erreichte, noch 540 Milliarden Parameter. 2024 schaffte ein Modell mit 3,8 Milliarden Parametern dieselbe Schwelle – eine Reduktion um den Faktor 142 innerhalb von nur zwei Jahren. Parallel dazu wächst das Angebot leistungsfähiger Open-Source- und Open-Weight-Modelle. Artificial Analysis unterscheidet inzwischen Tiny-Modellen mit bis zu vier Milliarden und Small Models mit vier bis 40 Milliarden Parametern. Sie lassen sich auf einer eigenen Infrastruktur betreiben und teilweise per Fine-Tuning an konkrete Aufgaben anpassen.
Schnelle Iteration wird zum Wettbewerbsvorteil
Sinkende Modellgrößen allein bringen aber noch keine Vorteile. Entscheidend ist, wie schnell sich mithilfe von KI aus einer Idee ein funktionierender Prototyp entwickeln lässt. Gerade kleinere Teams und Start-ups leben von kurzen Iterationsschleifen: Modell auswählen, testen, Prompt oder Datenbasis verändern, erneut testen, verwerfen oder weiterentwickeln. Je weniger Reibung dazwischen liegt, desto mehr Varianten lassen sich in derselben Zeit ausprobieren. Teams können vorhandene Modelle mit eigenen Dokumenten und Daten verbinden, RAG-Anwendungen entwickeln, Modelle vergleichen oder spezialisierte KI-Funktionen in eigene Produkte integrieren.
Lokale KI beschleunigt diese Zyklen, weil Modelle und Daten unmittelbar für Entwicklung, Test und Anpassung verfügbar sind. McKinsey zufolge kann generative KI beispielsweise die Codeentwicklung um 35 bis 45 Prozent beschleunigen. Auch bei Refactoring, Dokumentation und Softwarequalität zeigen sich Produktivitätsgewinne. Voraussetzung dafür ist jedoch mehr als der Einsatz neuer Werkzeuge: Prozesse, Rollen und Arbeitsweisen müssen entsprechend angepasst werden.
Die Cloud: Wichtig – aber nicht für alles
Cloud-Plattformen sind besonders für Start-ups attraktiv: Rechenleistung steht schnell zur Verfügung, Spezialhardware muss nicht selbst beschafft werden und zusätzliche Kapazitäten lassen sich bei Bedarf flexibel zuschalten. Für das Training großer Modelle oder bei stark schwankenden Lasten bleibt das ein klarer Vorteil. Mit zunehmender Nutzung sensibler Unternehmensdaten entstehen jedoch zusätzliche Anforderungen. Damit übertragen Unternehmen Quellcode, interne Dokumente, Produktdaten oder proprietäre Modelle nicht bei jedem Entwicklungsschritt an externe Dienste. Lokale KI schafft hier eine zusätzliche Option: Daten und Modelle können auf eigener Hardware verarbeitet, Zugriffe intern kontrolliert und Open-Source- beziehungsweise Open-Weight-Modelle unabhängig von externen APIs betrieben werden.
Auch Gartner empfiehlt für die KI-Inferenz eine abgestufte Architektur mit lokalen, On-Premise- und Cloud-Ressourcen statt eines einheitlichen Betriebsmodells. Damit sollen unter anderem Risiken beim Zugriff auf Modelle und bei der Souveränität begrenzt werden. Ein Entweder-Oder ist das nicht: Lokale Workstations ergänzen die Cloud dort, wo Entwickler schneller experimentieren, sensible Daten unter eigener Kontrolle halten oder Modelle unabhängig von externen Diensten betreiben wollen.
Lokale KI-Entwicklung ohne große Infrastruktur
HP bietet mit seinen Z Workstations eine lokale Leistungsklasse für KI-gestützte Entwicklung am Arbeitsplatz an. Beim HP ZBook Ultra G1a bilden AMD Ryzen AI Max PRO CPU, Radeon-Grafik und NPU eine einheitliche Architektur. Bis zu 128 GByte Arbeitsspeicher stehen zur Verfügung, davon lassen sich bis zu 96 GByte der GPU zuweisen. Gerade für lokale LLMs erweitert das den Spielraum; die NPU erreicht bis zu 50 TOPS.
Auch auf Softwareseite sinken die Einstiegshürden:
- AMD Ryzen AI Software stellt Werkzeuge und Laufzeitbibliotheken bereit, um vortrainierte Modelle auf NPU oder integrierter GPU lokal auszuführen.
- Lemonade, ein von AMD unterstütztes Open-Source-Projekt, erleichtert den lokalen Einsatz von LLMs und bietet dafür eine OpenAI-kompatible API.
- HP Z Data Science Stack Manager vereinfacht die Anpassung und Verwaltung der Entwicklungsumgebung und bietet Zugriff auf Bibliotheken, Anwendungen und Entwicklerwerkzeuge.
So können kleine Teams mit einer leistungsfähigen Workstation beginnen, Modelle lokal entwickeln und testen und bei Bedarf auf zentrale Infrastruktur oder die Cloud skalieren. AMD-basierte HP Z Workstations ergänzen damit Standard-PC und zentrale Compute-Infrastruktur um eine leistungsstarke lokale Entwicklungsstufe.
Weitere Informationen: Alles über die Z Workstation
