Lokale LLMs auf dem M4 Pro: Benchmark für Coding-Aufgaben

Ein lokales Sprachmodell auf einer Workstation erledigte in meinem Versuch ein Arbeitspaket, das ich auch einer Junior-Entwicklerin oder einem Junior-Entwickler geben würde. Dafür brauchte es einen ausgearbeiteten Auftrag sowie einen Prozess, der Fehler findet. Anforderungen, Tests, Review und Freigabe lagen außerhalb des Modells. In diesem Rahmen reichte seine Leistung an die einer eng geführten Juniorrolle heran. Durchgehend erreichte es diese Schwelle noch nicht.

Im Software Development Life Cycle (SDLC) übernimmt das Modell die Implementierung. Ein Owner gibt den Arbeitsabschnitt frei, ausführbare Akzeptanztests prüfen das Verhalten, und ein unabhängiger Auditor kontrolliert das Ergebnis. Über den Merge entscheidet wieder ein Mensch. In zwei größeren Projekten habe ich diesen Ablauf bereits ausgewertet.

Der Versuch auf einem M4 Pro

Die Testmaschine war ein MacBook Pro mit M4 Pro, 64 GB gemeinsamem Arbeitsspeicher und macOS 26.6.2. Darauf liefen Qwen3.8-27B in einer 4-Bit-Quantisierung und Gemma 4 12B-it in 8 Bit. Beide Modelle waren am Messtag keine zwei Wochen alt. Als Runtimes dienten llama.cpp, MLX, LM Studio und omlx.

Der kurze Leistungstest bestand aus einem Prompt mit rund 700 Token und 128 Token Ausgabe. Nach einem Aufwärmlauf folgten drei Messläufe bei Temperatur 0. Die Tabellen nennen den Median. Alle Runtimes nutzten GPU-Beschleunigung, Flash Attention und ein Kontextfenster von 200.000 Token.

Qwen3.8-27B, 4 Bit	Generierung	Cold-Prefill	Warmes Präfix
LM Studio, MLX	15,0 tok/s	ca. 102 tok/s	ca. 1,9 s, partiell
omlx	14,3 tok/s	ca. 100 tok/s	6,8 s, kein Reuse beobachtet
mlx-lm	14,2 tok/s	ca. 109 tok/s	entfällt
llama.cpp	10,7 tok/s	94 bis 108 tok/s	0,3 s, voller Reuse
LM Studio, GGUF	10,2 tok/s	ca. 100 tok/s	0,3 s, voller Reuse

Bei Qwen lag der MLX-Stack in der Generierung rund 40 Prozent vor llama.cpp. Das Hybrid-Modell verwendet in 48 seiner 64 Layer Gated DeltaNet, eine Form linearer Attention. Die Metal-Implementierung im MLX-Stack war zum Messzeitpunkt schneller. Das Ergebnis lässt sich nicht auf jede Modellarchitektur übertragen, wie die zweite Messreihe zeigt.

Gemma 4 12B, 8 Bit	Generierung	Cold-Prefill	Warmes Präfix
omlx	16,9 tok/s	ca. 230 tok/s	2,7 bis 3,2 s, kein Reuse beobachtet
llama.cpp	15,6 tok/s	191 tok/s	0,39 s, voller Reuse
LM Studio, MLX	15,4 tok/s	ca. 198 tok/s	0,34 s, voller Reuse
LM Studio, GGUF	15,3 tok/s	194 tok/s	0,39 s, voller Reuse
mlx-vlm	15,25 tok/s	ca. 230 tok/s	entfällt

Gemmas 40 Sliding-Window-Layer und acht Full-Attention-Layer waren in allen Runtimes ähnlich schnell. Das Feld lag innerhalb von rund zehn Prozent. Die Wahl der Runtime hängt damit auch von der Architektur und vom Arbeitsprofil ab. Bei wiederholten langen Präfixen kann ein wirksamer Prompt-Cache mehrere Token pro Sekunde Generierungsrate aufwiegen.

Der M4 Pro stellt 273 GB/s Speicherbandbreite bereit. Qwens Gewichte belegen je nach Format rund 16 GB, Gemmas etwa 12,7 GB. Beide Modelle halten 200.000 Token Kontext nur deshalb in 64 GB, weil ein kleiner Teil ihrer Layer einen mit der Kontextlänge wachsenden KV-Cache führt. Gemessen lagen die RSS-Spitzen zwischen 13 und 29 GB. Die gesamte Messreihe lief auf dem Notebook.

Die Coding-Aufgabe

Für die Coding-Leistung brauchte es eine Arbeitsprobe. Qwen und Gemma erhielten denselben Auftrag: eine vollständige deutsche Marketing-Landingpage als einzelne HTML-Datei. Der Brief schrieb die Inhalte und Sektionen vor. Er verlangte Inline-CSS, ein responsives Layout sowie einen Hell- und Dunkelmodus. Externe Ressourcen waren ausgeschlossen.

Jeder Lauf bestand aus einem einzigen Chat-Completion-Request. Qwen arbeitete ohne Thinking-Modus mit einem Budget von 24.000 Token. Gemma erhielt 16.000 Token. Die Parameter für Temperatur, Top-p und Top-k folgten den Empfehlungen der Modellanbieter. Alle sechs Kombinationen aus zwei Modellen und drei Server-Runtimes lieferten ein vollständiges HTML-Dokument.

Modell und Runtime	Dauer	Ausgabe	QA-Punkte, max. 50
Qwen, LM Studio MLX	17,9 min	14.578 Token / 42,7 KB	43
Qwen, omlx	18,2 min	14.612 Token / 41,7 KB	38
Qwen, llama.cpp	25,3 min	17.123 Token / 46,7 KB	37
Gemma, omlx	4,3 min	3.989 Token / 14,9 KB	22
Gemma, llama.cpp	5,5 min	5.414 Token / 15,7 KB	21
Gemma, LM Studio MLX	3,7 min	3.215 Token / 11,4 KB	14

Zur Qualitätsprüfung wurden die Seiten als A bis F anonymisiert. Chromium renderte sie mit 1.280, 768 und 390 Pixel Breite im hellen und dunklen Farbschema. Ein separater Opus-Modelllauf prüfte außerdem HTML und CSS. Je zehn Punkte gab es für Marketingwirkung, visuelles Design, Brieftreue, Codequalität und Gesamteindruck. Menschen aus der Zielgruppe waren an dieser Bewertung nicht beteiligt.

Alle drei Qwen-Seiten erreichten 37 bis 43 Punkte. Gemma kam auf 14 bis 22 Punkte. Qwen schrieb 745 bis 881 Wörter und legte ein erkennbares Designsystem an. Seine Seiten enthielten 20 bis 28 CSS-Variablen sowie 14 bis 37 Inline-SVGs. Kein geforderter Inhalt fehlte. Gemma erzeugte 310 bis 355 Wörter, acht bis neun CSS-Variablen und höchstens ein SVG. In jeder Gemma-Ausgabe fehlten Teile des Briefs.

Auch Qwens längere Ausgaben enthielten Fehler. Eine Seite versteckte ihre Hauptüberschrift durch eine fehlerhafte Reveal-Animation. Bei einer anderen blieb der Hero auf dem Smartphone zweispaltig und wurde abgeschnitten. Die mit LM Studio erzeugte Qwen-Seite renderte in allen geprüften Ansichten ohne sichtbaren Defekt. Im Gemma-Feld fanden sich ein transparenter Sticky-Header, überbreite Tabellen und sichtbare ASCII-Umschriften deutscher Umlaute.

Die beste Qwen-Ausgabe deckte alle Pflichtinhalte ab. Ihre Betriebssystemanforderung war erfunden, und der Dark Mode wich vom Brief ab. Im beschriebenen SDLC gehen solche Befunde vor der Freigabe an den Implementierer zurück.

Pro Kombination gab es einen Lauf. Eine menschliche Kontrollgruppe fehlte. Die 43 Punkte setzen Qwen deshalb in keine Rangfolge mit realen Junior-Entwicklern. Nachgewiesen ist die Übernahme eines abgegrenzten Arbeitspakets samt prüfbarem Ergebnis. Für eine allgemeine Gleichwertigkeit über Backend-Code, Fehlersuche und länger laufende Änderungen wären weitere Aufgaben und direkte Vergleichsläufe erforderlich.

Hardware für rund 10.000 Euro

Die eigene Messung lief auf einem mobilen M4 Pro mit 64 GB. Zwei Tage nach dem Benchmark stellte Apple eine deutlich größere lokale Plattform vor. Der neue Mac Studio mit M5 Ultra beginnt in Deutschland bei 6.599 Euro. Er lässt sich mit bis zu 512 GB gemeinsamem Arbeitsspeicher konfigurieren und erreicht laut Apple 1,2 TB/s Speicherbandbreite. In der größten Ausführung hat der Chip 36 CPU- und 80 GPU-Kerne. Das 512-GB-Modell soll Ende Oktober 2026 erscheinen. Apple nennt eine bis zu 4,3-fache KI-Leistung. Unabhängige Inferenzmessungen liegen für die neue Maschine noch nicht vor.

Bereits der M5 Max im selben Gehäuse beginnt bei 2.999 Euro, unterstützt bis zu 128 GB und erreicht je nach Konfiguration bis zu 614 GB/s. Der ebenfalls neu vorgestellte Mac mini mit M5 Pro kostet in den USA ab 1.699 Dollar, bietet bis zu 64 GB und 307 GB/s. Apple behauptet für einen ausgewählten LM-Studio-Test bis zu viermal schnelleres Prompt Processing gegenüber dem M4 Pro. Auch dieser Wert braucht eine unabhängige Reproduktion.

Nvidias DGX Spark setzt einen anderen Schwerpunkt. Für 4.699 Dollar Listenpreis bietet der kleine Rechner 128 GB kohärenten Speicher, eine GB10-CPU-GPU-Kombination und 273 GB/s Speicherbandbreite. NVIDIA nennt bis zu ein PetaFLOP FP4-Rechenleistung mit Sparsity und die Inferenz von Modellen bis 200 Milliarden Parameter. Zwei Geräte lassen sich über ConnectX-7 koppeln. Nach US-Listenpreis bleiben zwei Sparks knapp unter 9.400 Dollar vor Steuern.

Die theoretischen Rechenwerte taugen nur begrenzt als Geschwindigkeitsmaß für Sprachmodelle. Bei der tokenweisen Generierung begrenzt oft der Transport der Gewichte aus dem Speicher den Durchsatz. Ein unabhängiger Vergleich von Tom’s Hardware fand im Juli 2026 beim M4 Max höhere Decode-Raten als bei GB10 und AMD Strix Halo, während GB10 im Prompt Processing vorne lag. Der DGX Spark erschließt durch seine 128 GB und den CUDA-Stack andere Modelle und Betriebsformen. Der Mac liefert für dichte Modelle viel Speicherbandbreite und einen einfachen lokalen Desktopbetrieb.

Für rund 10.000 Euro bekommt man einen Mac Studio M5 Ultra in der Basisversion oder, nach US-Listenpreis, zwei DGX Sparks vor Steuern. Nach dem Kauf entstehen laufende Kosten für Strom, Speicher, Ersatzhardware und die Pflege des Software-Stacks. Die menschliche Arbeit an Spezifikation und Verifikation gehört ebenfalls in die Rechnung.

Dokumentierter Modellfortschritt

Die Modellseite von Qwen erlaubt den Vergleich zweier Generationen derselben lokalen Größenklasse. Qwen3.6-27B erschien am 22. April 2026, Qwen3.8-27B am 14. August. In den vom Anbieter veröffentlichten Ergebnissen stieg der Wert auf Terminal Bench 2.1 von 63,4 auf 73,0, auf SWE-bench Pro von 53,5 auf 61,7. Bei DeepSWE 1.1 wuchs er von 13,3 auf 42,2. Einige Tests liefen in einem Claude-Code-Harness. Die Werte dokumentieren eine schnelle Verbesserung in diesen drei Tests, bleiben aber Herstellerangaben.

Eine Auswertung von 20.574 realen Agentensitzungen aus 1.639 Repositories fand sieben wiederkehrende Formen der Fehlanpassung. In 91,49 Prozent der sichtbaren Auflösungen musste der Nutzer ausdrücklich korrigieren (arXiv 2605.29442, 28. Mai 2026). Ein beaufsichtigter Lauf muss solche Korrekturen einplanen.

SpecBench zeigt für die Spezifikationsarbeit eine deutliche Lücke. Der Benchmark verwendet Entwurfsdiskussionen aus Kubernetes, React, Rust, TVM und vLLM. Der beste getestete Agent erkannte 44,4 Prozent der von Maintainerinnen und Maintainern gefundenen Mängel (arXiv 2605.30314, 28. Mai 2026).

Eine getrennte Spezifikationsphase verbessert die Umsetzung messbar. SpecFirst zerlegt die Rekonstruktion eines Programms in Verhaltenserkundung und anschließende Implementierung. Über 200 Aufgaben und vier Modelle stiegen die Testpass-Raten gegenüber einem gemeinsamen Durchlauf um 6,9 bis 21,3 Prozentpunkte (arXiv 2607.27167, 29. Juli 2026). In dem hier beschriebenen SDLC liefern ausführbare Anforderungen dem Implementierer diese Vorarbeit.

Die Grenzen bleiben bei schwierigen Fachaufgaben eng. MDArena prüfte 50 reale Aufgaben aus molekulardynamischen Arbeitsabläufen. Die beste untersuchte Konfiguration löste 24 davon vollständig. Bei schweren Aufgaben blieben alle Konfigurationen fast ohne Erfolg (arXiv 2608.02642, 31. Juli 2026). SWE-bench Science kommt bei 119 Aufgaben aus wissenschaftlichen Repositories für den besten Agenten ebenfalls auf weniger als 50 Prozent Pass@1 (arXiv 2608.19799, 20. August 2026).

Diese Befunde begrenzen meine Aussage auf vorbereitete Implementierung. Systementwurf und die Klärung unvollständiger Anforderungen bleiben bei erfahrenen Entwicklerinnen und Entwicklern. Bei fachlich riskanten Änderungen braucht auch die Umsetzung ihre Aufsicht.

Meine Antwort auf die Titelfrage

Für den gemessenen Teil der Arbeit lautet meine Antwort heute „fast“. Das lokale Modell setzte einen ausgearbeiteten Auftrag in eine brauchbare Webseite um. Die Schwankung zwischen 37 und 43 Punkten bei Qwen zeigt zugleich, wie viel Zuverlässigkeit noch fehlt. Der Versuch belegt damit die Leistung in einer eng geführten Implementierungsrolle. Eine ganze Stelle bildet er nicht ab.

Den aktuellen Fortschritt eingerechnet erwarte ich, dass lokale Modelle mit der dann verfügbaren Hardware diese Schwelle bei vorbereiteten Standardaufgaben spätestens in einem Jahr überschreiten. Dafür sprechen die Unterschiede zwischen den beiden Qwen-Generationen und die neue Rechnergeneration jetzt schon.

Ein Junior-Entwickler für 10.000 € einmalig?