LONDON (IT BOLTWISE) – Ein automatisierter LLM-Benchmark mit Ollama zeigt, wie schnell lokale Sprachmodelle auf kompakten Mini-PCs laufen. Der Apple Mac mini mit M6 erreicht bei Mistral 7B bis zu 30,20 Tokens pro Sekunde und liegt damit deutlich vor den anderen Testgeräten. Besonders interessant: Die beiden AMD-Modelle mit Ryzen AI 9 HX 470 liefern ähnliche Grundwerte, unterscheiden sich aber spürbar bei der Leistungsaufnahme. Die Ergebnisse machen klar, dass RAM, Modellgröße und Laufzeit-Setup oft wichtiger sind als nur die reine Prozessornummer.
Lokale KI hat sich vom Bastelprojekt zur ernsthaften Desktop-Option entwickelt, aber die entscheidende Frage bleibt in der Praxis immer dieselbe: Wie flüssig läuft ein Sprachmodell wirklich auf einem kleinen System? Genau das hat ein automatisierter Benchmark-Ansatz untersucht, der auf dem quelloffenen LLM-Benchmark von AI Data Tools basiert und dabei Ollama als lokale Laufzeit nutzt. Dabei werden verfügbare Modellgrößen nicht geraten, sondern aus dem vorhandenen Arbeitsspeicher abgeleitet: Je nach RAM wählt der Benchmark passende Varianten wie Phi3, Gemma 2, Mistral, Deepseek-R1 und Llava aus, lädt sie automatisch herunter und testet sie anschließend mit vorgegebenen Prompts. Als Messgröße dient ein Durchschnittswert in Tokens pro Sekunde, also dem rechnerischen Durchsatz, mit dem das Modell Eingaben verarbeitet und Ausgaben generiert.
Dass Tokens pro Sekunde dabei mehr aussagt als ein reiner CPU-Vergleich, liegt an der Architektur der End-to-End-Ausführung. Tokens sind die grundlegenden Textbausteine, in die ein Sprachmodell Eingaben und Ausgaben zerlegt; je höher der Wert, desto höher ist der mögliche Durchsatz beim Generieren längerer Antworten oder beim Durcharbeiten größerer Textmengen. Gleichzeitig gilt: Die Geschwindigkeit hängt nicht nur am Prozessor, sondern ebenso daran, welches Modell genau quantisiert und in welcher Größe geladen wird. Auch die Frage, ob Berechnungen auf der CPU laufen oder eine dedizierte Beschleunigung verfügbar ist, beeinflusst den Output. Selbst Betriebssystem und Systemkonfiguration können das Ergebnis verschieben, weshalb der Test bewusst auf feste Software- und Plattformannahmen setzt: Windows-11 mit 26H2-Update und beim Mac Mini auf die aktuelle Mac-Version „27 Golden Gate“ beschränkt.
Im Vergleich der sechs Mini-PCs wird schnell sichtbar, wie stark ein stimmiges Zusammenspiel aus Hardware, Speicher und Laufzeitprofil wirken kann. Der Apple Mac mini mit M6, 16 Gigabyte RAM und 256 Gigabyte SSD erzielt in den Messungen die höchsten Durchsatzwerte: Bei Mistral 7B erreicht er 30,20 Tokens pro Sekunde, bei Deepseek-R1 8B sind es 26,92 Tokens pro Sekunde. Sogar bei größeren Modellen bleibt er klar vorn, etwa mit Phi-4 14B (15,03 Tokens pro Sekunde) und Llava 7B (31,41 Tokens pro Sekunde). Auffällig ist dabei, dass nicht nur das „Top-Device“-Gefühl zählt, sondern die konkrete RAM-Ausstattung: Mit 16 GB schlägt der Mac mini nicht nur den Geekom IT13 Max (24 GB), sondern liegt auch vor den beiden AMD-Systemen mit jeweils 32 GB. Das deutet darauf hin, dass neben der nackten Speichermenge die Effizienz der Plattform-Integration und die Verarbeitungskette während der Ollama-Ausführung eine zentrale Rolle spielen.
Die beiden AMD-Modelle Vzmore AX9 Max und Ctone AM23 liefern wiederum ein interessantes Bild für Käufer, die auf eine konkrete CPU-Plattform setzen. Beide Systeme verwenden den Ryzen AI 9 HX 470, beide kommen mit 32 Gigabyte Arbeitsspeicher und einer 1 Terabyte SSD. Trotzdem landet Ctone AM23 in fünf der sechs getesteten Modellkategorien vorn: Bei Gemma 2 9B erreicht er 13,68 statt 12,10 Tokens pro Sekunde; bei Mistral 7B sind es 17,53 statt 16,10 Tokens pro Sekunde. Selbst bei Phi-4 14B und Llava 7B liegen die Messwerte beim Ctone etwas höher, während der Vzmore bei Deepseek-R1 8B und Llava 13B die Nase minimal vorn hat. Besonders konsistent erscheint der Unterschied in der Leistungsaufnahme: Der Vzmore gibt sich mit maximal 58 Watt zufrieden, der Ctone zieht bis zu 80 Watt. Das passt zur Beobachtung, dass die konkrete Systemauslegung wie TDP- und Kühlprofilen den Spielraum der CPU beeinflussen kann, selbst wenn die Basiskomponenten identisch wirken.
Der Blick auf Intel zeigt, dass eine verbaute NPU allein kein Garant für hohe LLM-Durchsätze ist. Der Geekom IT13 Max mit Intel Core Ultra 9 185H, integrierter Intel-Arc-Grafik und NPU erreicht im Benchmark deutlich niedrigere Werte als die AMD-Modelle: Bei Mistral 7B sind es 8,67 Tokens pro Sekunde, bei Gemma 2 9B 8,28 Tokens. Bei Phi-4 14B fällt der Wert auf 4,58 Tokens pro Sekunde, was den Abstand zu den AMD-Systemen weiter vergrößert. Der Test liefert dafür auch eine schlüssige technische Erklärung: Eine NPU beschleunigt nur dann, was die verwendete Software tatsächlich dafür ausgelagert hat. Ollama prüft in diesem Setup vor allem, ob die GPU genügend Speicher besitzt; wenn das nicht der Fall ist, lädt es das Modell in den Arbeitsspeicher. Damit wird der Engpass häufig zum RAM- und Ausführungsprofil, nicht zur Frage „Hat die CPU eine NPU?“.
Dass „ältere“ Hardware dennoch brauchbare Ergebnisse liefern kann, zeigt der Nipogi H1 mit Ryzen 7 7735 HS. Hier stammt der Prozessor aus einer früheren Generation, der Mini-PC bringt aber 24 Gigabyte RAM und 1 Terabyte SSD mit. In der Praxis liegt er bei kleineren bis mittleren Modellen nahe an neueren Lösungen: Bei Deepseek-R1 8B erreicht er 7,16 Tokens pro Sekunde, der Geekom IT13 Max kommt auf 7,75. Bei Phi-4 14B ist der Abstand sogar nur 0,42 Tokens pro Sekunde. Trotzdem setzt der Test Grenzen: Der Peladn WO5 mit Ryzen 4300U, 8 Gigabyte RAM und 256 Gigabyte SSD bildet das Schlusslicht. Der niedrige Durchsatz hängt zwar stark mit der geringen Speicherausstattung zusammen, weil Sprachmodelle Platz für Modellgewichte und zusätzliche Daten während der Berechnung brauchen, aber er ist nicht nur eine reine RAM-Frage. Der Benchmark macht damit eine praxisrelevante Kaufentscheidung greifbar: Wer lokale KI vor allem für kleinere Modelle und einfache Aufgaben nutzen will, kann günstiger einsteigen; wer größere Modelle flüssiger nutzen möchte, braucht mehr RAM und eine Plattform, die die Ausführung effizienter unterstützt.
Fazit des Tests: Der Apple Mac mini mit M6 bleibt bei diesem Benchmark an der Spitze und zeigt, dass ein durchdachtes System-Design den Roh-Tabellenwerten „Gigabyte RAM“ und „CPU-Generation“ häufig voraus ist. Dahinter folgen die beiden AMD-Systeme mit Ryzen AI 9 HX 470, wobei Ctone AM23 im Durchschnitt knapp vor dem Vzmore AX9 Max liegt, während der Vzmore in der Leistungsaufnahme deutlich effizienter wirkt. Der Geekom IT13 Max zeigt, wie stark die Software-Unterstützung für Beschleuniger zählt, und der Nipogi H1 unterstreicht, dass nicht jede lokale KI-Anforderung ein „Neugerät“ erfordert. Entscheidend für Unternehmen und Power-User ist damit weniger die Suche nach dem maximalen Prozessorlabel, sondern die Kombination aus RAM-Größe, Modellkompatibilität im lokalen Runtime-Setup und real gemessenem Tokens-pro-Sekunde-Durchsatz.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Mini-PCs im KI-Test: Apple M6 vorne, AMD Ryzen AI 9 HX 470 stark" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Mini-PCs im KI-Test: Apple M6 vorne, AMD Ryzen AI 9 HX 470 stark" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Mini-PCs im KI-Test: Apple M6 vorne, AMD Ryzen AI 9 HX 470 stark« bei Google Deutschland suchen, bei Bing oder Google News!