SAN FRANCISCO / LONDON (IT BOLTWISE) – PrismML bringt mit Bonsai 27B ein 27-Milliarden-Parameter-Modell an den Rand der Smartphone-Speicherlimits. Entscheidend ist eine aggressive, durchgängige Kompression auf 1 bis knapp 2 Bit pro Gewicht, die Reasoning- und Agentenfähigkeiten trotz kleinerer Bauformen erhalten soll. Laut Whitepaper erreicht die kleinere Variante auf einem iPhone 17 Pro Max rund 11 Tokens pro Sekunde und zeigt bei mehreren Benchmarks akzeptable Qualitätseinbußen. Gleichzeitig deuten Gespräche mit Apple darauf hin, dass die Technik für künftige On-Device-KI-Architekturen eine realistische Option werden kann.
PrismML macht die Diskussion um „lokale Agenten“ konkreter: Mit Bonsai 27B stellt das Startup ein KI-Modell mit 27 Milliarden Parametern vor, das nach eigenen Angaben direkt auf einem iPhone laufen soll – und zwar so, dass Reasoning und agentische Abläufe nicht zu stark unter die Räder kommen. Im Zentrum steht dabei weniger die schiere Modellgröße als die Frage, wie sich die Kosten für mehrstufige Agenten-Workflows aus Cloud-Betrieb in Endgeräte verlagern lassen. Laut Berichten spricht PrismML bereits mit Apple über die zugrundeliegende Kompressionstechnik; dabei werden die Modelle derzeit auf Geschwindigkeit, Energieverbrauch und Leistung getestet.
Technisch betrachtet ist das Problem bei Agentensystemen häufig systemischer Natur: Ein einzelner Modellaufruf wird durch viele aufeinanderfolgende Schritte ersetzt. Jeder Schritt benötigt Kontext, erzeugt eine strukturierte Ausgabe (z. B. zur Tool-Auswahl) und führt anschließend zum nächsten Schritt. In der Cloud summieren sich dadurch Token-Kosten und Netzwerklatenz; außerdem verlassen Zwischenresultate das Gerät. Genau hier setzt Bonsai an: Wenn Modellgewichte auf dem Endgerät liegen, fallen die Grenzkosten einer solchen Schleife effektiv weg, und Nutzerdaten bleiben lokal. PrismML beschreibt deshalb lokale Assistenz, Offline-Assistenten und hybride Architekturen als Zielbild.
Der eigentliche technische Hebel ist die Quantisierung der Modellgewichte. Statt jedes Gewicht mit 16 Bit zu speichern, nutzt PrismML nur ein oder knapp zwei Bit; in der aggressivsten Ausprägung kennt jedes Gewicht zwei Zustände, in der etwas größeren Variante drei. Das Verfahren soll sich durchgängig durch das gesamte Sprachmodell ziehen. Als anschauliches Beispiel nennt PrismML ein Qwen3.6-27B-Derivat („Qwen3.6-27B-IQ2_XXS-Build“), das mit einem „2-Bit“-Label arbeitet, im Mittel jedoch etwa 2,8 Bit pro Gewicht aufweist. Das ist relevant, weil reine „Label“-Angaben die tatsächliche Informationsdichte verschleiern können.
Der Größen- und Speicher-Fit entscheidet schließlich, ob ein solches Modell im Smartphone-Umfeld wirklich praktikabel ist. In üblicher Präzision liegt ein Modell dieser Klasse laut PrismML bei rund 54 GB; mit gängigen Komprimierungsverfahren seien es immer noch etwa 18 GB. Bonsai kommt jedoch in zwei deutlich kleineren Paketen: Eine qualitätsorientierte Variante soll rund 5,9 GB belegen und für Laptops gedacht sein. Die ausgelieferten Pakete können je nach Runtime variieren; im Whitepaper werden für llama.cpp ungefähr 7,2 GB und für MLX etwa 8,49 GB genannt. Die kleinere Variante landet bei rund 3,9 GB und passt damit in ein enges iPhone-Speicherbudget.
Damit wird auch ein konkreter Engpass sichtbar: Selbst wenn ein iPhone Arbeitsspeicher besitzt, ist er für eine einzelne App nicht beliebig. PrismML verweist darauf, dass ein iPhone mit 12 GB RAM einer einzelnen App nur rund 6 GB tatsächlich zur Verfügung stellt, weil Modell und Zwischenspeicher konkurrieren. Für Entwickler heißt das: Nicht nur Modellgewichte, auch KV-Caches, Aktivierungs-Tensoren und der Runtime-Overhead bestimmen, ob Inferenz im Speicher bleibt. Gleichzeitig zeigt Bonsai, dass die Berechnung nicht zwangsläufig „nur“ ein Rechenproblem ist, sondern eine saubere Abstimmung von Quantisierungsgrad, Runtime (etwa MLX) und Modell-Graph darstellt.
Qualität und Geschwindigkeit liefert PrismML in einer eigenen Auswertung. Über 15 Benchmarks sollen die größere Bonsai-Variante etwa 95 Prozent der Leistung des Originalmodells behalten, die kleinere etwa 90 Prozent. Mathematik und Coding bleiben laut Angabe „nahezu unberührt“; stärkere Einbußen zeigen sich dagegen bei Bildverstehen, Instruction Following und vor allem bei agentischer Tool-Nutzung. PrismML nennt als Vergleich: Ein aggressiv komprimiertes Qwen3.6-27B erreicht bei 9,4 GB nur 72,7 Punkte, während die Bonsai-Variante bei 3,9 GB auf 76,1 Punkte kommt. Auf dem iPhone 17 Pro Max generiert die kleinere Bauform rund 11 Tokens pro Sekunde.
Für den Markt ist das besonders deshalb spannend, weil Apple aktuell ohnehin eine neue On-Device-Perspektive verfolgt. In den jüngeren iOS- und WWDC-Kontexten wurde Siri mit veränderten Foundation-Model-Ansätzen vorgestellt, bei denen komplexere Anforderungen teils in Apples Cloud verlagert werden. Gleichzeitig beschreibt PrismML die Lücke, die On-Device-KI schließen soll: Ein „Agent“ ist nicht nur ein Prompt-Generator, sondern ein Ablauf, der Werkzeuge und Kontext strukturiert nutzt. Für Apple wäre eine lizenzierte Kompressionstechnik zudem wertvoll, weil eigene Modelle in Benchmarks in Teilen hinter Konkurrenzansätzen zurücklagen. Laut PrismML kommen die Modellgewichte unter Apache-2.0, zusätzlich gibt es eine zeitlich begrenzte, kostenlose Developer-Preview-API sowie eine Live-Demo auf Hugging Face.
Der Ausblick geht über Bonsai 27B hinaus. PrismML plant, die Technik auf Googles Gemma-Modellreihe zu übertragen, da kleinere Gemma-Varianten bereits auf Smartphones funktionieren. Das ist ein realistischer Weg, weil sich Quantisierung und Agenten-Workflows in einer Pipeline denken lassen: erst Gewichte drastisch reduzieren, dann Runtime-Optimierungen für KV-Cache und Tool-Orchestrierung nachziehen, schließlich Qualitätssicherung gegen die typischen Schwächen (z. B. Bildverstehen und Tool-Use). Für Unternehmen bedeutet das: Bei datenschutzsensitive Aufgaben können lokale Inferenz und hybride Offloading-Strategien ein belastbares Design werden. Gleichzeitig bleibt die regulatorische Seite wichtig, weil lokale Verarbeitung Daten minimiert, aber nicht automatisch alles „compliance-ready“ macht – besonders bei Tool-Aufrufen, Protokollierung und dem Umgang mit Nutzereingaben.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Bonsai 27B: 27-Milliarden-Parameter-KI komprimiert auf iPhone-Größe" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Bonsai 27B: 27-Milliarden-Parameter-KI komprimiert auf iPhone-Größe" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Bonsai 27B: 27-Milliarden-Parameter-KI komprimiert auf iPhone-Größe« bei Google Deutschland suchen, bei Bing oder Google News!