LONDON (IT BOLTWISE) – Stanford hat Memorilla als Open-Source-Modul veröffentlicht, das für eingefrorene LLMs nur 16 „Memory Tokens“ pro Frage erzeugt. Dafür codiert es eine komplette Dokumentensammlung einmal, lernt dann je Frage, welche Information aus dem Gesamtbestand gebraucht wird. In Benchmarks erreicht ein gefrorenes Qwen3-8B mit Memorilla laut Angaben bis zu 108-mal weniger Dokument-Token und bleibt zugleich in mehreren Aufgaben auf Top-Niveau.

Wer schon einmal große Dokumentmengen in einen LLM-Kontext gezwungen hat, kennt das Problem: Mit wachsender Historie steigen nicht nur Latenz und Kosten, sondern das Modell verliert auch an Fokus, weil die relevanten Stellen im Kontext „ertrinken“. Memorilla setzt genau hier an, indem es eine Dokumentensammlung nicht als direkten Kontext „hineinpresst“, sondern in einen kompakten latenten Speicher übersetzt, der von einem vollständig eingefrorenen LLM genutzt wird. Praktisch bedeutet das: Das System verarbeitet die Collection einmal und liefert dem Decoder anschließend stets nur 16 Memory Tokens – unabhängig davon, wie groß die zugrunde liegende Dokumentmenge ist.
Technisch betrachtet bleibt das Kern-LLM in Memorilla eingefroren: Der Decoder ist ein Qwen3-8B, und auch der Encoder für die Dokumenteinbettungen (Qwen3-Embedding-4B) wird nicht weitertrainiert. Memorilla trainiert ausschließlich das Memory-Modul, das gelernt als eine Art Adapter zwischen „Dokumentwelt“ und „LLM-Eingaberaum“ fungiert. Die Projektzahlen aus den veröffentlichten Angaben sind dabei klar: Das trainierbare Modul umfasst 194,123,776 Parameter, also in der Größenordnung eines spezialisierten Zusatzmodells, während Encoder und Decoder während des Trainings nicht aktualisiert werden.
Der Weg von der Dokumentmenge zur Frage ist in drei Schritten beschrieben. Zuerst erfolgt „Encode once“: Jedes Dokument wird einmal in Vektoren eingebettet, sodass neu hinzukommende Inhalte zwar zusätzliche Einbettungsberechnungen auslösen, aber bestehende Dokumente nicht erneut durch den Encoder müssen. Danach folgt „Read per question“: Für jede Frage erzeugen genau 16 gelernte Slots eine Aufmerksamkeitsverteilung über den gesamten Speicher der Dokumentrepräsentationen. In der Architektur werden dabei zwei Cross-Attention-Layer mit jeweils acht Heads genutzt. Schließlich „Inject“: Die Slot-Ausgaben werden in den Eingebettrahmen des Qwen3-8B projiziert und als Tokens vor die eigentliche Frage gehängt, sodass der Decoder nur diese komprimierten Repräsentationen sieht.
Die Leistungswirkung wird in der Veröffentlichung über mehrere Benchmarks untermauert. Auf FactKG erreicht ein gefrorenes Qwen3-8B mit Memorilla 84,33 % Genauigkeit, während Vollkontext-Informationen bei 80,43 % liegen und eine dokumentenbasierte Alternative mit 80,38 % angegeben wird. Besonders deutlich ist die Ressourceneinsparung: Memorilla soll dabei mit 108-mal weniger Dokument-Token auskommen als die Vollkontext-Variante. Auch bei der Persona-Aufgabe ist der Trend sichtbar; bei PersonaMem-v2 werden 44,60 % genannt, gegenüber 27,92 % bei voller Kontext-Einbindung, wobei Memorilla offenbar gezielt „persona-nahe“ Signale aus dem Gesamtbestand extrahiert.
Nicht jede Aufgabe profitiert jedoch gleichermaßen. Für PubMedQA nennt die Quelle 59,00 % mit Memorilla, während eine stärkere Komprimierungsbaseline 69,00 % erreicht. Die Begründung ist in den Angaben nachvollziehbar: Die zugehörigen Abstracts sollen lediglich 324 Tokens umfassen – dort bringt ein aggressives Kompressionsschema weniger, weil der Volltext bereits kurz genug ist. Interessant ist daneben, dass Memorilla beim Mittelwert über acht Benchmarks als „höchster gemeldeter Durchschnitt“ mit 49,68 gewertet wird (gegenüber 41,92 für xRAG, 40,75 für LLMLingua-2 und 38,02 für Mem0). Das Muster wirkt wie ein Marktindikator dafür, wann ein latenter Speicher seine Stärken ausspielt: vor allem dann, wenn die Dokumentmenge groß ist, aber die entscheidenden Hinweise in einer Mischung aus semantischer Nähe und weniger offensichtlichen Kontextspuren liegen.
Der Geschwindigkeitsaspekt ist ebenfalls Teil der Kernstory. Für den Vergleich wird auf einer einzelnen H100-GPU eine Antwortzeit von 0,74 Sekunden bei 512 Dokumenten genannt, wobei das etwa 128K Tokens entsprechen soll. Dem wird eine Vollkontext-Variante gegenübergestellt, die von 0,75 Sekunden auf 19,9 Sekunden ansteigt – damit 27-fach langsamer bei zunehmendem Kontext. Das Memory-Modul selbst soll dabei nur etwa 2 ms benötigen, was darauf hindeutet, dass der eigentliche Engpass bei Vollkontext nicht im „Speichern“, sondern im wiederholten Durchreichen sehr vieler Tokens durch den Decoder liegt. Zusätzlich wird ein optionaler Memory-Cache beschrieben, der Vorberechnungen für Cross-Attention speichert; dann sinken die Antwortzeiten etwa auf 8,1 ms bei 1M Dokumenten auf einer B200, und mit torch.compile soll der 1M-Fall auf 5,0 ms fallen. Der Cache soll allerdings bei 4M Dokumenten mit 80 GiB zu Buche schlagen.
Für die Umsetzung liefert die Veröffentlichung konkrete Hinweise zur Einbindung. Das Projekt ist unter Apache 2.0 verfügbar, die Quickstart-Umgebung nennt Linux mit CUDA und Python 3.11. Für die Praxis wird ein Setup mit mindestens einer GPU mit 80 GB Speicher empfohlen; Trainingsrezepte sollen auf H100-80GB gelaufen sein. Der Ablauf folgt einem klaren Pattern: Installation via uv, Laden über MemoryVLLM.from_pretrained, danach Nutzung spezifischer Checkpoints in Ordnerstrukturen wie „Memorilla-Qwen3-8B“ mit Stages und zusätzlichen PV4-/PMv2-Varianten. Auch bei der Datenform bleibt es pragmatisch: Custom-Daten sollen als Parquet Dateien vorliegen, mit Spalten wie collection_id, question, answer sowie documents. Damit positioniert sich Memorilla nicht als „neues LLM“, sondern als Modul, das in bestehende KI-Stacks passt, in denen Decoder ohnehin eingefroren bleiben oder nur selten neu trainiert werden.
Für Unternehmen mit großen Wissensbeständen ist der zentrale Reiz damit weniger „bessere Antwortqualität um jeden Preis“, sondern planbare Skalierung: 16 Tokens pro Anfrage sind ein starkes Versprechen für stabile Kosten- und Latenzprofile, sobald Dokumentbestände wachsen. Gleichzeitig liefert die Schwäche bei PubMedQA einen wichtigen Hinweis zur Auswahlstrategie für Kompression: Je kürzer die relevanten Passagen ohnehin sind, desto weniger lohnt sich der zusätzliche Lernmechanismus, und klassische Kompressions- oder Prompting-Ansätze können konkurrenzfähig bleiben. Unterm Strich zeigt Memorilla, wie sich die Retrieval-Logik in Richtung „trainierte Kontextextraktion“ verschieben kann – mit einem Ansatz, der für RAG-artige Systeme, Agenten mit begrenzter Kontextlänge und dokumentengetriebene Workflows besonders attraktiv wirkt, wenn die Dokumentmengen überdurchschnittlich groß werden.
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!

- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Memorilla: Latenter Speicher für eingefrorene LLMs reduziert Kontext auf 16 Tokens" für unsere Leser?


#Sophos
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Memorilla: Latenter Speicher für eingefrorene LLMs reduziert Kontext auf 16 Tokens" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Memorilla: Latenter Speicher für eingefrorene LLMs reduziert Kontext auf 16 Tokens« bei Google Deutschland suchen, bei Bing oder Google News!