Der 30-Tage-Plan: ChatGPT und Künstliche Intelligenz im Alltag erfolgreich nutzen!Angebot abrufen!

LONDON (IT BOLTWISE) – Stanford hat Memorilla als Open-Source-Modul veröffentlicht, das für eingefrorene LLMs nur 16 „Memory Tokens“ pro Frage erzeugt. Dafür codiert es eine komplette Dokumentensammlung einmal, lernt dann je Frage, welche Information aus dem Gesamtbestand gebraucht wird. In Benchmarks erreicht ein gefrorenes Qwen3-8B mit Memorilla laut Angaben bis zu 108-mal weniger Dokument-Token und bleibt zugleich in mehreren Aufgaben auf Top-Niveau.

Memorilla: Latenter Speicher für eingefrorene LLMs reduziert Kontext auf 16 Tokens
Memorilla: Latenter Speicher für eingefrorene LLMs reduziert Kontext auf 16 Tokens (Foto: IT BOLTWISE)
🧠 KI & Robotik auf Google News abonnieren

Wer schon einmal große Dokumentmengen in einen LLM-Kontext gezwungen hat, kennt das Problem: Mit wachsender Historie steigen nicht nur Latenz und Kosten, sondern das Modell verliert auch an Fokus, weil die relevanten Stellen im Kontext „ertrinken“. Memorilla setzt genau hier an, indem es eine Dokumentensammlung nicht als direkten Kontext „hineinpresst“, sondern in einen kompakten latenten Speicher übersetzt, der von einem vollständig eingefrorenen LLM genutzt wird. Praktisch bedeutet das: Das System verarbeitet die Collection einmal und liefert dem Decoder anschließend stets nur 16 Memory Tokens – unabhängig davon, wie groß die zugrunde liegende Dokumentmenge ist.

Technisch betrachtet bleibt das Kern-LLM in Memorilla eingefroren: Der Decoder ist ein Qwen3-8B, und auch der Encoder für die Dokumenteinbettungen (Qwen3-Embedding-4B) wird nicht weitertrainiert. Memorilla trainiert ausschließlich das Memory-Modul, das gelernt als eine Art Adapter zwischen „Dokumentwelt“ und „LLM-Eingaberaum“ fungiert. Die Projektzahlen aus den veröffentlichten Angaben sind dabei klar: Das trainierbare Modul umfasst 194,123,776 Parameter, also in der Größenordnung eines spezialisierten Zusatzmodells, während Encoder und Decoder während des Trainings nicht aktualisiert werden.

Der Weg von der Dokumentmenge zur Frage ist in drei Schritten beschrieben. Zuerst erfolgt „Encode once“: Jedes Dokument wird einmal in Vektoren eingebettet, sodass neu hinzukommende Inhalte zwar zusätzliche Einbettungsberechnungen auslösen, aber bestehende Dokumente nicht erneut durch den Encoder müssen. Danach folgt „Read per question“: Für jede Frage erzeugen genau 16 gelernte Slots eine Aufmerksamkeitsverteilung über den gesamten Speicher der Dokumentrepräsentationen. In der Architektur werden dabei zwei Cross-Attention-Layer mit jeweils acht Heads genutzt. Schließlich „Inject“: Die Slot-Ausgaben werden in den Eingebettrahmen des Qwen3-8B projiziert und als Tokens vor die eigentliche Frage gehängt, sodass der Decoder nur diese komprimierten Repräsentationen sieht.

Die Leistungswirkung wird in der Veröffentlichung über mehrere Benchmarks untermauert. Auf FactKG erreicht ein gefrorenes Qwen3-8B mit Memorilla 84,33 % Genauigkeit, während Vollkontext-Informationen bei 80,43 % liegen und eine dokumentenbasierte Alternative mit 80,38 % angegeben wird. Besonders deutlich ist die Ressourceneinsparung: Memorilla soll dabei mit 108-mal weniger Dokument-Token auskommen als die Vollkontext-Variante. Auch bei der Persona-Aufgabe ist der Trend sichtbar; bei PersonaMem-v2 werden 44,60 % genannt, gegenüber 27,92 % bei voller Kontext-Einbindung, wobei Memorilla offenbar gezielt „persona-nahe“ Signale aus dem Gesamtbestand extrahiert.

Nicht jede Aufgabe profitiert jedoch gleichermaßen. Für PubMedQA nennt die Quelle 59,00 % mit Memorilla, während eine stärkere Komprimierungsbaseline 69,00 % erreicht. Die Begründung ist in den Angaben nachvollziehbar: Die zugehörigen Abstracts sollen lediglich 324 Tokens umfassen – dort bringt ein aggressives Kompressionsschema weniger, weil der Volltext bereits kurz genug ist. Interessant ist daneben, dass Memorilla beim Mittelwert über acht Benchmarks als „höchster gemeldeter Durchschnitt“ mit 49,68 gewertet wird (gegenüber 41,92 für xRAG, 40,75 für LLMLingua-2 und 38,02 für Mem0). Das Muster wirkt wie ein Marktindikator dafür, wann ein latenter Speicher seine Stärken ausspielt: vor allem dann, wenn die Dokumentmenge groß ist, aber die entscheidenden Hinweise in einer Mischung aus semantischer Nähe und weniger offensichtlichen Kontextspuren liegen.

Der Geschwindigkeitsaspekt ist ebenfalls Teil der Kernstory. Für den Vergleich wird auf einer einzelnen H100-GPU eine Antwortzeit von 0,74 Sekunden bei 512 Dokumenten genannt, wobei das etwa 128K Tokens entsprechen soll. Dem wird eine Vollkontext-Variante gegenübergestellt, die von 0,75 Sekunden auf 19,9 Sekunden ansteigt – damit 27-fach langsamer bei zunehmendem Kontext. Das Memory-Modul selbst soll dabei nur etwa 2 ms benötigen, was darauf hindeutet, dass der eigentliche Engpass bei Vollkontext nicht im „Speichern“, sondern im wiederholten Durchreichen sehr vieler Tokens durch den Decoder liegt. Zusätzlich wird ein optionaler Memory-Cache beschrieben, der Vorberechnungen für Cross-Attention speichert; dann sinken die Antwortzeiten etwa auf 8,1 ms bei 1M Dokumenten auf einer B200, und mit torch.compile soll der 1M-Fall auf 5,0 ms fallen. Der Cache soll allerdings bei 4M Dokumenten mit 80 GiB zu Buche schlagen.

Für die Umsetzung liefert die Veröffentlichung konkrete Hinweise zur Einbindung. Das Projekt ist unter Apache 2.0 verfügbar, die Quickstart-Umgebung nennt Linux mit CUDA und Python 3.11. Für die Praxis wird ein Setup mit mindestens einer GPU mit 80 GB Speicher empfohlen; Trainingsrezepte sollen auf H100-80GB gelaufen sein. Der Ablauf folgt einem klaren Pattern: Installation via uv, Laden über MemoryVLLM.from_pretrained, danach Nutzung spezifischer Checkpoints in Ordnerstrukturen wie „Memorilla-Qwen3-8B“ mit Stages und zusätzlichen PV4-/PMv2-Varianten. Auch bei der Datenform bleibt es pragmatisch: Custom-Daten sollen als Parquet Dateien vorliegen, mit Spalten wie collection_id, question, answer sowie documents. Damit positioniert sich Memorilla nicht als „neues LLM“, sondern als Modul, das in bestehende KI-Stacks passt, in denen Decoder ohnehin eingefroren bleiben oder nur selten neu trainiert werden.

Für Unternehmen mit großen Wissensbeständen ist der zentrale Reiz damit weniger „bessere Antwortqualität um jeden Preis“, sondern planbare Skalierung: 16 Tokens pro Anfrage sind ein starkes Versprechen für stabile Kosten- und Latenzprofile, sobald Dokumentbestände wachsen. Gleichzeitig liefert die Schwäche bei PubMedQA einen wichtigen Hinweis zur Auswahlstrategie für Kompression: Je kürzer die relevanten Passagen ohnehin sind, desto weniger lohnt sich der zusätzliche Lernmechanismus, und klassische Kompressions- oder Prompting-Ansätze können konkurrenzfähig bleiben. Unterm Strich zeigt Memorilla, wie sich die Retrieval-Logik in Richtung „trainierte Kontextextraktion“ verschieben kann – mit einem Ansatz, der für RAG-artige Systeme, Agenten mit begrenzter Kontextlänge und dokumentengetriebene Workflows besonders attraktiv wirkt, wenn die Dokumentmengen überdurchschnittlich groß werden.

💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!


Sense Robot Go KI-Go-Brett mit Roboterarm – Automatische Steinplatzierung, interaktives Lernen, Spielwiederholung – Intelligenter Weiqi-Trainer für Kinder & Erwachsene
152 Bewertungen
Sense Robot Go KI-Go-Brett mit Roboterarm – Automatische Steinplatzierung, interaktives Lernen, Spielwiederholung – Intelligenter Weiqi-Trainer für Kinder & Erwachsene
  • ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
ENERGIZE LAB Eiliko Coral Pink - Ihr winziger KI-Charm-Roboter, der zu jedem täglichen Outfit passt, lustiges elektronisches Anhängerspielzeug, für Paare und beste Freunde
334 Bewertungen
ENERGIZE LAB Eiliko Coral Pink - Ihr winziger KI-Charm-Roboter, der zu jedem täglichen Outfit passt, lustiges elektronisches Anhängerspielzeug, für Paare und beste Freunde
  • IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
Eilik – Interaktiver Desktop Roboter mit Persönlichkeit, lebendigen Animationen & Reaktionen, Touch-Steuerung, Mini-Spiele, emotionaler Roboter Freund und besonderes Geschenk für Kinder & Erwachsene
1.501 Bewertungen
Eilik – Interaktiver Desktop Roboter mit Persönlichkeit, lebendigen Animationen & Reaktionen, Touch-Steuerung, Mini-Spiele, emotionaler Roboter Freund und besonderes Geschenk für Kinder & Erwachsene
  • 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
Plantbot Upgraded Large Smart Flower Pot Pet Planter Robot with Artificial Intelligence, Time Temperature Display, and Numerous Expressive Animations Based, for Indoor Decoration, Gifts (White)
53 Bewertungen
Plantbot Upgraded Large Smart Flower Pot Pet Planter Robot with Artificial Intelligence, Time Temperature Display, and Numerous Expressive Animations Based, for Indoor Decoration, Gifts (White)
  • 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
Loona KEYI Premium Haustier-Roboter mit Ladestation (Smarte AI ChatGPT-4o, Stimmen- & Gestensteuerung, Echtzeit-Interaktion, Heimüberwachung)
946 Bewertungen
Loona KEYI Premium Haustier-Roboter mit Ladestation (Smarte AI ChatGPT-4o, Stimmen- & Gestensteuerung, Echtzeit-Interaktion, Heimüberwachung)
  • V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.

Hat Ihnen der Artikel bzw. die News - Memorilla: Latenter Speicher für eingefrorene LLMs reduziert Kontext auf 16 Tokens - gefallen? Dann abonnieren Sie uns doch auf Insta: AI News, Tech Trends & Robotics - Instagram - Boltwise

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!





Folgen Sie aktuellen Beiträge über KI & Robotik auf Twitter, Telegram, Facebook oder LinkedIn!
Hinweis: Teile dieses Textes könnten mithilfe Künstlicher Intelligenz generiert worden sein. Die auf dieser Website bereitgestellten Informationen stellen keine Finanzberatung dar und sind nicht als solche gedacht. Die Informationen sind allgemeiner Natur und dienen nur zu Informationszwecken. Wenn Sie Finanzberatung für Ihre individuelle Situation benötigen, sollten Sie den Rat von einem qualifizierten Finanzberater einholen. IT BOLTWISE® schließt jegliche Regressansprüche aus.









Ergänzungen und Infos bitte an die Redaktion per eMail an de-info[at]it-boltwise.de. Da wir bei KI-erzeugten News und Inhalten selten auftretende KI-Halluzinationen nicht ausschließen können, bitten wir Sie bei Falschangaben und Fehlinformationen uns via eMail zu kontaktieren und zu informieren. Bitte vergessen Sie nicht in der eMail die Artikel-Headline zu nennen: "Memorilla: Latenter Speicher für eingefrorene LLMs reduziert Kontext auf 16 Tokens".
Stichwörter AI Artificial Intelligence Benchmark Compression Cross Attention Document Encoding Frozen Llm Gpu Inference KI Künstliche Intelligenz Latent Memory Module Memorilla Qwen

Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Memorilla: Latenter Speicher für eingefrorene LLMs reduziert Kontext auf 16 Tokens" für unsere Leser?

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

  • Die aktuellen intelligenten Ringe, intelligenten Brillen, intelligenten Uhren oder KI-Smartphones auf Amazon entdecken! (Sponsored)


  • Es werden alle Kommentare moderiert!

    Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.

    Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.

    Du willst nichts verpassen?

    Du möchtest über ähnliche News und Beiträge wie "Memorilla: Latenter Speicher für eingefrorene LLMs reduziert Kontext auf 16 Tokens" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
    Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Memorilla: Latenter Speicher für eingefrorene LLMs reduziert Kontext auf 16 Tokens« bei Google Deutschland suchen, bei Bing oder Google News!


    595 Leser gerade online auf IT BOLTWISE
    KI-Schutz gegen Hacker #Sophos
    Filme über KI #AmazonPrime
    Das ChatGPT-Handbuch #Bestseller
    KI-Jobs