LONDON (IT BOLTWISE) – Das Startup Taalas hat einen neuen KI-Beschleuniger entwickelt, der speziell für das Modell Llama 3.1 mit acht Milliarden Parametern konzipiert ist. Dieser Chip benötigt keinen externen Speicher und übertrifft in der Token-Generierung pro Sekunde die leistungsstärkste Vergleichshardware um das Achtfache.
Das Startup Taalas hat einen innovativen Ansatz in der KI-Hardware-Entwicklung vorgestellt, indem es einen spezialisierten Chip für das Modell Llama 3.1 entwickelt hat. Dieser Chip integriert das Modell fest und benötigt keinen externen RAM, was ihn schneller und flexibler macht als herkömmliche Hardwarelösungen. Die Idee, einen Chip für nur ein Modell zu entwerfen, mag zunächst abwegig erscheinen, doch die Leistungsdaten sprechen für sich.
Der Taalas-Chip, gefertigt bei TSMC, nutzt einen älteren 6-nm-Prozess, was ihn kostengünstiger macht als viele aktuelle KI-Hardwarelösungen. Trotz seiner Größe von 815 mm², nahe dem Reticle-Limit, bietet er eine beeindruckende Leistung. Der Chip generiert pro Sekunde und Nutzer mehr als achtmal so viele Tokens wie die leistungsfähigste Vergleichshardware, der Cerebras WSE3. Die Latenz zur Erzeugung des ersten Tokens liegt unter einer Millisekunde, was ihn besonders effizient macht.
Ein weiterer Vorteil des Taalas-Chips ist der Verzicht auf teuren High Bandwidth Memory (HBM) und komplexes Advanced Packaging. Die Entwicklungskosten des ersten Chips beliefen sich auf 30 Millionen US-Dollar, was im Vergleich zu herkömmlichen Lösungen erheblich günstiger ist. Laut Taalas könnten zehn Blackwell-NVL72-Racks von NVIDIA durch 15 ihrer Chips ersetzt werden, was die Anschaffungs- und Energiekosten weiter senkt.
Die Flexibilität des Taalas-Ansatzes zeigt sich auch in der Möglichkeit des Fine-Tunings mittels Low-Rank Adaptation (Lora), bei dem nur ein Bruchteil der Parameter angepasst wird. Aktuell arbeitet Taalas an einer zweiten Version des Chips, die 4-Bit-Datentypen nutzen soll. Diese Entwicklungen deuten darauf hin, dass Taalas plant, größere Modelle mit mehreren hundert Milliarden Parametern zu unterstützen, was eine Multi-Chip-Lösung erfordern könnte.
Bis zur Einführung des nächsten Chips auf Basis von HC2, der für den Winter 2026/27 geplant ist, können die aktuellen Llama-Chips bereits getestet werden. Diese sind entweder direkt im Browser oder per API zugänglich, erfordern jedoch eine Anmeldung. Die Entwicklungen von Taalas könnten einen bedeutenden Einfluss auf die Effizienz und Kostenstruktur von KI-Anwendungen haben und zeigen, dass spezialisierte Hardwarelösungen eine vielversprechende Alternative zu General-Purpose-Hardware darstellen.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Taalas entwickelt spezialisierten KI-Chip für Llama 3.1" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Taalas entwickelt spezialisierten KI-Chip für Llama 3.1" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Taalas entwickelt spezialisierten KI-Chip für Llama 3.1« bei Google Deutschland suchen, bei Bing oder Google News!