SAN FRANCISCO / LONDON (IT BOLTWISE) – Das Startup Vals will KI-Modelle mit praxisnahen Benchmarks bewerten, die sich an realen Branchenaufgaben orientieren. Das Unternehmen wurde 2024 gegründet, sammelte zuerst Seed-Kapital unter Führung von 8VC und Bloomberg Beta und erhöhte danach in einer Series A auf 40 Millionen US-Dollar, angeführt von Andreessen Horowitz. Dabei setzt Vals bewusst auf Tests, die nicht öffentlich offengelegt werden, um „Gaming“ durch Vorabtraining zu erschweren. Ziel ist, messbare Fähigkeiten – inklusive potenzieller Negativfolgen – als Entscheidungsgrundlage für Unternehmen und öffentliche Stellen nutzbar zu machen.
Benchmarks sind in der KI-Branche längst mehr als nur Wissenschaftstests. Sie entscheiden darüber, welche Modelle in Präsentationen gut aussehen, welche Teams bei Ausschreibungen überzeugen und welche Anbieter als „State of the Art“ gelten. Genau an dieser Schnittstelle setzt das 2024 gegründete Startup Vals an: Die Firma beschreibt Benchmarking als einen Mechanismus, der eigentlich Vertrauen schaffen soll, in der Praxis aber häufig dem Tempo moderner Modell-Entwicklung hinterherhinkt. Laut Vals wird das Problem besonders dort sichtbar, wo alte Bewertungssysteme zwar Messwerte liefern, aber nicht zuverlässig abbilden, ob ein Modell in echten Domänen am Ende die versprochene Qualität erreicht.
Die jüngsten Kapitalrunden unterstreichen, wie ernst die Marktseite das Thema inzwischen nimmt: Vals hat im Lauf weniger als zwei Jahre eine sichtbare Rolle in der Tech-Szene aufgebaut und zuletzt eine Series A über 40 Millionen US-Dollar eingeworben, angeführt von Andreessen Horowitz. Zuvor hatte das Startup schon eine Seed-Runde erhalten, bei der 8VC und Bloomberg Beta federführend waren. Die personelle Kontinuität spielt dabei ebenfalls eine Rolle: Mit Rayan Krishnan führt ein 25-Jähriger Co-Founder das Projekt, der unter anderem bei Palantir ein Praktikum absolviert hat. Als Student an der Stanford University arbeitete er außerdem für Microsoft und im Umfeld eines bekannten KI-Labs der Hochschule, was in der Argumentation von Vals direkt in den Anspruch „Evaluation muss dem Fortschritt folgen“ übersetzt wird.
Technisch und methodisch grenzt sich Vals vor allem über die Testphilosophie ab. Klassische Benchmarks veröffentlichen häufig konkrete Aufgaben oder Daten; damit können Unternehmen ihre Modelle gezielt auf diese Prüfungen hin optimieren. Vals verfolgt deshalb bewusst einen anderen Ansatz: Die konkreten Testmaterialien sollen nicht öffentlich offengelegt werden. Statt allgemeines Faktenwissen zu messen, bewertet das Unternehmen die Fähigkeit von KI-Modellen, komplexe Tätigkeiten aus bestimmten Industrie-Kontexten zu bearbeiten – etwa in Bereichen wie Recht, Finanzen oder Softwareentwicklung. Damit rückt eine Frage in den Mittelpunkt, die in Produktteams sonst oft nur qualitativ diskutiert wird: Können Modelle Arbeit liefern, die hinsichtlich Qualität und Ergebnis tatsächlich mit menschlicher Leistung in der jeweiligen Domäne konkurriert?
Bemerkenswert ist dabei auch die Ausrichtung auf mehr als nur „positive Outcomes“. Vals will laut eigener Darstellung nicht nur nachzeigen, ob ein Modell gute Resultate produziert, sondern ebenfalls negative Auswirkungen sichtbar machen. Die Idee dahinter ist, Evaluation als Risikofilter zu verstehen: Wenn KI-Modelle unkontrolliert in der realen Welt „laufen“, welche unerwünschten Effekte könnten dann auftreten? In der praktischen Benchmark-Logik bedeutet das eine stärkere Ausrichtung auf Szenarien, die sich nicht einfach in einem einzigen Score verdichten lassen. Entsprechend erweitert Vals die Bandbreite der bewerteten Fähigkeiten: Neben traditionelleren Domänen nennt das Unternehmen auch Benchmarks zu rekursiver Selbstverbesserung. Darüber hinaus werden unter anderem Arbeiten zu mentaler Gesundheit, Cybersecurity, Biosecurity und sogar zum „Law of Armed Conflict“ erwähnt – also zur Frage, wie sich das Regelwerk der Genfer Konvention in KI-gestützten Anwendungen anwenden lässt.
Der Umstand, dass Unternehmen für diese Tests zahlen, wirkt auf den ersten Blick kontraintuitiv: Warum sollte man Geld ausgeben, um bestätigt zu bekommen, dass das eigene Modell noch nicht überzeugt? Vals argumentiert jedoch mit dem Nutzen effektiver Messung für Troubleshooting und iterative Verbesserung. Das Geschäftsmodell wird dabei mit dem Vergleich College Board und SAT erklärt: Wie ein strukturierter Leistungsnachweis nicht nur „Ranking“ ist, sondern auch Orientierung für die weitere Entwicklung liefert, sollen die Vals-Evaluations helfen, Schwachstellen gezielt zu adressieren. Gleichzeitig werden die Ergebnisse laut Vals zunehmend zu einem Faktor, der interne Entscheidungen beim Erwerb neuer KI-Modelle beeinflusst. Genau dort verschiebt sich Benchmarking von Marketing in Richtung Lieferketten-ähnlicher Beschaffungslogik: Unternehmen wollen mehr als Demo-Zahlen, sie wollen vergleichbare Evidenz.
Auch organisatorisch zeigt Vals Tempo. Die Firma berichtet, dass die Erlöse inzwischen achtmal höher sind als im Vorjahr. Startete Vals zu Jahresbeginn noch mit acht Mitarbeitenden, wuchs der Teamumfang laut eigener Darstellung bereits von acht auf 25 Personen. Krishnan spricht zudem von einer geplanten Vergrößerung der Bürofläche und davon, weitere 10 bis 15 Mitarbeitende aufzunehmen. Zusätzlich hat Vals ein Programm gestartet, das sich auf Model-Evaluations für Bundesbehörden konzentriert. Für die Marktdynamik ist das relevant, weil sich Benchmarks damit nicht nur als Wettbewerbsvorteil in privaten Entscheidungsprozessen verankern, sondern potenziell auch als standardisierte Grundlage für öffentliche Beschaffung und Risikoabwägung fungieren.
Langfristig stellt Krishnan die These auf, dass diese Art von Evaluation den nächsten Entwicklungsschritt der KI-Industrie prägt. Dabei verweist er auf den Weg von KI-Anbietern in Richtung Börsenfähigkeit und auf die wachsende Rolle von Modellen als Bestandteil der Ökonomie. Wenn KI-Modelle stärker in Produkten, Geschäftsprozessen und Investitionsentscheidungen verankert sind, werden Benchmarks und Tests zu einem zentralen Bestandteil davon, wie Unternehmen Fortschritt nachweisen und öffentlich berichten. Für Käufer neuer Modelle heißt das: Die Messung wird vom „nice to have“ zum erwartbaren Artefakt in der Beschaffungsentscheidung. Und für Anbieter bedeutet es, dass sie ihre Entwicklungszyklen immer häufiger an überprüfbaren, domänennahen Leistungskriterien ausrichten müssen – inklusive der Frage, welche negativen Nebenwirkungen ein System im realen Einsatz auslösen könnte.
Für Unternehmen, die KI-Modelle evaluieren, ist Vals damit vor allem ein Signal: Die nächste Benchmark-Generation verlagert den Fokus von öffentlich herumgereichten Aufgaben hin zu Prüfungen, die möglichst schwer zu „optimieren ohne Lernen“ sind, weil die Testmaterialien nicht frei verfügbar gemacht werden. Gleichzeitig wird Bewertung stärker in die Domänenpraxis gezogen, statt Modelle nur anhand abstrakter Intelligenzfragen zu vergleichen. Wer kurzfristig nur auf veröffentlichte Scores reagiert, riskiert, reale Einsatzqualität zu verfehlen; wer hingegen Benchmark-Ergebnisse als Teil eines wiederholbaren Qualitätsmanagements versteht, kann die Messung nutzen, um Modellrisiken systematisch zu senken.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Vals mit Andreessen Horowitz: Neues KI-Benchmarking für reale Branchenaufgaben" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Vals mit Andreessen Horowitz: Neues KI-Benchmarking für reale Branchenaufgaben" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Vals mit Andreessen Horowitz: Neues KI-Benchmarking für reale Branchenaufgaben« bei Google Deutschland suchen, bei Bing oder Google News!