Hardware-software-co-design

LONDON (IT BOLTWISE) – OpenAI zeigt mit „Jalapeño“ einen Inferenz-ASIC, der explizit auf hohe Tokens pro Watt und niedrige Latenzen ausgelegt ist. Laut der vorliegenden Benchmark-Einordnung erreicht der Chip bei Single-Token-Prediction besonders starke Durchsätze. OpenAI arbeitet dabei mit eng verzahntem Hardware-Software-Co-Design und setzt auf eine generalisierte Inferenzplattform statt auf eine eng zugeschnittene Lösung. Unklar bleibt […]