Die Verwendung eines Ternärsystems statt Gleitkommazahlen soll große KI-Sprachmodelle massiv beschleunigen und vereinfachen - ohne Qualitätsverlust.

Ein Forschungsteam der chinesischen Akademie der Wissenschaften und Microsoft Research hat mit Bitnet b1.58 einen neuen Ansatz für die Architektur großer KI-Sprachmodelle vorgestellt, die bei der Inferenz, also dem Ausführen des trainierten Modells, in Bezug auf Latenz, Durchsatz und Energieaufwand zu einem Pareto-Optimum führen soll. Die Qualität und Leistung des Modells selbst soll dabei im Vergleich zu bisherigen Techniken gleich bleiben.

Erreicht werden soll das durch die Nutzung eines balancierten Ternärsystems, das durch die Ziffern -1, 0 und 1 repräsentiert werden kann. Dieses System dient dabei als Ersatz für die bisher üblichen Gleitkommazahlen, die in KI-Modellen zum Einsatz kommen.