Bild: Screenshot

Der Tiktok-Mutterkonzern zeigt, wie neuronale Netze extreme Bildkompression ermöglichen, wenn einige Abstriche im Detail akzeptabel sind.

Die chinesische Firma Bytedance, zu der unter anderem Tiktok gehört, hat zusammen mit der Universität München eine Reihe von Transformermodellen zur Bilderzeugung und -kompression mit bis zu 307 Millionen Parametern entwickelt. Es heißt Titok und kann ein quadratisches Bild mit einer Länge und Breite von 256 Pixeln mit nur 32 Token weitgehend korrekt rekonstruieren. Das sind 40 Bytes von ursprünglich 196.608 Bytes. Das Modell kann dabei sowohl zur Kompression von Bilddaten als auch zur reinen Bilderzeugung eingesetzt werden und soll dabei im Vergleich zu herkömmlichen Diffusionsmodellen bis zu 410-mal schneller sein.

Die Rekonstruktion kleinerer Details eines Bildes ist mit nur 40 Bytes nicht perfekt. Das Titelbild des Papers zeigt ausgewählte Beispiele, in denen das Verfahren besonders gut funktioniert. In anderen Beispielen mit feinen geometrischen Details - wie Tonabnehmer, Steg und Saitenhalter einer E-Gitarre - ist das Ergebnis weniger überzeugend. Aber mit 128 Token oder 160 Byte lassen sich auch feinere Details in anspruchsvollen Bildern korrekt rekonstruieren.