Tiktok: Ein Bild braucht 40 Bytes statt 196.608

17. Juni 2024, 12:20 |  0 Kommentare


Bild: Screenshot

Der Tiktok-Mutterkonzern zeigt, wie neuronale Netze extreme Bildkompression ermöglichen, wenn einige Abstriche im Detail akzeptabel sind.

Die chinesische Firma Bytedance, zu der unter anderem Tiktok gehört, hat zusammen mit der Universität München eine Reihe von Transformermodellen zur Bilderzeugung und -kompression mit bis zu 307 Millionen Parametern entwickelt. Es heißt Titok und kann ein quadratisches Bild mit einer Länge und Breite von 256 Pixeln mit nur 32 Token weitgehend korrekt rekonstruieren. Das sind 40 Bytes von ursprünglich 196.608 Bytes. Das Modell kann dabei sowohl zur Kompression von Bilddaten als auch zur reinen Bilderzeugung eingesetzt werden und soll dabei im Vergleich zu herkömmlichen Diffusionsmodellen bis zu 410-mal schneller sein.

Die Rekonstruktion kleinerer Details eines Bildes ist mit nur 40 Bytes nicht perfekt. Das Titelbild des Papers zeigt ausgewählte Beispiele, in denen das Verfahren besonders gut funktioniert. In anderen Beispielen mit feinen geometrischen Details - wie Tonabnehmer, Steg und Saitenhalter einer E-Gitarre - ist das Ergebnis weniger überzeugend. Aber mit 128 Token oder 160 Byte lassen sich auch feinere Details in anspruchsvollen Bildern korrekt rekonstruieren.

Mehr dazu findest Du auf golem.de





Kurze URL:


Bewertung: 4.0/5 (2 Stimmen)


Das könnte Dich auch interessieren:


Ähnliche News:

Weitere News:

Einen Kommentar schreiben

Du willst nicht als "Gast" schreiben? Logg Dich Hier ein.

Code:

Code neuladen

Kommentare
(0)

Bitte bleibe sachlich und fair in deinen Äußerungen. Sollte dein Kommentar nicht sofort erscheinen, ist er in der Warteschlange gelandet und wird meist zeitnah freigeschaltet.




Kommentare:

Du hast bereits für diesen Kommentar abgestimmt...

;-)

Top