> Forums > News

KI kann Hirnströme in Videos übersetzen

Erstellt
Mai. '23
letzte Antwort
Noch keine
Antworten
Noch keine
Aufrufe
94
0
„Gefällt mir“
Abos
Noch keine
Mo., 29. Mai, 2023 um 7:58
#1

Die Kombination aus Magnetresonanztomographie und Stable Diffusion ermöglicht eine erstaunlich akkurate Reproduktion von angesehenen Inhalten

Zunächst nutzte man einen Datensatz aus öffentlich verfügbaren Videos und dazu gehörenden fMRT-Scans (funktionelle Magnetresonanztomographie). Die fMRT-Scans wurden in Daten übersetzt und in Kombination mit dem Videomaterial dazu verwendet, ein eigenes Modell der Bilder-KI Stable Diffusion zu trainieren.


Bild: mind-video.com

Um das System, das den Namen "MinD-Video" erhielt, zu testen, ließ man es aus dem fMRT-Daten Videos erzeugen. Die Ergebnisse, so zeigt auch das via arXiv als Preprint veröffentlichte Paper, sind durchaus beeindruckend. Die KI-Reproduktionen entsprechen inhaltlich stark den jeweiligen Videos, zeigen also die gleichen Szenen, Bewegungen und Subjekte. Gröbere Abweichungen gibt es vorwiegend bei Details und der Farbgebung. Laut den Wissenschaftlern lag die Genauigkeit der Videos bei der Abbildung des Gesehenen bei 85 Prozent. Ergebnisse zeigt man auch auf einer eigens eingerichteten Website. Der Code für MinD-Video soll bald auf Github veröffentlicht werden.






C&M News: https://ress.at/-news29052023075819.html

> Forums > News

Du hast bereits für diesen Post abgestimmt...

;-)



Logo https://t.ress.at/FsGLn/


Ähnliche Themen:











Top