DarkBERT: Ein Sprachmodell trainiert mit Daten aus dem Darknet

Bild: Pixabay

Ein KI-Modell, entwickelt und trainiert, mit Daten aus dem Darknet. Quelle sind Hacker, Cyberkriminelle, politisch Verfolgte.

Ein Forscherteam aus Südkorea hat das Tor-Netzwerk durchkämmt für einen Datensatz zum Training großer Sprachmodelle (Large Language Models, kurz LLM). Die Daten stammen ausschließlich aus dem Darknet.

DarkBERT war da und soll anderen großen Sprachmodellen des gleichen Architekturtyps (BERT und RoBERTa) hinsichtlich seiner Fähigkeiten ebenbürtig oder leicht überlegen sein. Dies ging aus ersten Testreihen hervor, wie das Team in einem vorläufigen Forschungsbericht bei arXiv.org mitteilt.

Studie als PDF

DarkBERT_Forschungsbericht.pdf (10.39 MB, 18 mal)

MD5: 10549071e509ab59e815e9751869d542
SHA1: 8991210558d0618116edc5e364c794227bda88e5

via heise.de