Bild: Nvidia

Statt auf Clouddatenbanken verlässt sich Nvidias KI-Chatbot auf eigene Datensammlungen. Die Analyse und Berechnungen laufen lokal auf der Grafikkarte.

Nvidia hat heute Chat with RTX vorgestellt, einen KI-Chatbot, der auf einer Grafikkarte aus der RTX30- oder 40-Serie läuft und sich mit wenig Aufwand installieren lässt. Das Programm kann mit einer Reihe von Dateiformaten wie PDF, Text, Docx und XML umgehen und so Zusammenfassungen oder Inhalte auf dessen Basis erstellen.

Die Daten dienen dem Chatbot als Kontext für eine Unterhaltung beziehungsweise einen Prompt. Es können auch Youtube-Playlisten als Quelle angegeben werden, die anschließend als Transkript verwendet werden können. Anders als bisher macht Nvidia damit einen Schritt weg von der Cloud, hin zur lokalen Datenverarbeitung.

Nvidia vereinfacht mit dem Programm die händische Konfiguration von Chatbots mit frei verfügbaren Modellen wie Llama2 oder Mistral, auf denen auch Chat with RTX basiert.