Chat with RTX

Keine Woche ohne spannende Nachrichten aus der Welt der KI. Für mich immer nur die relevant, jedenfalls beruflich, die ich irgendwie in den Zusammenhang mit Security, Hashtag#Desiniformation und Fakenews bringen kann. Heute eher Security bzw. Datensicherheit.

Inzwischen benutzen wahrscheinlich die meisten von Euch im professionellen Kontext die ein oder andere generative AI wie ChatGPT, Gemini, Copilot oder wie sie alle heißen.

Allen gemeinsam ist, sofern der Anwender nicht über ein profundes technisches Wissen im Hintergrund verfügt, dass die Daten an irgendeine Schnittstelle irgendeiner mehr oder weniger vertrauenswürdigen Firma geschickt werden, die ihr System dann mit euren Daten weiter trainiert, oder auch nicht. Wer weiß das schon.

‼️ Und genau da trat jetzt vor einigen Tagen Nvidia – genau, die mit den Graphikkarten – auf den Plan und stellte ChatwithRTX vor.

Zuerst mal auffällig: Es ist kostenlos und verspricht trotzdem so einiges!

Um genau zu sein, euren eigenen KI-Chatbot offline auf eurem PC auszuführen. Dadurch bleiben eure Chats privat und sind je nach Hardware superschnell.

Ich hab’s getestet und es funktioniert tatsächlich mehr oder weniger so, wie beworben. Die aktuelle Version 0.2. lässt da erahnen, dass es bislang noch eher in Richtung weniger tendiert. Wird aber sicher noch.

Was macht “Chat with RTX” aber noch besonderser?

Die App läuft vollständig lokal auf eurem PC! Die Installation dauert zwar ein bisschen und raubt Eurem System dann auch ca 100GB, bedarf aber nur eines Klicks und keinerlei Kenntnisse von Python, Sprachmodellen und wo man sie herbekommt etc.

Man kann problemlos YouTube- Videos bzw. deren Untertitel als Wissensbasis benutzen. Alles was man dafür braucht ist die URL des Videos. Danach kann man direkt Fragen zum Inhalt des Videos stellen. Das ist unglaublich praktisch bei OSINT-Recherchen? Geht übrigens auch mit ganzen Playlisten.

Das gewünschte KI-Modell, sei es Llama oder Mistral oder was auch immer, lässt sich ganz einfach per Dropdown auswählen. Mistral 7B ist dabei eine besonders beliebte Wahl und wird per default mitinstalliert.

Und das coolste Feature ist wohl, dass man einen lokalen Ordner auswählen kann, dessen Dokumente dann als Wissensbasis für die Antworten benutzt werden. Aktuell indiziert das Program txt, doc und pdf, was sicher ausbaufähig ist. Das schöne auch hier: Die Daten bleiben lokal und müssen nicht erst, wie z.B. ChatGPT irgendwo hochgeladen werden.

Für diejenigen unter euch, die Wert auf Datenschutz legen, ist “Chat with RTX” also die perfekte Lösung, wenn dann mal Version 0.3 oder gar 1.0 kommt.

Die Installationsdatei (35GB) und die Anleitung gibts hier Erstelle ein benutzerdefiniertes LLM mit Chatfunktion mit RTX | NVIDIA

Pro-Tipp: Lest die Systemanforderungen, bevor ihr den Download startet 😉