Mit NVIDIA können Sie Ihr eigenes ChatGPT erstellen und auf Ihrem PC ausführen

Die Erstellung eines eigenen ChatGPTs, der lokal auf Ihrem PC läuft, ist dank NVIDIA jetzt noch einfacher geworden. Das Unternehmen hat Chat with RTX veröffentlicht, eine Anwendung, mit der Sie ganz einfach einen Chatbot erstellen können, der die Vorteile der Hardware Ihres PCs nutzt. Voraussetzung ist natürlich, dass Ihr PC mit einer NVIDIA GPU ausgestattet ist. Für weitere Neuigkeiten besuchen Sie unsere Website und bleiben Sie auf dem Laufenden.

Bei Chat with RTX handelt es sich laut NVIDIA um eine Demoversion. Das bedeutet, dass die Software noch nicht zu 100 % ausgereift ist und noch einige Bugs haben kann. Nichtsdestotrotz ist es eine sehr interessante Alternative, die dabei helfen kann, Aufgaben wie die Suche nach bestimmten Daten in auf dem Computer gespeicherten Dokumenten oder die Erstellung einer Zusammenfassung eines auf YouTube hochgeladenen Videos zu beschleunigen.

Die Anwendung hat eine minimalistische Oberfläche und ihre Bedienung ist alles andere als kompliziert. Nach der Installation können die Benutzer eines von zwei großen Sprachmodellen (LLMs) auswählen, um Chat mit RTX auszuführen: Mistral von dem gleichnamigen französischen Startup oder LLaMA 2 von Meta.

Dann wählen sie den Ordner mit den Dokumenten aus, die sie mit der NVIDIA-Software scannen wollen, und das war’s. Danach können sie dem Chatbot Fragen stellen, genau wie bei Apps wie ChatGPT, Gemini oder Copilot. Die künstliche Intelligenz analysiert die von Ihnen bereitgestellten Dateien und extrahiert daraus Antworten.

Wenn Chat with RTX beispielsweise einen Ordner mit Dateien zu Ihrem nächsten Urlaub durchsucht, können Sie ihn bitten, Ihnen den Tag und die Uhrzeit der Abreise zu nennen. Der Chatbot von NVIDIA gibt Ihnen nicht nur eine Textantwort mit den Informationen, sondern stellt auch einen Link zu den Dokumenten bereit, aus denen er die Daten extrahiert hat, damit Sie sie schnell öffnen können.

Um beim Beispiel zu bleiben: Wenn Sie bereits einen Veranstaltungskalender für Ihre Reise haben und dieser im PDF-Format vorliegt, kann der Chatbot diese Informationen extrahieren und in Sekundenschnelle für Sie zusammenfassen. Chat mit RTX kann aber auch mit Elementen arbeiten, die nicht lokal gespeichert sind, wie z. B. YouTube-Videos.

Wenn Sie statt lokaler Daten Informationen aus einem auf YouTube gehosteten Video extrahieren möchten, können Sie dies mit Chat with RTX problemlos tun. Kopieren Sie einfach den Link und fügen Sie ihn in die NVIDIA-App ein. Die KI verarbeitet den Inhalt und Sie können ihr Fragen stellen. Wie bei Dokumenten kann sie eine Zusammenfassung erstellen und diese im Textformat bereitstellen.

In der Werbeankündigung für die Software erwähnt NVIDIA, dass die App mit „ausgewählten Videos“ funktioniert. Es wird zwar nicht allzu sehr ins Detail gegangen, aber wir können davon ausgehen, dass die Ergebnisse vom Inhalt abhängen werden. Kurz gesagt: Wundern Sie sich nicht, wenn die App bei Verwendung dieser Funktion häufig abstürzt.

Wie eingangs erwähnt, erfordert Chat with RTX eine NVIDIA GPU in Ihrem Computer. Chatbot ist mit allen Modellen der Serien RTX 30 und RTX 40 mit mindestens 8 GB VRAM kompatibel. Die übrigen Voraussetzungen für die Installation sind Windows 11, mindestens 16 GB RAM und die Version 535.11 oder höher Ihrer Grafikkartentreiber.

Um das Beste aus der App herauszuholen, benötigen Sie jedoch wahrscheinlich einen ziemlich leistungsstarken PC. Laut Tom Warren von The Verge benötigt die Anwendung etwa 40 GB Festplattenspeicher und verwendet eine Python-Instanz, die bei der Ausführung etwa 3 GB RAM verbraucht. Schließlich ist es erwähnenswert, dass, wenn Sie die App mit lokalen Daten verwenden, diese Informationen nicht in die Cloud hochgeladen werden oder Ihren Computer verlassen.