Es bietet eine Reihe von Vorteilen, einen GPT/AI-Chatbot auf Ihrem eigenen Computer auszuführen, anstatt über das Internet darauf zuzugreifen. Wir zeigen, warum Sie das vielleicht möchten und wie Sie es am einfachsten unter Windows einrichten.

Warum sollten Sie Ihren eigenen lokalen KI-Chatbot haben?

Während Online-KI-Chatbots wie ChatGPT dominieren und Zugriff auf riesige Mengen an Trainingsdaten und aktuellen Informationen bieten, gibt es einige Gründe, warum Sie vielleicht Ihren eigenen lokalen Chatbot auf Ihrem Windows-Computer ausführen möchten.

Das lokale Ausführen Ihrer eigenen KI-Tools ist kostenlos und unterliegt den Einschränkungen von Online-Tools: Es gibt keine Zensur, und Sie können beliebige Modelle für maschinelles Lernen laden, deren Antworten und Verhalten anpassen und beliebige Eingabeaufforderungen bereitstellen ohne Einschränkung (und in absoluter Privatsphäre). Es ist auch eine gute Möglichkeit, zu verstehen, wie moderne KI-Tools (Large Language Model, LLM) unter der Haube funktionieren, insbesondere wenn Sie in die KI- oder Technologiebranche einsteigen möchten.

Sie können Modelle für fast alles finden, von Interaktionen mit fiktiven Charakteren über Programmierung bis hin zu Allgemeinwissen und vielen anderen Anwendungsfällen, die allgemeinere Online-Modelle möglicherweise nicht abdecken.

So hosten Sie Ihren eigenen lokalen GPT-Chatbot unter Windows

In diesem Tutorial wird text-generation-web-ui-docker verwendet, eine Open-Source-Schnittstelle für große Sprachmodelle, die die Installation und vereinfacht Verwendung von LLMs.

text-generation-web-ui-docker bündelt das Text-generation-web-ui-Projekt mit Docker, wodurch die Installation und Verwaltung aller komplexen Abhängigkeiten, die lokale KI-Tools normalerweise erfordern, entfällt, indem alles darin gespeichert wird ein von Ihrem System getrennter Container. Das Einzige, was Sie zum Ausführen Ihres lokalen Chatbots benötigen, ist ein Windows-PC, der Docker unterstützt und das Windows-Subsystem für Linux (WSL) verwendet. Für maximale Kompatibilität benötigen Sie außerdem eine relativ aktuelle GPU, idealerweise eine von NVIDIA.

Schritt 1: Docker und die Windows-Terminal-App installieren

Docker-Container ähneln virtuellen Maschinen darin, dass sie ein ganzes laufendes System enthalten, aber sie sind viel schlanker und eignen sich perfekt für die Verteilung von Anwendungen und alle ihre Anforderungen in einem einzigen, einfach zu installierenden Paket. Um text-generation-web-ui-docker in Docker auszuführen, laden Sie Docker herunter und installieren Sie es auf Ihrem Windows-System.

Docker kann unter Windows auf zwei Arten ausgeführt werden: WSL- oder Hyper-V-Modus. WSL wird für die meisten Benutzer empfohlen, daher müssen Sie es möglicherweise vor der Installation von Docker aktivieren.

Es wird außerdem empfohlen, die Windows-Terminal-App zu installieren, da diese eine praktische Schnittstelle für WSL, PowerShell und die Windows-Befehlszeile bietet.

Schritt 2: Laden Sie das Text Generation Web UI GitHub Repository herunter

Um text-generation-web-ui-docker herunterzuladen, besuchen Sie die GitHub-Seite. Sie können eine „.zip“-Datei mit allen benötigten Dateien herunterladen, indem Sie auf die grüne Schaltfläche „Code“ und dann im Dropdown-Menü auf „Zip herunterladen“ klicken.

Der Screenshot unten zeigt Ihnen, wo Sie dies auf der GitHub-Seite finden.

Extrahieren Sie die heruntergeladene ZIP-Datei in einen eigenen Ordner und öffnen Sie dann den Ordner mit den entpackten Dateien. Machen Sie sich nicht zu viele Gedanken über den Inhalt dieses Ordners: Er enthält alle beweglichen Teile für Ihren KI-Chatbot, aber Docker übernimmt die Einrichtung für Sie.

Schritt 3: Starten Sie die Text Generation Web UI

Bevor Sie text-generation-web-ui-docker starten, müssen Sie sicherstellen, dass es für Ihre PC-Hardware konfiguriert ist. Bearbeiten Sie die Datei docker-compose.yml, um die Variante anzugeben, die zu Ihrer Hardware passt: default-nvidia oder default-cpu (wenn Sie keine kompatible GPU haben).

Klicken Sie dann, immer noch im Ordner mit den heruntergeladenen und extrahierten Dateien, mit der rechten Maustaste auf eine leere Stelle und klicken Sie auf „Im Terminal öffnen“, um das Verzeichnis in einem neuen zu öffnen PowerShell-Fenster.

Stellen Sie sicher, dass Docker Desktop ausgeführt wird, bevor Sie den folgenden Docker-Befehl in das Terminalfenster eingeben:

docker compose up -d

Dieser Befehl führt Folgendes aus:

• Führt Docker Compose aus, das Programm, das Docker-Anwendungen verwaltet
• Starten Sie den Container mit dem Befehl „up“
• Führt den Container im Hintergrund aus (sogenannter getrennter Modus, der durch -d angegeben wird) Brad Morton / How-To Geek

  Wenn Sie diesen Befehl noch nicht ausgeführt haben und die Anwendung heruntergeladen werden muss (gezogen), müssen Sie möglicherweise eine Tasse Tee kochen, da dies eine Weile dauern kann. Sobald die Ausführung des Befehls erfolgreich abgeschlossen wurde, sehen Sie, dass der Docker-Container text-generation-web-ui-docker erstellt und gestartet wurde.

  Brad Morton / How-To Geek

  Der laufende Container wird auch in Docker Desktop angezeigt, wo Sie ihn anhalten, starten und verwalten können.

  Brad Morton / How-To Geek

  Schritt 4: Installieren Sie das GPT-2-Modell von OpenAI

  Sobald text-generation-web-ui-docker in Docker läuft, Sie können darauf zugreifen, indem Sie die Adresse http://localhost:7860 in die Adressleiste Ihres Browsers eingeben. Localhost ist die Adresse, die Ihr Computer verwendet, um auf die von ihm ausgeführten Dienste zuzugreifen. Jedem dieser Dienste ist eine eindeutige Portnummer zugewiesen (in diesem Fall 7860). Sie können sehen, welche Ports ein laufender Docker-Container auf localhost verfügbar gemacht hat, indem Sie ihn im Docker-Desktop öffnen.

  Dies ist eine ältere Version von GPT, als Sie erhalten, wenn Sie ChatGPT im Internet verwenden. Folglich wird es nicht so intelligent oder intuitiv sein, wie Sie vielleicht erwarten, aber es ist anpassbar und privat.

  Navigieren Sie zur Registerkarte „Modell“ in der Weboberfläche, geben Sie openai-community/gpt2 in das Feld „Modell oder LoRA herunterladen“ ein und klicken Sie dann auf die Schaltfläche „Herunterladen“. Dies kann einige Minuten dauern.

  Brad Morton / How-To Geek

  Klicken Sie oben links auf das Symbol „Aktualisieren“ und wählen Sie dann die neu heruntergeladene openai-community/gpt2 aus dem angrenzenden Dropdown-Menü „Modell“ aus. Klicken Sie abschließend auf die Schaltfläche „Laden“ und warten Sie einige Minuten, bis eine Erfolgsmeldung angezeigt wird.

  Brad Morton / How-To Geek

  Dieses Modell funktioniert sofort und erfordert keine Anmeldung. Wenn Sie sich mit KI beschäftigen und mit verschiedenen Modellen und KI-Tools experimentieren möchten, finden Sie mehr auf HuggingFace.

  Schritt 5: Beginnen Sie mit der Verwendung Ihres benutzerdefinierten GPT-KI-Chatbots

  Dies ist nicht ganz wie die KI-Chatbots, die Sie online verwenden und die bereits für den allgemeinen Gebrauch eingerichtet sind und Folgendes abdecken: viele Situationen. Sie müssen dem Modell mitteilen, wie es sich verhalten soll, bevor Sie mit ihm interagieren, andernfalls wird die Ausgabe etwas ... aus dem Ruder laufen.

  Brad Morton / How-To Geek

  Hoo Junge, obwohl er die richtige Antwort hat, muss dieser KI-Chatbot noch ein wenig verfeinert werden.

  Ja Sie können vieles anpassen, und es kann zunächst etwas umständlich sein, aber mit etwas Übung und Erfahrung können Sie einen Chatbot erstellen, der speziell auf Ihre eigene Nutzung zugeschnitten ist und Ihre Daten zu 100 % auf Ihrem eigenen Computer speichert, was großartig ist für geschäftliche und andere vertrauliche Anwendungsfälle. Um zu erfahren, wie Sie Ihren lokalen GPT-Chatbot konfigurieren und trainieren, sehen Sie sich die Dokumentation zu text-generation-web-ui und die OpenAI GP2-Dokumente auf HuggingFace an.

  Wenn Sie Bilder mithilfe von KI von Ihrem Windows-PC aus generieren möchten, können Sie Fooocus verwenden, um einfachere und unmittelbarere Ergebnisse zu erzielen.