In diesem Artikel erfahren Sie, wie Sie einen benutzerdefinierten Agenten erstellen, der ein Open-Source-LLM (llama3.1) verwendet, das lokal auf unserem PC ausgeführt wird. Wir werden auch Ollama und LangChain verwenden.

Gliederung

• Ollama installieren
• Pull-Modell
• Modell bedienen
• Erstellen Sie einen neuen Ordner und öffnen Sie ihn mit einem Code-Editor
• Virtuelle Umgebung erstellen und aktivieren
• Installieren Sie langchain langchain-ollama
• Benutzerdefinierten Agenten mit Open-Source-Modell in Python erstellen
• Abschluss

Installieren Sie Ollama

Befolgen Sie die Anweisungen basierend auf Ihrem Betriebssystemtyp in der GitHub-README-Datei, um Ollama zu installieren:

https://github.com/ollama/ollama

Ich verwende einen Linux-basierten PC und führe daher den folgenden Befehl in meinem Terminal aus:

curl -fsSL https://ollama.com/install.sh | sh

Modell ziehen

Rufen Sie das verfügbare LLM-Modell mit dem folgenden Befehl ab:

ollama pull llama3.1

Dadurch wird die standardmäßig getaggte Version des Modells heruntergeladen. Normalerweise verweist die Standardeinstellung auf das neueste Modell mit den kleinsten Parametern. In diesem Fall handelt es sich um das Modell llama3.1:8b.

Um eine andere Version des Modells herunterzuladen, können Sie zu https://ollama.com/library/llama3.1 gehen, die zu installierende Version auswählen und dann den Ollama-Pull-Befehl mit dem Modell und seiner Versionsnummer ausführen . Beispiel: ollama pull llama3.1:70b

Auf dem Mac werden die Modelle nach ~/.ollama/models heruntergeladen

Unter Linux (oder WSL) werden die Modelle unter /usr/share/ollama/.ollama/models gespeichert

Modell servieren

Führen Sie den folgenden Befehl aus, um Ollama zu starten, ohne die Desktop-Anwendung auszuführen.

ollama serve

Alle Modelle werden automatisch auf localhost:11434 bereitgestellt

Erstellen Sie einen neuen Ordner und öffnen Sie ihn mit einem Code-Editor

Erstellen Sie einen neuen Ordner auf Ihrem Computer und öffnen Sie ihn dann mit einem Code-Editor wie VS Code.

Erstellen und aktivieren Sie eine virtuelle Umgebung

Öffnen Sie das Terminal. Verwenden Sie den folgenden Befehl, um eine virtuelle Umgebung .venv zu erstellen und zu aktivieren:

python3 -m venv .venv

source .venv/bin/activate

Installieren Sie langchain langchain-ollama

Führen Sie den folgenden Befehl aus, um langchain und langchain-ollama zu installieren:

pip install -U langchain langchain-ollama

Der obige Befehl installiert oder aktualisiert die Pakete LangChain und LangChain-Ollama in Python. Das Flag -U stellt sicher, dass die neuesten Versionen dieser Pakete installiert werden und alle älteren Versionen ersetzen, die möglicherweise bereits vorhanden sind.

Erstellen Sie einen benutzerdefinierten Agenten mit Open-Source-Modell in Python

Erstellen Sie eine Python-Datei, zum Beispiel: main.py, und fügen Sie den folgenden Code hinzu:

from langchain_ollama import ChatOllama
from langchain.agents import tool
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain.agents.format_scratchpad.openai_tools import (
    format_to_openai_tool_messages,
)
from langchain.agents import AgentExecutor
from langchain.agents.output_parsers.openai_tools import OpenAIToolsAgentOutputParser


llm = ChatOllama(
            model="llama3.1",
            temperature=0,
            verbose=True
        )

@tool
def get_word_length(word: str) -> int:
    """Returns the length of a word."""
    return len(word)


tools = [get_word_length]



prompt = ChatPromptTemplate.from_messages(
            [
                (
                    "system",
                    "You are very powerful assistant",
                ),
                ("user", "{input}"),
                MessagesPlaceholder(variable_name="agent_scratchpad"),
            ]
        )

llm_with_tools = llm.bind_tools(tools)

agent = (
    {
        "input": lambda x: x["input"],
        "agent_scratchpad": lambda x: format_to_openai_tool_messages(
            x["intermediate_steps"]
        ),
    }
    | prompt
    | llm_with_tools
    | OpenAIToolsAgentOutputParser()
)

# Create an agent executor by passing in the agent and tools
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
result = agent_executor.invoke({"input": "How many letters in the word educa"})

if result:
    print(f"[Output] --> {result['output']}")
else:
    print('There are no result..')

Das obige Code-Snippet richtet einen LangChain-Agenten ein, der das ChatOllama-Modell (llama3.1) verwendet, um Benutzereingaben zu verarbeiten und ein benutzerdefiniertes Tool zu verwenden, das die Wortlänge berechnet. Es definiert eine Eingabeaufforderungsvorlage für den Agenten, bindet das Tool an das Sprachmodell und erstellt einen Agenten, der Eingaben verarbeitet und Zwischenschritte formatiert. Schließlich wird ein AgentExecutor erstellt, um den Agenten mit einer bestimmten Eingabe aufzurufen. Wir stellen eine einfache Frage: „Wie viele Buchstaben hat das Wort educa?“ und drucken dann die Ausgabe aus oder geben an, ob kein Ergebnis gefunden wurde.

Wenn wir ausführen, erhalten wir das folgende Ergebnis:

> Entering new AgentExecutor chain...

Invoking: `get_word_length` with `{'word': 'educa'}`


5The word "educa" has 5 letters.

> Finished chain.
[Output] --> The word "educa" has 5 letters.

Sie sehen, dass der Agent das Modell (llama3.1) verwendet hat, um das Tool korrekt aufzurufen und die Anzahl der Buchstaben im Wort zu ermitteln.

Abschluss

Danke fürs Lesen.

Sehen Sie sich das Ollama-Repo hier an: https://github.com/ollama/ollama