Im letzten Jahr sind zahlreiche Tools mit künstlicher Intelligenz aufgetaucht, die das Leben der Benutzer einfacher machen, sei es Bildgenerierung oder Chatbots, sogar skaliert bis hin zu Tools, die gigantisch und professionell arbeiten Prozesse.

Ich habe viele dieser Tools erforscht, gelernt und getestet, von ChatGPT, Gemini bis Dall-E oder Midjourney. Sie funktionieren alle sehr gut, aber wenn ich meine Anwendungen mit diesen Tools skalieren möchte, stelle ich fest, dass sie keins haben kostenlose oder offene Alternativquelle.

Das hat mich dazu gebracht, meine Forschung einen Schritt weiter voranzutreiben, und ich bin auf stable diffusion ui (Bildgenerierung, https://github.com/AUTOMATIC1111/stable-diffusion-webui) gestoßen und mit * ollama *(Chatbot, https://ollama.com/), beides sind Open-Source-Tools, die es Ihnen ermöglichen, einen Dienst als API auszuführen, um ihn zu nutzen aus jeder unserer Anwendungen, damit bin ich mit Open-Source-Alternativen einen Schritt weiter gegangen, aber damit dies funktioniert, muss ich diese Tools laufen lassen, damit sie von unseren Anwendungen genutzt werden können.

Um zu verstehen, wie wir dies in unsere Anwendungen integrieren können, ist es wichtig zu verstehen, wie diese Tools funktionieren und im Grunde genommen Dateien mit der Erweiterung „safetensors“ verwenden, bei denen es sich um LLM- oder große Sprachmodelle handelt, wobei diese Modelle auf ihre Leistung trainiert werden verschiedene Funktionen entsprechend den Bedürfnissen der Person, die es trainiert (Beispiel: Bildgenerierung, Übersetzung, Codeentwicklung, Chatbot, unter anderem).

Wenn wir ein wenig über die LLM-Modelle und die „Safetensors“-Dateien wissen, stellen wir uns die folgende Frage: Wie verwende ich diese Dateien in meinen Anwendungen, und hier kommt HugginFace ins Spiel, eine Website/Datenbank für Open-Source-künstliche Intelligenz Modelle, und sie haben ihre eigene Bibliothek für Python mit zwei äußerst nützlichen Komponenten für das erstellt, was wir wollen: „Transformers“ und „Diffusers“.

*Transformers *(https://huggingface.co/docs/transformers/index) ist die Komponente, die es uns ermöglicht, jedes spezielle Textmodell zu nutzen, zum Beispiel Audio in Text umzuwandeln oder umgekehrt, Chatbox unter anderem als Meta-Flamme.

Transformatoren importieren

import torch

model_id = "meta-llama/Llama-3.1-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)

pipeline("Hey how are you doing today?")

Diffusers (https://huggingface.co/docs/diffusers/index) ist die Komponente, die es uns ermöglicht, jedes auf die Bilderzeugung spezialisierte Modell zu nutzen, zum Beispiel stabile Diffusion.

from diffusers import AutoPipelineForText2Image
import torch

pipe = AutoPipelineForText2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")

prompt = "A cinematic shot of a baby racoon wearing an intricate italian priest robe."

image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]

Dieser Prozess ist als LLM-Modellinferenz bekannt, und von hier aus können Sie basierend auf diesen Informationen beginnen, künstliche Intelligenz in Ihren verschiedenen Anwendungen mit Python anzuwenden.

Es sollte beachtet werden, dass ich auch versucht habe, Modellinferenz mit einer anderen Sprache wie NodeJS zu verwenden, und die Wahrheit ist, dass es nicht so gut funktioniert wie mit Python, aber es ist wichtig zu erwähnen, dass für LLM leistungsstarke Hardware erforderlich ist Modellinferenz, sodass Sie das, was Sie durch die Verwendung der ChatGPT- oder Gemini-APIs sparen können, für den Kauf geeigneter Hardware ausgeben können.

Das ist mein erster Artikel. Ich hoffe, dass mein Weg zum Einsatz von LLM-Modellen in der Softwareentwicklung Ihnen hilft, Schritte auf diesem Weg zu überspringen.