昨年、画像生成であれチャットボットであれ、ユーザーの生活を楽にする人工知能を搭載したツールが多数登場し、巨大でプロフェッショナルな機能を実行するツールにまで拡張されました。プロセス。

私は、chatgpt、gemini、dall-e、midjourney に至るまで、これらのツールの多くを研究、学習、テストしてきました。それらはすべて非常にうまく機能しますが、これらのツールを使用してアプリケーションを拡張したい場合、それらには無料またはオープンな代替ソース。

これにより、研究をさらに一歩進めることができ、安定拡散 ui (画像生成、https://github.com/AUTOMATIC1111/stable-diffusion-webui) と * に出会いました。 ollama *(Chatbot、https://ollama.com/)、どちらもオープン ソース ツールで、サービスを API として実行して、当社のアプリケーションからサービスを利用できるようになります。これで私は到着しました私はオープンソースの代替案をさらに進めていますが、これが機能するには、アプリケーションで使用できるようにこれらのツールを実行し続ける必要があります。

これをアプリケーションに導入する方法を理解するには、これらのツールがどのように機能するかを理解することが重要です。基本的に、ツールが行うことは、LLM または大規模言語モデルである「safetensors」拡張子を持つファイルを使用することです。これらのモデルは、実行するようにトレーニングされています。トレーニングする人のニーズに応じたさまざまな機能 (例: 画像生成、翻訳、コード開発、チャットボットなど)。

LLM モデルと「セーフテンソル」ファイルについて少し理解すると、次の質問が得られます。これらのファイルをアプリケーションで使用する方法です。ここで、オープンソースの人工知能の Web サイト/データベースである HugginFace が登場します。彼らは、私たちが必要とする 2 つの非常に便利なコンポーネント「Transformers」と「Diffusers」を備えた独自の Python ライブラリを作成しました。

*Transformers *(https://huggingface.co/docs/transformers/index) は、特殊なテキスト モデルを使用できるようにするコンポーネントです。たとえば、オーディオからテキストへの変換、またはその逆の変換など、メタフレームとしてのチャットボックスなど。

変圧器をインポート

import torch

model_id = "meta-llama/Llama-3.1-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)

pipeline("Hey how are you doing today?")

ディフューザー (https://huggingface.co/docs/diffusers/index) は、安定した拡散などの画像生成に特化したモデルを利用できるようにするコンポーネントです。

from diffusers import AutoPipelineForText2Image
import torch

pipe = AutoPipelineForText2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")

prompt = "A cinematic shot of a baby racoon wearing an intricate italian priest robe."

image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]

このプロセスは LLM モデル推論として知られており、この情報に基づいて、Python を使用してさまざまなアプリケーションに人工知能の適用を開始できます。

nodejs などの別の言語でもモデル推論を使用しようとしましたが、実際には Python ほどうまく機能しません。ただし、LLM には強力なハードウェアが必要であることに言及することが重要です。モデル推論により、ChatGPT または Gemini API を使用して節約できる分を、適切なハードウェアの購入に費やすことができます。

これが私の最初の記事です。ソフトウェア開発における LLM モデルの使用に関する私の道が、この道の手順をスキップするのに役立つことを願っています。