За последний год появилось большое количество инструментов с искусственным интеллектом, которые облегчают жизнь пользователей, будь то генерация изображений или чат-боты, вплоть до инструментов, которые выполняют гигантские и профессиональные задачи. процессы.

Я исследовал, изучал и тестировал многие из этих инструментов, от chatgpt, Gemini до dall-e или Midjourney, все они работают очень хорошо, но когда я хочу масштабировать свои приложения с помощью этих инструментов, я обнаруживаю, что у них нет бесплатный или открытый альтернативный источник.

Это побудило меня пойти дальше в своих исследованиях, и я наткнулся на стабильный диффузионный интерфейс (генерация изображений, https://github.com/AUTOMATIC1111/stable-diffusion-webui) и с * ollama *(Chatbot, https://ollama.com/), оба являются инструментами с открытым исходным кодом, которые позволяют запускать сервис в качестве API для использования его из любого из наших приложений, с этим я и добрался Сначала я пойду дальше, используя альтернативы с открытым исходным кодом, но для того, чтобы это работало, я должен поддерживать работу этих инструментов, чтобы они могли использоваться нашими приложениями.

Чтобы понять, как реализовать это в наших приложениях, важно понять, как работают эти инструменты, и в основном они используют файлы с расширением «safetensors», которые являются LLM или большими языковыми моделями, эти модели обучаются для выполнения различные функции в зависимости от потребностей человека, обучающего его (пример: генерация изображений, перевод, разработка кода, чат-бот и т. д.).

Поняв немного о моделях LLM и файлах «safetensors», мы получаем следующий вопрос: как использовать эти файлы в моих приложениях, и здесь на помощь приходит HugginFace, веб-сайт/база данных искусственного интеллекта с открытым исходным кодом. модели, и они создали свою собственную библиотеку для Python с двумя чрезвычайно полезными компонентами для того, что мы хотим: «Трансформеры» и «Диффузоры».

*Transformers *(https://huggingface.co/docs/transformers/index) — это компонент, который позволяет нам использовать любую специализированную текстовую модель, например конвертировать аудио в текст или наоборот, окно чата в виде мета-флейма, среди прочего.

импортировать трансформаторы

import torch

model_id = "meta-llama/Llama-3.1-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)

pipeline("Hey how are you doing today?")

Diffusers (https://huggingface.co/docs/diffusers/index) — это компонент, который позволяет нам использовать любую модель, специализирующуюся на создании изображений, например стабильную диффузию.

from diffusers import AutoPipelineForText2Image
import torch

pipe = AutoPipelineForText2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")

prompt = "A cinematic shot of a baby racoon wearing an intricate italian priest robe."

image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]

Этот процесс известен как вывод модели LLM, и отсюда, на основе этой информации, вы можете начать применять искусственный интеллект в различных приложениях с помощью Python.

Следует отметить, что я также пытался использовать вывод модели с другим языком, например nodejs, и правда в том, что он работает не так хорошо, как с Python, но важно отметить, что для LLM требуется мощное оборудование. Вывод модели, чтобы сэкономленные средства с помощью API ChatGPT или Gemini можно было потратить на приобретение подходящего оборудования.

Это моя первая статья, надеюсь, что мой путь к использованию моделей LLM в разработке программного обеспечения поможет вам пропустить шаги на этом пути.