В этом руководстве вы узнаете, как запускать большие языковые модели (LLM) на локальном компьютере и создавать свои собственные LLM. Мы также расскажем, как создать API для вашей пользовательской модели с помощью библиотеки ollama-js в Node.js.

Шаг 1: Установка Олламы

Ollama — идеальный выбор для локального запуска LLM благодаря своей простоте и совместимости с машинами, не требующими интенсивного использования графического процессора. Начните с установки Ollama с официального сайта:

Официальный сайт Олламы

Шаг 2. Выбор предпочитаемой модели LLM

После установки Ollama вы можете выбирать из множества доступных моделей LLM. Список доступных моделей вы можете найти в их репозитории GitHub:

Репозиторий Ollama на GitHub

Шаг 3. Запуск модели локально

Чтобы запустить модель локально, используйте следующую команду в своем терминале. Обратите внимание, что первый запуск может занять больше времени, поскольку Оллама загружает и сохраняет модель локально. Последующие запуски будут быстрее, поскольку доступ к модели осуществляется локально.

ollama run {model_name}

Шаг 4: Создание собственного LLM

Чтобы создать собственный LLM, вам необходимо создать файл модели. Ниже приведен пример определения вашей модели:

FROM 

# Define your parameters here
PARAMETER temperature 0.5

SYSTEM """
You are an English teaching assistant named Mr. Kamal Kishor. You help with note-making, solving English grammar assignments, and reading comprehensions.
"""

Сохраните это как файл модели. Чтобы создать модель из этого файла, выполните в терминале следующую команду:

ollama create mrkamalkishor -f ./modelfile

После создания модели вы можете взаимодействовать с ней локально, используя:

ollama run mrkamalkishor

Шаг 5. Создание API Node.js для пользовательской модели

На этом этапе мы будем использовать библиотеку ollama-js для создания API в Node.js.

1. Установите библиотеку Ollama в свой проект Node.js:

npm install ollama

1. Создайте конечную точку API:

import express from 'express';
import ollama from 'ollama';

const app = express();
const router = express.Router();

app.use(express.json());

router.post('/ask-query', async (req, res) => {
  const { query } = req.body;

  try {
    const response = await ollama.chat({
      model: 'mrkamalkishor',
      messages: [{ role: 'user', content: query }],
    });

    res.json({ reply: response.message.content });
  } catch (error) {
    res.status(500).send({ error: 'Error interacting with the model' });
  }
});

app.use('/api', router);

const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
  console.log(`Server is running on port ${PORT}`);
});

Этот код настраивает сервер Express.js с конечной точкой для взаимодействия с вашей пользовательской моделью. Когда запрос POST делается к /ask-query с телом JSON, содержащим запрос пользователя, сервер отвечает выходными данными модели.

Краткое содержание

Следуя этим шагам, вы сможете установить Ollama, выбрать и запустить LLM локально, создать собственный LLM и настроить API Node.js для взаимодействия с ним. Эта настройка позволяет вам использовать мощные языковые модели на вашем локальном компьютере, не требуя оборудования с интенсивным использованием графического процессора.