En esta guía, aprenderá cómo ejecutar modelos de lenguaje grande (LLM) en su máquina local y crear su propio LLM. También cubriremos cómo crear una API para su modelo personalizado usando la biblioteca ollama-js en Node.js.

Paso 1: Instalar Ollama

Ollama es una opción ideal para ejecutar LLM localmente debido a su simplicidad y compatibilidad con máquinas que no utilizan mucha GPU. Comience instalando Ollama desde el sitio web oficial:

Sitio oficial de Ollama

Paso 2: Seleccionar su modelo LLM preferido

Después de instalar Ollama, puede elegir entre una variedad de modelos LLM disponibles. Puedes encontrar la lista de modelos disponibles en su repositorio de GitHub:

Repositorio Ollama GitHub

Paso 3: ejecutar el modelo localmente

Para ejecutar el modelo localmente, use el siguiente comando en su terminal. Tenga en cuenta que la primera ejecución puede tardar más ya que Ollama descarga y almacena el modelo localmente. Las ejecuciones posteriores serán más rápidas ya que se accede al modelo localmente.

ollama run {model_name}

Paso 4: Crea tu propio LLM

Para crear su LLM personalizado, debe crear un archivo modelo. A continuación se muestra un ejemplo de cómo definir su modelo:

FROM 

# Define your parameters here
PARAMETER temperature 0.5

SYSTEM """
You are an English teaching assistant named Mr. Kamal Kishor. You help with note-making, solving English grammar assignments, and reading comprehensions.
"""

Guardar esto como archivo modelo. Para crear el modelo a partir de este archivo, ejecute el siguiente comando en su terminal:

ollama create mrkamalkishor -f ./modelfile

Después de crear el modelo, puedes interactuar con él localmente usando:

ollama run mrkamalkishor

Paso 5: Crear una API de Node.js para el modelo personalizado

Para este paso, usaremos la biblioteca ollama-js para crear una API en Node.js.

1. Instala la biblioteca Ollama en tu proyecto Node.js:

npm install ollama

1. Crea tu punto final API:

import express from 'express';
import ollama from 'ollama';

const app = express();
const router = express.Router();

app.use(express.json());

router.post('/ask-query', async (req, res) => {
  const { query } = req.body;

  try {
    const response = await ollama.chat({
      model: 'mrkamalkishor',
      messages: [{ role: 'user', content: query }],
    });

    res.json({ reply: response.message.content });
  } catch (error) {
    res.status(500).send({ error: 'Error interacting with the model' });
  }
});

app.use('/api', router);

const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
  console.log(`Server is running on port ${PORT}`);
});

Este código configura un servidor Express.js con un punto final para interactuar con su modelo personalizado. Cuando se realiza una solicitud POST a /ask-query con un cuerpo JSON que contiene la consulta del usuario, el servidor responde con la salida del modelo.

Resumen

Al seguir estos pasos, puede instalar Ollama, elegir y ejecutar LLM localmente, crear su LLM personalizado y configurar una API de Node.js para interactuar con él. Esta configuración le permite aprovechar potentes modelos de lenguaje en su máquina local sin necesidad de hardware con uso intensivo de GPU.