इस गाइड में, आप सीखेंगे कि अपनी स्थानीय मशीन पर बड़े भाषा मॉडल (एलएलएम) कैसे चलाएं और अपना खुद का एलएलएम कैसे बनाएं। हम यह भी कवर करेंगे कि Node.js में ओलामा-जेएस लाइब्रेरी का उपयोग करके अपने कस्टम मॉडल के लिए एपीआई कैसे बनाएं।

चरण 1: ओलामा को स्थापित करना

ओलामा अपनी सादगी और गैर-जीपीयू गहन मशीनों के साथ अनुकूलता के कारण स्थानीय स्तर पर एलएलएम चलाने के लिए एक आदर्श विकल्प है। आधिकारिक वेबसाइट से ओलामा इंस्टॉल करके प्रारंभ करें:

ओलामा आधिकारिक साइट

चरण 2: अपना पसंदीदा एलएलएम मॉडल चुनना

ओलामा को स्थापित करने के बाद, आप उपलब्ध विभिन्न एलएलएम मॉडलों में से चुन सकते हैं। आप उपलब्ध मॉडलों की सूची उनके GitHub रिपॉजिटरी पर पा सकते हैं:

ओलामा गिटहब रिपॉजिटरी

चरण 3: मॉडल को स्थानीय रूप से चलाना

मॉडल को स्थानीय रूप से चलाने के लिए, अपने टर्मिनल में निम्नलिखित कमांड का उपयोग करें। ध्यान दें कि पहले रन में अधिक समय लग सकता है क्योंकि ओलामा मॉडल को स्थानीय रूप से डाउनलोड और संग्रहीत करता है। चूंकि मॉडल स्थानीय रूप से एक्सेस किया गया है इसलिए बाद के रन तेज़ होंगे।

ollama run {model_name}

चरण 4: अपना खुद का एलएलएम बनाना

अपना कस्टम एलएलएम बनाने के लिए, आपको एक मॉडल फ़ाइल बनानी होगी। अपने मॉडल को कैसे परिभाषित करें इसका एक उदाहरण नीचे दिया गया है:

FROM 

# Define your parameters here
PARAMETER temperature 0.5

SYSTEM """
You are an English teaching assistant named Mr. Kamal Kishor. You help with note-making, solving English grammar assignments, and reading comprehensions.
"""

इसे मॉडलफ़ाइल के रूप में सहेजें। इस फ़ाइल से मॉडल बनाने के लिए, अपने टर्मिनल में निम्नलिखित कमांड चलाएँ:

ollama create mrkamalkishor -f ./modelfile

मॉडल बनाने के बाद, आप इसका उपयोग करके स्थानीय रूप से इसके साथ इंटरैक्ट कर सकते हैं:

ollama run mrkamalkishor

चरण 5: कस्टम मॉडल के लिए एक Node.js API बनाना

इस चरण के लिए, हम Node.js में एक एपीआई बनाने के लिए ओलामा-जेएस लाइब्रेरी का उपयोग करेंगे।

1. अपने Node.js प्रोजेक्ट में ओलामा लाइब्रेरी स्थापित करें:

npm install ollama

1. अपना एपीआई एंडपॉइंट बनाएं:

import express from 'express';
import ollama from 'ollama';

const app = express();
const router = express.Router();

app.use(express.json());

router.post('/ask-query', async (req, res) => {
  const { query } = req.body;

  try {
    const response = await ollama.chat({
      model: 'mrkamalkishor',
      messages: [{ role: 'user', content: query }],
    });

    res.json({ reply: response.message.content });
  } catch (error) {
    res.status(500).send({ error: 'Error interacting with the model' });
  }
});

app.use('/api', router);

const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
  console.log(`Server is running on port ${PORT}`);
});

यह कोड आपके कस्टम मॉडल के साथ इंटरैक्ट करने के लिए एक एंडपॉइंट के साथ एक Express.js सर्वर सेट करता है। जब उपयोगकर्ता की क्वेरी वाली JSON बॉडी के साथ /ask-query के लिए POST अनुरोध किया जाता है, तो सर्वर मॉडल के आउटपुट के साथ प्रतिक्रिया करता है।

सारांश

इन चरणों का पालन करके, आप ओलामा स्थापित कर सकते हैं, स्थानीय रूप से एलएलएम चुन सकते हैं और चला सकते हैं, अपना कस्टम एलएलएम बना सकते हैं, और इसके साथ इंटरैक्ट करने के लिए एक नोड.जेएस एपीआई सेट कर सकते हैं। यह सेटअप आपको GPU-गहन हार्डवेयर की आवश्यकता के बिना अपनी स्थानीय मशीन पर शक्तिशाली भाषा मॉडल का लाभ उठाने की अनुमति देता है।