इसे ध्यान में रखते हुए, हमने आपके कंप्यूटर पर स्थानीय रूप से मात्राबद्ध लामा 2 एलएलएम को लोड करने के लिए टेक्स्ट-जेनरेशन-वेबयूआई का उपयोग करने के तरीके पर एक चरण-दर-चरण मार्गदर्शिका बनाई है।

लामा 2 को स्थानीय रूप से क्यों स्थापित करें

ऐसे कई कारण हैं जिनकी वजह से लोग लामा 2 को सीधे चलाना चुनते हैं। कुछ इसे गोपनीयता संबंधी चिंताओं के लिए करते हैं, कुछ अनुकूलन के लिए, और अन्य ऑफ़लाइन क्षमताओं के लिए। यदि आप अपनी परियोजनाओं के लिए लामा 2 पर शोध कर रहे हैं, उसे ठीक कर रहे हैं, या एकीकृत कर रहे हैं, तो एपीआई के माध्यम से लामा 2 तक पहुँचना आपके लिए नहीं हो सकता है। आपके पीसी पर स्थानीय रूप से एलएलएम चलाने का उद्देश्य तीसरे पक्ष के एआई टूल पर निर्भरता को कम करना और कंपनियों और अन्य संगठनों को संभावित संवेदनशील डेटा लीक होने की चिंता किए बिना, कभी भी, कहीं भी एआई का उपयोग करना है।

इतना कहने के साथ, आइए लामा 2 को स्थानीय रूप से स्थापित करने के लिए चरण-दर-चरण मार्गदर्शिका से शुरुआत करें।

चरण 1: विजुअल स्टूडियो 2019 बिल्ड टूल इंस्टॉल करें

चीजों को सरल बनाने के लिए, हम टेक्स्ट-जेनरेशन-वेबयूआई (जीयूआई के साथ लामा 2 को लोड करने के लिए इस्तेमाल किया जाने वाला प्रोग्राम) के लिए एक-क्लिक इंस्टॉलर का उपयोग करेंगे। . हालाँकि, इस इंस्टॉलर को काम करने के लिए, आपको विज़ुअल स्टूडियो 2019 बिल्ड टूल डाउनलोड करना होगा और आवश्यक संसाधन स्थापित करने होंगे।

डाउनलोड:विजुअल स्टूडियो 2019 (फ्री)

आगे बढ़ें और सॉफ्टवेयर का सामुदायिक संस्करण डाउनलोड करें। अब विजुअल स्टूडियो 2019 इंस्टॉल करें, फिर सॉफ्टवेयर खोलें। एक बार खोलने के बाद, C के साथ डेस्कटॉप डेवलपमेंट पर बॉक्स पर टिक करें और इंस्टॉल पर क्लिक करें।

अब जब आपके पास C के साथ डेस्कटॉप डेवलपमेंट स्थापित है, तो टेक्स्ट-जेनरेशन-वेबयूआई वन-क्लिक इंस्टॉलर डाउनलोड करने का समय आ गया है।

चरण 2: टेक्स्ट-जेनरेशन-वेबयूआई स्थापित करें

टेक्स्ट-जेनरेशन-वेबयूआई वन-क्लिक इंस्टॉलर एक स्क्रिप्ट है जो स्वचालित रूप से आवश्यक फ़ोल्डर बनाता है और कॉनडा वातावरण और सभी आवश्यक आवश्यकताओं को सेट करता है एआई मॉडल चलाने के लिए।

स्क्रिप्ट इंस्टॉल करने के लिए, कोड > डाउनलोड ज़िप पर क्लिक करके वन-क्लिक इंस्टॉलर डाउनलोड करें।

डाउनलोड करें: टेक्स्ट-जेनरेशन-वेबयूआई इंस्टॉलर (फ्री)

एक बार डाउनलोड होने के बाद, ज़िप फ़ाइल को अपने पसंदीदा स्थान पर निकालें, फिर निकाले गए फ़ोल्डर को खोलें। फ़ोल्डर के भीतर, नीचे स्क्रॉल करें और अपने ऑपरेटिंग सिस्टम के लिए उपयुक्त स्टार्ट प्रोग्राम देखें। उपयुक्त स्क्रिप्ट पर डबल-क्लिक करके प्रोग्राम चलाएँ। यदि आप विंडोज़ पर हैं, तो मैकओएस के लिए स्टार्ट_विंडोज़ बैच फ़ाइल का चयन करें, लिनक्स के लिए स्टार्ट_मैकओएस शेल स्क्रिप्ट का चयन करें, स्टार्ट_लिनक्स शेल स्क्रिप्ट का चयन करें।

आपका एंटी-वायरस एक अलर्ट बना सकता है; यह ठीक है. बैच फ़ाइल या स्क्रिप्ट को चलाने के लिए प्रॉम्प्ट केवल एक एंटीवायरस गलत सकारात्मक है। वैसे भी रन पर क्लिक करें। एक टर्मिनल खुलेगा और सेटअप शुरू होगा. प्रारंभ में, सेटअप रुक जाएगा और आपसे पूछेगा कि आप किस GPU का उपयोग कर रहे हैं। अपने कंप्यूटर पर स्थापित उचित प्रकार का GPU चुनें और एंटर दबाएँ। जिनके पास समर्पित ग्राफिक्स कार्ड नहीं है, उनके लिए कोई नहीं चुनें (मैं सीपीयू मोड में मॉडल चलाना चाहता हूं)। ध्यान रखें कि समर्पित जीपीयू के साथ मॉडल चलाने की तुलना में सीपीयू मोड पर चलना बहुत धीमा है। एक बार सेटअप पूरा हो जाने पर, अब आप टेक्स्ट-जेनरेशन-वेबयूआई को स्थानीय रूप से लॉन्च कर सकते हैं। आप अपना पसंदीदा वेब ब्राउज़र खोलकर और यूआरएल पर दिए गए आईपी पते को दर्ज करके ऐसा कर सकते हैं। वेबयूआई अब उपयोग के लिए तैयार है।

हालांकि, प्रोग्राम केवल एक मॉडल लोडर है। आइए मॉडल लोडर को लॉन्च करने के लिए लामा 2 डाउनलोड करें।

चरण 3: लामा 2 मॉडल डाउनलोड करें

आपको लामा 2 के किस संस्करण की आवश्यकता है, यह तय करते समय कई बातों पर विचार करना होगा। इनमें पैरामीटर, परिमाणीकरण, हार्डवेयर अनुकूलन, आकार और उपयोग शामिल हैं। यह सारी जानकारी मॉडल के नाम में अंकित मिलेगी।

पैरामीटर: मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने वाले पैरामीटर की संख्या। बड़े पैरामीटर अधिक सक्षम मॉडल बनाते हैं लेकिन प्रदर्शन की कीमत पर। उपयोग: या तो मानक हो सकता है या चैट। एक चैट मॉडल को चैटजीपीटी जैसे चैटबॉट के रूप में उपयोग करने के लिए अनुकूलित किया गया है, जबकि मानक डिफ़ॉल्ट मॉडल है। हार्डवेयर अनुकूलन: यह संदर्भित करता है कि कौन सा हार्डवेयर मॉडल को सबसे अच्छा चलाता है। GPTQ का मतलब है कि मॉडल को समर्पित GPU पर चलने के लिए अनुकूलित किया गया है, जबकि GGML को CPU पर चलने के लिए अनुकूलित किया गया है। परिमाणीकरण: एक मॉडल में वजन और सक्रियण की सटीकता को दर्शाता है। अनुमान लगाने के लिए, q4 की सटीकता इष्टतम है। आकार: विशिष्ट मॉडल के आकार को संदर्भित करता है।

ध्यान दें कि कुछ मॉडल अलग-अलग तरीके से व्यवस्थित हो सकते हैं और उनमें एक ही प्रकार की जानकारी प्रदर्शित भी नहीं हो सकती है। हालाँकि, इस प्रकार की नामकरण परंपरा हगिंगफेस मॉडल लाइब्रेरी में काफी आम है, इसलिए यह अभी भी समझने लायक है।

इस उदाहरण में, मॉडल को एक मध्यम आकार के लामा 2 मॉडल के रूप में पहचाना जा सकता है जो एक समर्पित सीपीयू का उपयोग करके चैट अनुमान के लिए अनुकूलित 13 अरब मापदंडों पर प्रशिक्षित है।

समर्पित जीपीयू पर चलने वालों के लिए, जीपीटीक्यू मॉडल चुनें, जबकि सीपीयू का उपयोग करने वालों के लिए, जीजीएमएल चुनें। यदि आप चैटजीपीटी की तरह मॉडल के साथ चैट करना चाहते हैं, तो चैट चुनें, लेकिन यदि आप मॉडल के साथ उसकी पूर्ण क्षमताओं के साथ प्रयोग करना चाहते हैं, तो मानक मॉडल का उपयोग करें। जहां तक ​​मापदंडों का सवाल है, जान लें कि बड़े मॉडलों का उपयोग प्रदर्शन की कीमत पर बेहतर परिणाम प्रदान करेगा। मैं व्यक्तिगत रूप से आपको 7बी मॉडल से शुरुआत करने की सलाह दूंगा। जहाँ तक परिमाणीकरण का सवाल है, q4 का उपयोग करें, क्योंकि यह केवल अनुमान लगाने के लिए है।

डाउनलोड:जीजीएमएल (फ्री)

डाउनलोड:जीपीटीक्यू (फ्री)

अब जब आप जानते हैं कि आपको लामा 2 की किस पुनरावृत्ति की आवश्यकता है, तो आगे बढ़ें और अपना इच्छित मॉडल डाउनलोड करें .

मेरे मामले में, चूंकि मैं इसे एक अल्ट्राबुक पर चला रहा हूं, मैं चैट के लिए फाइन-ट्यून किए गए GGML मॉडल का उपयोग करूंगा, llama-2-7b-chat-ggmlv3.q4_K_S.bin।

डाउनलोड समाप्त होने के बाद, मॉडल को टेक्स्ट-जेनरेशन-वेबुई-मेन > मॉडल में रखें।

अब जब आपने अपना मॉडल डाउनलोड कर लिया है और मॉडल फ़ोल्डर में रख दिया है, तो मॉडल लोडर को कॉन्फ़िगर करने का समय आ गया है।

चरण 4: टेक्स्ट-जेनरेशन-वेबयूआई कॉन्फ़िगर करें

अब, कॉन्फ़िगरेशन चरण शुरू करते हैं।

एक बार फिर, स्टार्ट_(आपका ओएस) फ़ाइल चलाकर टेक्स्ट-जेनरेशन-वेबयूआई खोलें (ऊपर पिछले चरण देखें)। GUI के ऊपर स्थित टैब पर, मॉडल पर क्लिक करें। मॉडल ड्रॉपडाउन मेनू पर रीफ्रेश बटन पर क्लिक करें और अपना मॉडल चुनें। अब मॉडल लोडर के ड्रॉपडाउन मेनू पर क्लिक करें और GTPQ मॉडल का उपयोग करने वालों के लिए AutoGPTQ और GGML मॉडल का उपयोग करने वालों के लिए ctransformers का चयन करें। अंत में, अपने मॉडल को लोड करने के लिए लोड पर क्लिक करें। मॉडल का उपयोग करने के लिए, चैट टैब खोलें और मॉडल का परीक्षण शुरू करें।

बधाई हो, आपने Llama2 को अपने स्थानीय कंप्यूटर पर सफलतापूर्वक लोड कर लिया है!

अन्य एलएलएम आज़माएं

अब जब आप जानते हैं कि टेक्स्ट-जेनरेशन-वेबयूआई का उपयोग करके सीधे अपने कंप्यूटर पर लामा 2 कैसे चलाया जाता है, तो आपको लामा के अलावा अन्य एलएलएम भी चलाने में सक्षम होना चाहिए। बस मॉडलों के नामकरण की परंपरा को याद रखें और मॉडलों के केवल परिमाणित संस्करण (आमतौर पर q4 परिशुद्धता) ही नियमित पीसी पर लोड किए जा सकते हैं। हगिंगफेस पर कई परिमाणित एलएलएम उपलब्ध हैं। यदि आप अन्य मॉडलों की खोज करना चाहते हैं, तो हगिंगफेस की मॉडल लाइब्रेरी में दब्लोक को खोजें, और आपको कई मॉडल उपलब्ध होने चाहिए।