पिछले वर्ष के दौरान, कृत्रिम बुद्धिमत्ता वाले बड़ी संख्या में उपकरण उपयोगकर्ताओं के जीवन को आसान बनाने के लिए सामने आए हैं, चाहे वह छवि निर्माण हो या चैटबॉट, यहां तक ​​​​कि ऐसे उपकरण भी हैं जो विशाल और पेशेवर तरीके से कार्यान्वित करते हैं प्रक्रियाएं।

मैं चैटजीपीटी, जेमिनी से लेकर डैल-ई या मिडजर्नी तक इनमें से कई टूल पर शोध, सीख और परीक्षण कर रहा हूं, वे सभी बहुत अच्छी तरह से काम करते हैं लेकिन जब मैं इन टूल के साथ अपने एप्लिकेशन को स्केल करना चाहता हूं तो मुझे पता चलता है कि उनके पास कोई नहीं है मुफ़्त या खुला वैकल्पिक स्रोत।

इसने मुझे अपने शोध को एक कदम आगे ले जाने के लिए प्रेरित किया है और मुझे स्थिर प्रसार यूआई (छवि निर्माण, https://github.com/AUTOMATIC1111/stable-difuse-webui) और * के साथ मिला है। ओलामा *(चैटबॉट, https://ollama.com/), दोनों ओपन सोर्स टूल हैं जो आपको किसी सेवा को एपीआई के रूप में चलाने की अनुमति देते हैं। हमारे किसी भी एप्लिकेशन से, इसके साथ मैं ओपन सोर्स विकल्पों के साथ एक कदम आगे बढ़ गया हूं, लेकिन इसे काम करने के लिए मुझे इन टूल्स को हमारे एप्लिकेशन द्वारा उपभोग किए जाने के लिए चालू रखना होगा।

यह समझने के लिए कि इसे हमारे अनुप्रयोगों में कैसे लाया जाए, यह समझना महत्वपूर्ण है कि ये उपकरण कैसे काम करते हैं, और मूल रूप से वे जो करते हैं वह "सेफटेंसर" एक्सटेंशन वाली फ़ाइलों का उपयोग करते हैं जो एलएलएम या बड़े भाषा मॉडल हैं, इन मॉडलों को प्रदर्शन करने के लिए प्रशिक्षित किया जा रहा है इसे प्रशिक्षित करने वाले व्यक्ति की आवश्यकताओं के अनुसार विभिन्न कार्य (उदाहरण: छवि निर्माण, अनुवाद, कोड विकास, चैटबॉट, अन्य)।

एलएलएम मॉडल और "सेफटेंसर" फाइलों के बारे में थोड़ा समझने पर, हमें निम्नलिखित प्रश्न मिलते हैं: अपने अनुप्रयोगों में इन फाइलों का उपयोग कैसे करें, और यहीं पर हगिनफेस आता है, जो ओपन सोर्स आर्टिफिशियल इंटेलिजेंस की एक वेबसाइट/डेटाबेस है। मॉडल, और उन्होंने पायथन के लिए 2 बेहद उपयोगी घटकों के साथ अपनी खुद की लाइब्रेरी बनाई है जो हम चाहते हैं "ट्रांसफॉर्मर" और "डिफ्यूज़र"।

*ट्रांसफॉर्मर *(https://huggingface.co/docs/transformers/index) वह घटक है जो हमें किसी विशेष टेक्स्ट मॉडल का उपभोग करने की अनुमति देता है, उदाहरण के लिए ऑडियो को टेक्स्ट में परिवर्तित करना या इसके विपरीत, मेटा फ्लेम के रूप में चैटबॉक्स, दूसरों के बीच में।

ट्रांसफार्मर आयात करें

import torch

model_id = "meta-llama/Llama-3.1-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)

pipeline("Hey how are you doing today?")

डिफ्यूज़र (https://huggingface.co/docs/diffusers/index) वह घटक है जो हमें छवि निर्माण में विशेषीकृत किसी भी मॉडल का उपभोग करने की अनुमति देता है, उदाहरण के लिए स्थिर प्रसार।

from diffusers import AutoPipelineForText2Image
import torch

pipe = AutoPipelineForText2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")

prompt = "A cinematic shot of a baby racoon wearing an intricate italian priest robe."

image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]

इस प्रक्रिया को एलएलएम मॉडल अनुमान के रूप में जाना जाता है, और यहां से इस जानकारी के आधार पर आप पायथन के साथ अपने विभिन्न अनुप्रयोगों में कृत्रिम बुद्धिमत्ता को लागू करना शुरू कर सकते हैं।

यह ध्यान दिया जाना चाहिए कि मैंने नोडज जैसी किसी अन्य भाषा के साथ मॉडल अनुमान का उपयोग करने का भी प्रयास किया है और सच्चाई यह है कि यह पायथन के साथ भी काम नहीं करता है, लेकिन यह उल्लेख करना महत्वपूर्ण है कि एलएलएम के लिए शक्तिशाली हार्डवेयर की आवश्यकता है मॉडल अनुमान ताकि आप चैटजीपीटी या जेमिनी एपीआई का उपयोग करके जो बचा सकते हैं उसे आप उपयुक्त हार्डवेयर खरीदने पर खर्च कर सकें।

यह मेरा पहला लेख है, मुझे आशा है कि सॉफ्टवेयर विकास में एलएलएम मॉडल के उपयोग का मेरा मार्ग आपको इस पथ पर कदम उठाने में मदद करेगा।