चूंकि एआई हमारे काम करने के तरीके और प्रौद्योगिकी के साथ बातचीत को आकार दे रहा है, कई व्यवसाय बुद्धिमान अनुप्रयोगों के भीतर अपने स्वयं के डेटा का लाभ उठाने के तरीकों की तलाश कर रहे हैं। यदि आपने ChatGPT या Azure OpenAI जैसे टूल का उपयोग किया है, तो आप पहले से ही परिचित हैं कि जेनेरिक AI प्रक्रियाओं को कैसे बेहतर बना सकता है और उपयोगकर्ता के अनुभवों को बढ़ा सकता है। हालाँकि, वास्तव में अनुकूलित और प्रासंगिक प्रतिक्रियाओं के लिए, आपके एप्लिकेशन को आपके स्वामित्व डेटा को शामिल करने की आवश्यकता है।

यह वह जगह है जहां पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी) आती है, जो एआई-संचालित प्रतिक्रियाओं के साथ डेटा पुनर्प्राप्ति को एकीकृत करने के लिए एक संरचित दृष्टिकोण प्रदान करती है। LlamaIndex जैसे फ़्रेमवर्क के साथ, आप आसानी से अपने समाधानों में इस क्षमता का निर्माण कर सकते हैं, जिससे आपके व्यावसायिक डेटा की पूरी क्षमता का पता चल जाएगा।

क्या आप ऐप को तुरंत चलाना और एक्सप्लोर करना चाहते हैं? यहाँ क्लिक करें।

RAG - पुनर्प्राप्ति-संवर्धित पीढ़ी क्या है?

रिट्रीवल-ऑगमेंटेड जेनरेशन (आरएजी) एक न्यूरल नेटवर्क फ्रेमवर्क है जो प्रासंगिक जानकारी तक पहुंचने और अपने स्वयं के डेटा को एकीकृत करने के लिए एक पुनर्प्राप्ति घटक को शामिल करके एआई टेक्स्ट जेनरेशन को बढ़ाता है। इसमें दो मुख्य भाग होते हैं:

• रिट्रीवर: एक सघन रिट्रीवर मॉडल (उदाहरण के लिए, बीईआरटी पर आधारित) जो किसी दिए गए प्रश्न से संबंधित प्रासंगिक अंश या जानकारी खोजने के लिए दस्तावेजों के एक बड़े संग्रह की खोज करता है।
• जेनरेटर: एक अनुक्रम-से-अनुक्रम मॉडल (उदाहरण के लिए, BART या T5 पर आधारित) जो क्वेरी और पुनर्प्राप्त पाठ को इनपुट के रूप में लेता है और एक सुसंगत, प्रासंगिक रूप से समृद्ध प्रतिक्रिया उत्पन्न करता है।

रिट्रीवर प्रासंगिक दस्तावेज़ ढूंढता है, और जनरेटर उनका उपयोग अधिक सटीक और सूचनात्मक प्रतिक्रियाएँ बनाने के लिए करता है। यह संयोजन आरएजी मॉडल को बाहरी ज्ञान का प्रभावी ढंग से लाभ उठाने, उत्पन्न पाठ की गुणवत्ता और प्रासंगिकता में सुधार करने की अनुमति देता है।

LlamaIndex RAG को कैसे कार्यान्वित करता है?

LlamaIndex का उपयोग करके RAG प्रणाली लागू करने के लिए, इन सामान्य चरणों का पालन करें:

डेटा अंतर्ग्रहण:

• SimpleDirectoryReader जैसे दस्तावेज़ लोडर का उपयोग करके अपने दस्तावेज़ों को LlamaIndex.ts में लोड करें, जो PDF, API, या SQL डेटाबेस जैसे विभिन्न स्रोतों से डेटा आयात करने में मदद करता है।
• सेंटेंसस्प्लिटर का उपयोग करके बड़े दस्तावेज़ों को छोटे, प्रबंधनीय टुकड़ों में तोड़ें।

सूचकांक निर्माण:

• वेक्टरस्टोरइंडेक्स का उपयोग करके इन दस्तावेज़ खंडों का एक वेक्टर इंडेक्स बनाएं, जो एम्बेडिंग के आधार पर कुशल समानता खोज की अनुमति देता है।
• वैकल्पिक रूप से, जटिल डेटासेट के लिए, पदानुक्रमित रूप से संरचित डेटा को प्रबंधित करने और उपयोगकर्ता प्रश्नों के आधार पर प्रासंगिक अनुभागों को पुनर्प्राप्त करने के लिए पुनरावर्ती पुनर्प्राप्ति तकनीकों का उपयोग करें।

क्वेरी इंजन सेटअप:

• समानताTopK जैसे मापदंडों के साथ asQueryEngine का उपयोग करके वेक्टर इंडेक्स को एक क्वेरी इंजन में परिवर्तित करें ताकि यह परिभाषित किया जा सके कि कितने शीर्ष दस्तावेज़ पुनर्प्राप्त किए जाने चाहिए।
• अधिक उन्नत सेटअप के लिए, एक मल्टी-एजेंट सिस्टम बनाएं जहां प्रत्येक एजेंट विशिष्ट दस्तावेज़ों के लिए ज़िम्मेदार है, और एक शीर्ष-स्तरीय एजेंट समग्र पुनर्प्राप्ति प्रक्रिया का समन्वय करता है।

पुनर्प्राप्ति और सृजन:

• एक उद्देश्य फ़ंक्शन को परिभाषित करके आरएजी पाइपलाइन को कार्यान्वित करें जो उपयोगकर्ता प्रश्नों के आधार पर प्रासंगिक दस्तावेज़ खंड पुनर्प्राप्त करता है।
• CohereRerank जैसे टूल का उपयोग करके पुनर्प्राप्त दस्तावेज़ों को फिर से रैंक करने जैसे वैकल्पिक पोस्ट-प्रोसेसिंग चरणों के साथ, वास्तविक पुनर्प्राप्ति और क्वेरी प्रोसेसिंग करने के लिए RetrieverQueryEngine का उपयोग करें।

एक व्यावहारिक उदाहरण के लिए, हमने Azure OpenAI का उपयोग करके संपूर्ण RAG कार्यान्वयन को प्रदर्शित करने के लिए एक नमूना एप्लिकेशन प्रदान किया है।

व्यावहारिक आरएजी नमूना अनुप्रयोग

अब हम LlamaIndex.ts (LlamaIndex का टाइपस्क्रिप्ट कार्यान्वयन) और Azure OpenAI का उपयोग करके एक RAG एप्लिकेशन बनाने पर ध्यान केंद्रित करेंगे, और इसे Azure कंटेनर ऐप्स पर सर्वर रहित वेब ऐप्स के रूप में तैनात करेंगे।

नमूना चलाने के लिए आवश्यकताएँ

• Azure डेवलपर CLI (azd): बैकएंड, फ्रंटएंड और डेटाबेस सहित आपके संपूर्ण ऐप को आसानी से तैनात करने के लिए एक कमांड-लाइन टूल।
• Azure खाता: एप्लिकेशन को तैनात करने के लिए आपको एक Azure खाते की आवश्यकता होगी। आरंभ करने के लिए कुछ क्रेडिट के साथ एक निःशुल्क Azure खाता प्राप्त करें।

आपको आरंभिक प्रोजेक्ट GitHub पर मिलेगा। हम आपको इस टेम्पलेट को फोर्क करने की सलाह देते हैं ताकि जरूरत पड़ने पर आप इसे स्वतंत्र रूप से संपादित कर सकें:

उच्च स्तरीय वास्तुकला

प्रारंभिक प्रोजेक्ट एप्लिकेशन निम्नलिखित आर्किटेक्चर के आधार पर बनाया गया है:

• Azure OpenAI: AI प्रदाता जो उपयोगकर्ता के प्रश्नों को संसाधित करता है।
• LlamaIndex.ts: वह ढांचा जो सामग्री (पीडीएफ) को ग्रहण करने, बदलने और वेक्टराइज़ करने और एक खोज सूचकांक बनाने में मदद करता है।
• Azure कंटेनर ऐप्स: कंटेनर वातावरण जहां सर्वर रहित एप्लिकेशन होस्ट किया जाता है।
• Azure प्रबंधित पहचान: शीर्ष स्तर की सुरक्षा सुनिश्चित करता है और क्रेडेंशियल और एपीआई कुंजियों को संभालने की आवश्यकता को समाप्त करता है।

कौन से संसाधन तैनात किए गए हैं, इसके बारे में अधिक जानकारी के लिए, हमारे सभी नमूनों में उपलब्ध इन्फ्रा फ़ोल्डर की जांच करें।

उदाहरण उपयोगकर्ता वर्कफ़्लोज़

नमूना एप्लिकेशन में दो वर्कफ़्लो के लिए तर्क शामिल हैं:

1. डेटा अंतर्ग्रहण: डेटा प्राप्त किया जाता है, वेक्टरकृत किया जाता है, और खोज अनुक्रमणिका बनाई जाती है। यदि आप पीडीएफ़ या वर्ड फ़ाइलों जैसी और फ़ाइलें जोड़ना चाहते हैं, तो आपको उन्हें यहीं जोड़ना चाहिए।
   

     npm run generate
   

2. प्रॉम्प्ट अनुरोध प्रस्तुत करना: ऐप उपयोगकर्ता के संकेत प्राप्त करता है, उन्हें Azure OpenAI पर भेजता है, और एक रिट्रीवर के रूप में वेक्टर इंडेक्स का उपयोग करके इन संकेतों को बढ़ाता है।

नमूना चलाना

नमूना चलाने से पहले, सुनिश्चित करें कि आपने आवश्यक Azure संसाधनों का प्रावधान किया है।

GitHub कोडस्पेस में GitHub टेम्पलेट चलाने के लिए, बस
पर क्लिक करें

अपने कोडस्पेस उदाहरण में, अपने टर्मिनल से अपने Azure खाते में साइन इन करें:

azd auth login

एकल आदेश का उपयोग करके नमूना एप्लिकेशन को Azure में प्रावधान, पैकेज और तैनात करें:

azd up

एप्लिकेशन को स्थानीय रूप से चलाने और आज़माने के लिए, एनपीएम निर्भरता स्थापित करें और ऐप चलाएं:

npm install
npm run dev

ऐप आपके कोडस्पेस इंस्टेंस में पोर्ट 3000 पर या आपके ब्राउज़र में http://localhost:3000 पर चलेगा।

निष्कर्ष

इस गाइड ने दिखाया कि Microsoft Azure पर तैनात LlamaIndex.ts और Azure OpenAI का उपयोग करके सर्वर रहित RAG (रिट्रीवल-ऑगमेंटेड जेनरेशन) एप्लिकेशन कैसे बनाया जाए। इस गाइड का पालन करके, आप शक्तिशाली AI एप्लिकेशन बनाने के लिए Azure के बुनियादी ढांचे और LlamaIndex की क्षमताओं का लाभ उठा सकते हैं जो आपके डेटा के आधार पर प्रासंगिक रूप से समृद्ध प्रतिक्रियाएं प्रदान करते हैं।

हम यह देखने के लिए उत्साहित हैं कि आप इस आरंभिक एप्लिकेशन के साथ क्या बनाते हैं। नवीनतम अपडेट और सुविधाएँ प्राप्त करने के लिए बेझिझक इसे फोर्क करें और GitHub रिपॉजिटरी को लाइक करें।