ऐसे कई अद्भुत उपकरण हैं जो जेनरेटिव एआई एप्लिकेशन बनाने में मदद करते हैं। लेकिन किसी नए टूल से शुरुआत करने में सीखने और अभ्यास करने में समय लगता है।

इस कारण से, मैंने जेनेरिक एआई अनुप्रयोगों के निर्माण के लिए लोकप्रिय ओपन सोर्स फ्रेमवर्क के उदाहरणों के साथ एक रिपॉजिटरी बनाई।

उदाहरण यह भी दिखाते हैं कि अमेज़ॅन बेडरॉक के साथ इन फ्रेमवर्क का उपयोग कैसे करें।

आप रिपॉजिटरी यहां पा सकते हैं:

https://github.com/danilop/oss-for-generative-ai

इस लेख के बाकी हिस्से में, मैं अपने द्वारा चुने गए फ्रेमवर्क का वर्णन करूंगा, रिपॉजिटरी में नमूना कोड में क्या है, और इन्हें व्यवहार में कैसे उपयोग किया जा सकता है।

ढाँचे शामिल हैं

• लैंगचेन: भाषा मॉडल द्वारा संचालित अनुप्रयोगों को विकसित करने के लिए एक रूपरेखा, जिसमें निम्नलिखित उदाहरण शामिल हैं:

  • बेसिक मॉडल मंगलाचरण
  • चेनिंग संकेत
  • एक एपीआई बनाना
  • एक ग्राहक बनाना
  • चैटबॉट लागू करना
  • बेडरॉक एजेंटों का उपयोग करना

• LangGraph: बड़े भाषा मॉडल (एलएलएम) के साथ स्टेटफुल, मल्टी-एक्टर अनुप्रयोगों के निर्माण के लिए लैंगचेन का विस्तार

• हेस्टैक: खोज प्रणाली और भाषा मॉडल अनुप्रयोगों के निर्माण के लिए एक संपूर्ण ढांचा

• LlamaIndex: एलएलएम-आधारित अनुप्रयोगों के लिए एक डेटा ढांचा, उदाहरण के साथ:

  • आरएजी (पुनर्प्राप्ति-संवर्धित पीढ़ी)
  • एक एजेंट बनाना

• DSPy: बड़े भाषा मॉडल का उपयोग करके एआई कार्यों को हल करने के लिए एक रूपरेखा

• RAGAS: रिट्रीवल ऑगमेंटेड जेनरेशन (RAG) पाइपलाइनों के मूल्यांकन के लिए एक रूपरेखा

• लाइटएलएलएम: विभिन्न प्रदाताओं से एलएलएम के उपयोग को मानकीकृत करने के लिए एक पुस्तकालय

फ़्रेमवर्क अवलोकन

लैंगचेन

भाषा मॉडल द्वारा संचालित अनुप्रयोगों के विकास के लिए एक रूपरेखा।

प्रमुख विशेषताऐं:

• एलएलएम-संचालित अनुप्रयोगों के लिए मॉड्यूलर घटक
• जटिल एलएलएम वर्कफ़्लो के लिए चेन और एजेंट
• प्रासंगिक इंटरैक्शन के लिए मेमोरी सिस्टम
• विभिन्न डेटा स्रोतों और एपीआई के साथ एकीकरण

प्राथमिक उपयोग के मामले:

• संवादात्मक एआई सिस्टम का निर्माण
• डोमेन-विशिष्ट प्रश्न-उत्तर प्रणाली बनाना
• एआई-संचालित स्वचालन उपकरण विकसित करना

लैंगग्राफ

स्टेटफुल, मल्टी-एक्टर के निर्माण के लिए लैंगचेन का विस्तार। एलएलएम के साथ आवेदन

प्रमुख विशेषताऐं:

• ग्राफ़-आधारित वर्कफ़्लो प्रबंधन
• जटिल एजेंट इंटरैक्शन के लिए राज्य प्रबंधन
• मल्टी-एजेंट सिस्टम को डिजाइन और कार्यान्वित करने के लिए उपकरण
• चक्रीय वर्कफ़्लो और फीडबैक लूप

प्राथमिक उपयोग के मामले:

• सहयोगी एआई एजेंट सिस्टम बनाना
• जटिल, स्टेटफुल एआई वर्कफ़्लोज़ को लागू करना
• एआई-संचालित सिमुलेशन और गेम विकसित करना

सूखी घास का ढेर

उत्पादन के लिए तैयार एलएलएम अनुप्रयोगों के निर्माण के लिए एक ओपन-सोर्स ढांचा।

प्रमुख विशेषताऐं:

• लचीली पाइपलाइनों के साथ कंपोजेबल एआई सिस्टम
• मल्टी-मोडल एआई समर्थन (पाठ, छवि, ऑडियो)
• क्रमबद्ध पाइपलाइनों और निगरानी के साथ उत्पादन के लिए तैयार

प्राथमिक उपयोग के मामले:

• आरएजी पाइपलाइनों और खोज प्रणालियों का निर्माण
• संवादात्मक एआई और चैटबॉट विकसित करना
• सामग्री निर्माण और सारांशीकरण
• जटिल वर्कफ़्लो के साथ एजेंटिक पाइपलाइन बनाना

लामाइंडेक्स

एलएलएम-संचालित अनुप्रयोगों के निर्माण के लिए एक डेटा ढांचा।

प्रमुख विशेषताऐं:

• उन्नत डेटा अंतर्ग्रहण और अनुक्रमण
• क्वेरी प्रसंस्करण और प्रतिक्रिया संश्लेषण
• विभिन्न डेटा कनेक्टर्स के लिए समर्थन
• अनुकूलन योग्य पुनर्प्राप्ति और रैंकिंग एल्गोरिदम

प्राथमिक उपयोग के मामले:

• ज्ञानकोष और प्रश्न-उत्तर प्रणाली बनाना
• बड़े डेटासेट पर सिमेंटिक खोज लागू करना
• संदर्भ-जागरूक एआई सहायकों का निर्माण

डीएसपीवाई

घोषणात्मक और अनुकूलन योग्य भाषा मॉडल कार्यक्रमों के माध्यम से एआई कार्यों को हल करने के लिए एक रूपरेखा।

प्रमुख विशेषताऐं:

• एलएलएम इंटरैक्शन के लिए घोषणात्मक प्रोग्रामिंग मॉडल
• एलएलएम संकेतों और मापदंडों का स्वचालित अनुकूलन
• एलएलएम इनपुट/आउटपुट के लिए हस्ताक्षर-आधारित प्रकार प्रणाली
• स्वचालित त्वरित सुधार के लिए टेलीप्रॉम्प्टर (अब ऑप्टिमाइज़र)

प्राथमिक उपयोग के मामले:

• मजबूत और अनुकूलित एनएलपी पाइपलाइनों का विकास
• स्वयं-सुधारित एआई सिस्टम बनाना
• एलएलएम के साथ जटिल तर्क कार्यों को लागू करना

रागों

रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) सिस्टम के लिए एक मूल्यांकन ढांचा।

प्रमुख विशेषताऐं:

• आरएजी पाइपलाइनों का स्वचालित मूल्यांकन
• एकाधिक मूल्यांकन मेट्रिक्स (वफादारी, संदर्भ प्रासंगिकता, उत्तर प्रासंगिकता)
• विभिन्न प्रकार के प्रश्नों और डेटासेट के लिए समर्थन
• लोकप्रिय आरएजी फ्रेमवर्क के साथ एकीकरण

प्राथमिक उपयोग के मामले:

• बेंचमार्किंग आरएजी सिस्टम प्रदर्शन
• आरएजी पाइपलाइनों में सुधार के लिए क्षेत्रों की पहचान करना
• विभिन्न आरएजी कार्यान्वयन की तुलना करना

लाइटएलएलएम

कई एलएलएम प्रदाताओं के लिए एक एकीकृत इंटरफ़ेस।

प्रमुख विशेषताऐं:

• 100 एलएलएम मॉडल के लिए मानकीकृत एपीआई
• स्वचालित फ़ॉलबैक और लोड संतुलन
• कैशिंग और पुनः प्रयास तंत्र
• उपयोग ट्रैकिंग और बजट प्रबंधन

प्राथमिक उपयोग के मामले:

• मल्टी-एलएलएम अनुप्रयोग विकास को सरल बनाना
• मॉडल अतिरेक और फ़ॉलबैक रणनीतियों को लागू करना
• विभिन्न प्रदाताओं में एलएलएम उपयोग का प्रबंधन करना

निष्कर्ष

अगर आपने इनमें से किसी उपकरण का उपयोग किया है तो मुझे बताएं। क्या मुझसे कुछ छूट गया जिसे आप दूसरों के साथ साझा करना चाहेंगे? भंडार में वापस योगदान करने के लिए स्वतंत्र महसूस करें!