एन्ट्रोपिक्स: अनुमान प्रदर्शन को अधिकतम करने के लिए नमूनाकरण तकनीकें

एंट्रोपिक्स रीडमी के अनुसार, एंट्रोपिक्स एक एन्ट्रॉपी-आधारित नमूनाकरण विधि का उपयोग करता है। यह आलेख एन्ट्रापी और वेरेंट्रोपी पर आधारित विशिष्ट नमूनाकरण तकनीकों की व्याख्या करता है।

एन्ट्रॉपी और वैरेंट्रोपी

आइए एन्ट्रॉपी और वेरेंट्रोपी की व्याख्या करके शुरुआत करें, क्योंकि ये नमूनाकरण रणनीति निर्धारित करने में प्रमुख कारक हैं।

एन्ट्रापी

सूचना सिद्धांत में, एन्ट्रापी एक यादृच्छिक चर की अनिश्चितता का एक माप है। एक यादृच्छिक चर X की एन्ट्रापी को निम्नलिखित समीकरण द्वारा परिभाषित किया गया है:

• एक्स: एक असतत यादृच्छिक चर।
• x_i: X की i-वीं संभावित स्थिति।
• p(x_i): स्थिति x_i की संभावना।

जब संभाव्यता वितरण एक समान होता है तो एन्ट्रॉपी अधिकतम होती है। इसके विपरीत, जब एक विशिष्ट स्थिति दूसरों की तुलना में बहुत अधिक होती है, तो एन्ट्रापी कम हो जाती है।

वैरेंट्रोपी

एन्ट्रॉपी से निकटता से संबंधित वैरेंट्रोपी, सूचना सामग्री में परिवर्तनशीलता का प्रतिनिधित्व करती है। सूचना सामग्री I(X), एन्ट्रॉपी H(X), और एक यादृच्छिक चर X के लिए विचरण को ध्यान में रखते हुए, varentropy V E(X) को इस प्रकार परिभाषित किया गया है:

वैरेंट्रोपी तब बड़ी हो जाती है जब संभावनाएं p(x_i) बहुत भिन्न होती हैं। यह तब छोटा हो जाता है जब संभावनाएं एक समान होती हैं - या तो जब वितरण में अधिकतम एन्ट्रापी होती है या जब एक मान की संभावना 1 होती है और अन्य सभी की संभावना 0 होती है।

नमूना लेने के तरीके

अगला, आइए देखें कि एन्ट्रापी और वेरेंट्रोपी मूल्यों के आधार पर नमूनाकरण रणनीतियाँ कैसे बदलती हैं।

1. निम्न एन्ट्रॉपी, निम्न वैरेंट्रोपी → आर्गमैक्स

इस परिदृश्य में, एक विशेष टोकन में दूसरों की तुलना में बहुत अधिक भविष्यवाणी की संभावना होती है। चूँकि अगला टोकन लगभग निश्चित है,

Argmax का उपयोग किया जाता है।

यदि एंट if ent कोड लिंक

2. निम्न एन्ट्रॉपी, उच्च वेरेंट्रोपी → शाखा

ऐसा तब होता है जब कुछ आत्मविश्वास होता है, लेकिन कई व्यवहार्य विकल्प मौजूद होते हैं। इस मामले में,

शाखा रणनीति का उपयोग कई विकल्पों से नमूना लेने और सर्वोत्तम परिणाम का चयन करने के लिए किया जाता है।

elif ent 5.0: temp_adj = 1.2 0.3 * इंटरैक्शन_स्ट्रेंथ शीर्ष_k_adj = अधिकतम(5, int(top_k * (1 0.5 * (1 - समझौता)))) वापसी _नमूना(लॉगिट्स, तापमान=न्यूनतम(1.5, तापमान * temp_adj), टॉप_पी=टॉप_पी, टॉप_के=टॉप_के_एडजे, मिन_पी=मिनट_पी, जेनरेटर=जनरेटर)

if ent कोड लिंक


हालांकि इस रणनीति को "ब्रांच" कहा जाता है, लेकिन वर्तमान कोड नमूना सीमा को समायोजित करने और एकल पथ का चयन करने के लिए प्रतीत होता है। (यदि किसी के पास अधिक जानकारी है, तो आगे के स्पष्टीकरण की सराहना की जाएगी।)



  
  
  3. उच्च एन्ट्रॉपी, निम्न वेरेंट्रोपी → सीओटी या इन्सर्ट पॉज़ टोकन


जब अगले टोकन की भविष्यवाणी संभावनाएं काफी समान होती हैं, यह दर्शाता है कि अगला संदर्भ निश्चित नहीं है, तो अस्पष्टता को हल करने के लिए एक 
स्पष्टीकरण टोकन डाला जाता है।



elif ent > 3.0 और वेंट if ent कोड लिंक



  
  
  4. उच्च एन्ट्रॉपी, उच्च वेरेंट्रोपी → पुनः नमूना


इस मामले में, कई संदर्भ हैं, और अगले टोकन की भविष्यवाणी की संभावनाएं कम हैं। एक 
रीसैंपलिंग रणनीति का उपयोग उच्च तापमान सेटिंग और निचले टॉप-पी के साथ किया जाता है।



elif ent > 5.0 और वेंट > 5.0:
    temp_adj = 2.0 0.5 * attn_vent
    शीर्ष_p_adj = अधिकतम(0.5, शीर्ष_पी - 0.2 * attn_ent)
    वापसी _नमूना(लॉगिट्स, तापमान=अधिकतम(2.0, तापमान * temp_adj), टॉप_पी=टॉप_पी_एडजे, टॉप_के=टॉप_के, न्यूनतम_पी=मिनट_पी, जेनरेटर=जनरेटर)
if ent कोड लिंक



  
  
  मध्यवर्ती मामले


यदि उपरोक्त में से कोई भी शर्त पूरी नहीं होती है, तो 
अनुकूली नमूनाकरण किया जाता है। एकाधिक नमूने लिए जाते हैं, और सर्वोत्तम नमूना स्कोर की गणना एन्ट्रॉपी, वेरेंट्रोपी और ध्यान संबंधी जानकारी के आधार पर की जाती है।



अन्य:
    अनुकूली_नमूना लौटाएं(
        लॉगिट्स,
        मेट्रिक्स,
        जेन_टोकन,
        n_नमूने=5,
        बेस_टेम्प=तापमान,
        बेस_टॉप_पी=टॉप_पी,
        बेस_टॉप_के=टॉप_के,
        जेनरेटर=जनरेटर
    )
if ent कोड लिंक






  
  
  संदर्भ

एंट्रोपिक्स रिपॉजिटरी
एंट्रोपिक्स क्या कर रहा है?