एआई संदर्भ विंडो: बड़े भाषा मॉडल में अल्पकालिक स्मृति को समझना
संदर्भ विंडो उस पाठ की मात्रा को परिभाषित करती है जिसे एक एआई मॉडल संसाधित कर सकता है।
Photo by Igor Omilaev
पृष्ठभूमि संदर्भ
वर्तमान प्रासंगिकता
मुख्य बातें
- •संदर्भ विंडो: एआई की अल्पकालिक स्मृति
- •टोकन: वर्णों के टुकड़े एआई पढ़ता है
- •बड़ी विंडो: अधिक डेटा, अधिक शक्ति
- •बीच में खो गया: जानकारी पुनर्प्राप्ति मुद्दा
संबंधित अवधारणाएं
मुख्य तथ्य
Context window: Max text AI model can consider
1 token ≈ 0.75 words (English)
Larger context window: More computational resources needed
UPSC परीक्षा के दृष्टिकोण
GS 3: Science and Technology - Developments and their applications and effects in everyday life
GS 2: Governance, Constitution, Polity, Social Justice and International relations - AI ethics and governance
Potential question types: Statement-based MCQs on AI capabilities, analytical questions on the impact of AI on society
दृश्य सामग्री
बहुविकल्पीय प्रश्न (MCQ)
1. बड़े भाषा मॉडल (एलएलएम) में 'संदर्भ विंडो' के संबंध में निम्नलिखित कथनों पर विचार करें: 1. यह उस पाठ की अधिकतम मात्रा को संदर्भित करता है जिस पर एक AI मॉडल प्रतिक्रिया उत्पन्न करते समय एक बार में विचार कर सकता है। 2. संदर्भ विंडो की लंबाई बढ़ाने से हमेशा पाठ के किसी भी भाग से जानकारी पुनर्प्राप्ति की सटीकता में सुधार होता है। 3. 'बीच में खो जाने' की घटना से पता चलता है कि LLM को एक बड़ी संदर्भ विंडो के बीच में दबी जानकारी को खोजने में कठिनाई हो सकती है। उपरोक्त कथनों में से कौन सा/से सही है/हैं?
- A.केवल 1 और 2
- B.केवल 1 और 3
- C.केवल 2 और 3
- D.1, 2 और 3
उत्तर देखें
सही उत्तर: B
कथन 1 सही है क्योंकि यह संदर्भ विंडो को परिभाषित करता है। कथन 3 सही है क्योंकि यह 'बीच में खो जाने' की घटना का वर्णन करता है। कथन 2 गलत है क्योंकि संदर्भ विंडो बढ़ाने से 'बीच में खो जाने' के मुद्दे के कारण बेहतर सटीकता की गारंटी नहीं मिलती है।
2. निम्नलिखित में से कौन सा कथन बड़े भाषा मॉडल (एलएलएम) के संदर्भ में 'टोकन' के कार्य का सबसे अच्छा वर्णन करता है?
- A.वे LLM में डेटा स्टोरेज की मूलभूत इकाइयाँ हैं, जो व्यक्तिगत फ़ाइलों का प्रतिनिधित्व करती हैं।
- B.वे पाठ की सबसे छोटी इकाइयाँ हैं जिन्हें एक LLM संसाधित करता है, जो आमतौर पर शब्दों या शब्दों के भागों का प्रतिनिधित्व करते हैं।
- C.वे अवधारणाओं के गणितीय निरूपण हैं जिनका उपयोग सिमेंटिक विश्लेषण के लिए किया जाता है।
- D.वे पैरामीटर हैं जो प्रशिक्षण के दौरान LLM की सीखने की दर को नियंत्रित करते हैं।
उत्तर देखें
सही उत्तर: B
टोकन पाठ के मूल निर्माण खंड हैं जिन्हें LLM संसाधित करते हैं। वे पूरे शब्द, शब्दों के भाग या यहां तक कि व्यक्तिगत वर्ण भी हो सकते हैं, यह इस बात पर निर्भर करता है कि कौन सी टोकननाइजेशन विधि का उपयोग किया जाता है।
3. अभिकथन (A): बड़े भाषा मॉडल (LLM) में संदर्भ विंडो का आकार बढ़ाने से हमेशा जटिल तर्क कार्यों में बेहतर प्रदर्शन होता है। कारण (R): एक बड़ी संदर्भ विंडो LLM को अधिक जानकारी पर विचार करने की अनुमति देती है, लेकिन यह कम्प्यूटेशनल लागत को भी बढ़ाती है और 'बीच में खो जाने' की घटना को जन्म दे सकती है। उपरोक्त कथनों के संदर्भ में, निम्नलिखित में से कौन सा सही है?
- A.A और R दोनों सत्य हैं, और R, A की सही व्याख्या है।
- B.A और R दोनों सत्य हैं, लेकिन R, A की सही व्याख्या नहीं है।
- C.A सत्य है, लेकिन R असत्य है।
- D.A असत्य है, लेकिन R सत्य है।
उत्तर देखें
सही उत्तर: D
अभिकथन A गलत है क्योंकि संदर्भ विंडो का आकार बढ़ाने से 'बीच में खो जाने' की घटना और बढ़ी हुई कम्प्यूटेशनल लागत के कारण हमेशा बेहतर प्रदर्शन की गारंटी नहीं मिलती है। कारण R सत्य है क्योंकि यह बड़ी संदर्भ विंडो से जुड़े व्यापार-नापों का सटीक वर्णन करता है।
संबंधित लेख
एआई कयामत के बुलबुले को कम करने का समय
भारतीय कंपनियाँ एलएलएम को कैसे प्रशिक्षित कर रही हैं: चुनौतियाँ, समर्थन और वास्तुशिल्प नवाचार
कृत्रिम बुद्धिमत्ता शिखर सम्मेलन के बाद, एक प्रश्न: क्या भारत ने रचनाकारों के युग में उपभोक्ता बनना चुना है?
इसरो के एनवीएस-02 लॉन्च में देरी के पीछे पावर सर्किट विफलता की जांच के लिए पैनल
एआई बूम की सीमाएं और दायरा: विश्लेषण