Bahdanau Attention Vs Luong Attention

CampusX

5 chapters6 takeaways11 key terms5 questions

Overview

यह वीडियो मशीन ट्रांसलेशन की समस्या को हल करने के लिए एनकोडर-डिकोडर आर्किटेक्चर और अटेंशन मैकेनिज्म की व्याख्या करता है। यह बताता है कि कैसे पारंपरिक एनकोडर-डिकोडर बड़े वाक्यों के साथ संघर्ष करता है और अटेंशन मैकेनिज्म इस समस्या को कैसे हल करता है। वीडियो दो मुख्य अटेंशन मैकेनिज्म पर गहराई से चर्चा करता है: बाहडनाउ (एडिटिव) अटेंशन और लुंग (मल्टीप्लिकेटिव) अटेंशन, यह समझाते हुए कि वे अलाइनमेंट स्कोर की गणना कैसे करते हैं और ट्रांसफॉर्मर जैसे उन्नत आर्किटेक्चर के लिए आधार कैसे तैयार करते हैं।

How was this?

Save this permanently with flashcards, quizzes, and AI chat

Chapters

मशीन ट्रांसलेशन एक भाषा के वाक्य को दूसरी भाषा में अनुवाद करने की प्रक्रिया है।
एनकोडर-डिकोडर आर्किटेक्चर इनपुट वाक्य को एक कॉन्टेक्स्ट वेक्टर में एनकोड करता है और फिर डिकोडर उस वेक्टर से आउटपुट वाक्य उत्पन्न करता है।
लंबे वाक्यों के लिए, एनकोडर-डिकोडर आर्किटेक्चर एक बॉटलनेक बन जाता है क्योंकि एक एकल कॉन्टेक्स्ट वेक्टर सभी जानकारी को प्रभावी ढंग से कैप्चर नहीं कर पाता है, जिससे अनुवाद की गुणवत्ता कम हो जाती है।

यह समझना महत्वपूर्ण है कि पारंपरिक एनकोडर-डिकोडर मॉडल की सीमाएं क्या हैं ताकि अटेंशन मैकेनिज्म द्वारा प्रदान किए गए समाधानों के महत्व को समझा जा सके।

अंग्रेजी वाक्य 'Turn off the lights' का हिंदी में 'लाइट बंद करो' में अनुवाद करना।

अटेंशन मैकेनिज्म डिकोडर को आउटपुट उत्पन्न करते समय इनपुट वाक्य के प्रासंगिक हिस्सों पर ध्यान केंद्रित करने की अनुमति देता है।
यह एक निश्चित कॉन्टेक्स्ट वेक्टर पर निर्भर रहने के बजाय, डिकोडर के प्रत्येक टाइम स्टेप पर इनपुट के विभिन्न हिस्सों से जानकारी को गतिशील रूप से भारित (weighted) करता है।
अटेंशन स्कोर (अल्फा) यह निर्धारित करते हैं कि डिकोडर के वर्तमान आउटपुट के लिए इनपुट के प्रत्येक शब्द कितने महत्वपूर्ण हैं।

अटेंशन मैकेनिज्म लंबे वाक्यों के अनुवाद में सटीकता में काफी सुधार करता है, जिससे मॉडल अधिक प्रासंगिक इनपुट पर ध्यान केंद्रित कर पाता है।

हिंदी में 'बंद' शब्द का अनुवाद करते समय, अटेंशन मैकेनिज्म अंग्रेजी के 'turn' और 'off' शब्दों पर अधिक ध्यान केंद्रित कर सकता है, न कि पूरे वाक्य पर।

बाहडनाउ अटेंशन अलाइनमेंट स्कोर (अल्फा) की गणना के लिए एक फीड-फॉरवर्ड न्यूरल नेटवर्क का उपयोग करता है।
यह स्कोर डिकोडर के पिछले हिडन स्टेट (s_i-1) और एनकोडर के वर्तमान हिडन स्टेट (h_j) दोनों पर निर्भर करते हैं।
न्यूरल नेटवर्क इनपुट (s_i-1 और h_j का संयोजन) लेता है और स्कोर उत्पन्न करता है, जिन्हें बाद में सॉफ्टमैक्स का उपयोग करके सामान्यीकृत (normalized) किया जाता है।

यह मैकेनिज्म दिखाता है कि कैसे एक न्यूरल नेटवर्क का उपयोग इनपुट और आउटपुट के बीच जटिल संबंधों को सीखने के लिए किया जा सकता है, जो अटेंशन की गणना के लिए एक लचीला तरीका प्रदान करता है।

एक न्यूरल नेटवर्क को डिकोडर के पिछले स्टेट (s_i-1) और एनकोडर के वर्तमान स्टेट (h_j) को इनपुट के रूप में देना ताकि यह गणना की जा सके कि आउटपुट के लिए h_j कितना प्रासंगिक है।

लुंग अटेंशन बाहडनाउ अटेंशन की तुलना में एक सरल दृष्टिकोण अपनाता है, जो अलाइनमेंट स्कोर की गणना के लिए एक फीड-फॉरवर्ड न्यूरल नेटवर्क के बजाय डॉट प्रोडक्ट का उपयोग करता है।
यह डिकोडर के वर्तमान हिडन स्टेट (s_i) का उपयोग करता है, न कि पिछले वाले का, एनकोडर के हिडन स्टेट (h_j) के साथ।
डॉट प्रोडक्ट का उपयोग गणना को तेज करता है और अक्सर बेहतर प्रदर्शन करता है क्योंकि यह सीधे दो वैक्टर की समानता को मापता है।

यह दृष्टिकोण कम्प्यूटेशनल दक्षता में सुधार करता है और अक्सर बेहतर अनुवाद परिणाम देता है, जो दर्शाता है कि सरल तरीके कभी-कभी अधिक प्रभावी हो सकते हैं।

डिकोडर के वर्तमान हिडन स्टेट (s_i) और एनकोडर के हिडन स्टेट (h_j) के बीच डॉट प्रोडक्ट की गणना करके सीधे अलाइनमेंट स्कोर प्राप्त करना।

लुंग अटेंशन में, कॉन्टेक्स्ट वेक्टर (c_i) को डिकोडर के इनपुट के बजाय आउटपुट के साथ जोड़ा (concatenate) जाता है।
यह डिजाइन निर्णय मॉडल को अधिक अपडेटेड जानकारी के साथ काम करने की अनुमति देता है।
डॉट प्रोडक्ट के उपयोग और वर्तमान डिकोडर स्टेट पर निर्भरता के कारण लुंग अटेंशन को मल्टीप्लिकेटिव अटेंशन भी कहा जाता है।

यह आर्किटेक्चरल परिवर्तन मॉडल की प्रतिक्रियाशीलता और सटीकता को बढ़ाता है, यह दर्शाता है कि डेटा प्रवाह में छोटे बदलाव भी प्रदर्शन पर महत्वपूर्ण प्रभाव डाल सकते हैं।

उत्पन्न कॉन्टेक्स्ट वेक्टर (c_i) को डिकोडर के वर्तमान हिडन स्टेट (s_i) के साथ जोड़ना ताकि अंतिम आउटपुट वर्ड उत्पन्न किया जा सके।

Key takeaways

1एनकोडर-डिकोडर मॉडल लंबे वाक्यों को संभालने में सीमित थे क्योंकि वे एक निश्चित आकार के कॉन्टेक्स्ट वेक्टर पर निर्भर करते थे।
2अटेंशन मैकेनिज्म डिकोडर को आउटपुट उत्पन्न करते समय इनपुट के सबसे प्रासंगिक हिस्सों पर ध्यान केंद्रित करने में सक्षम बनाकर इस सीमा को पार करता है।
3बाहडनाउ अटेंशन अलाइनमेंट स्कोर की गणना के लिए एक न्यूरल नेटवर्क का उपयोग करता है, जो डिकोडर के पिछले और एनकोडर के वर्तमान स्टेट्स पर निर्भर करता है।
4लुंग अटेंशन अलाइनमेंट स्कोर की गणना के लिए एक सरल डॉट प्रोडक्ट का उपयोग करता है, जो डिकोडर के वर्तमान और एनकोडर के वर्तमान स्टेट्स पर निर्भर करता है, जिससे यह तेज और अक्सर अधिक प्रभावी होता है।
5लुंग अटेंशन में कॉन्टेक्स्ट वेक्टर को डिकोडर के आउटपुट के साथ जोड़ा जाता है, जो मॉडल को अधिक हालिया जानकारी का उपयोग करने की अनुमति देता है।
6ये अटेंशन मैकेनिज्म ट्रांसफॉर्मर जैसे आधुनिक डीप लर्निंग आर्किटेक्चर के लिए मूलभूत हैं।

Key terms

Machine TranslationEncoder-Decoder ArchitectureContext VectorAttention MechanismAlignment ScoreBahdanau AttentionLuong AttentionAdditive AttentionMultiplicative AttentionHidden StateSoftmax

Test your understanding

1एनकोडर-डिकोडर आर्किटेक्चर लंबे वाक्यों के साथ मशीन ट्रांसलेशन में क्या सीमाएं प्रस्तुत करता है?
2अटेंशन मैकेनिज्म कैसे यह सुनिश्चित करता है कि डिकोडर आउटपुट उत्पन्न करते समय इनपुट के सबसे प्रासंगिक हिस्सों पर ध्यान केंद्रित करे?
3बाहडनाउ अटेंशन और लुंग अटेंशन के बीच अलाइनमेंट स्कोर की गणना के तरीके में मुख्य अंतर क्या हैं?
4लुंग अटेंशन में कॉन्टेक्स्ट वेक्टर को डिकोडर के इनपुट के बजाय आउटपुट के साथ क्यों जोड़ा जाता है, और इसके क्या फायदे हैं?
5यह अटेंशन मैकेनिज्म ट्रांसफॉर्मर आर्किटेक्चर के लिए क्यों महत्वपूर्ण हैं?