Attention Mechanism in 1 video | Seq2Seq Networks | Encoder Decoder Architecture

Summary

Key Points

• —वीडियो एनकोडर-डिकोडर आर्किटेक्चर की उन समस्याओं पर प्रकाश डालता है जिनके कारण अटेंशन मैकेनिज्म की आवश्यकता पड़ी। 1:05
• —पारंपरिक एनकोडर-डिकोडर आर्किटेक्चर में, एनकोडर पूरे इनपुट वाक्य को एक समरी वेक्टर में संक्षेपित करता है, जिसे डिकोडर आउटपुट वाक्य उत्पन्न करने के लिए उपयोग करता है। 3:07
• —एनकोडर के लिए लंबे वाक्यों (25 से अधिक शब्द) को एक ही बार में याद रखना और उनकी प्रभावी समरी बनाना बहुत मुश्किल होता है, जिससे उस पर अत्यधिक दबाव पड़ता है। 5:44
• —डिकोडर को हर टाइम स्टेप पर पूरे इनपुट वाक्य की आवश्यकता नहीं होती, बल्कि उसे केवल कुछ विशिष्ट शब्दों या वाक्यांशों पर ध्यान केंद्रित करने की आवश्यकता होती है, लेकिन उसे एक स्टैटिक रिप्रेजेंटेशन मिलता है। 7:38
• —मनुष्य बड़े वाक्यों का अनुवाद करते समय पूरे वाक्य को एक साथ याद नहीं रखते, बल्कि वे ऑन-द-गो अनुवाद करते हुए वाक्य के विशिष्ट हिस्सों पर ध्यान केंद्रित करते हैं। 14:47
• —अटेंशन मैकेनिज्म डिकोडर के हर टाइम स्टेप पर डायनामिक रूप से यह जानकारी प्रदान करता है कि एनकोडर का कौन सा टाइम स्टेप या शब्दों का समूह वर्तमान में अनुवाद के लिए सबसे महत्वपूर्ण है। 21:04
• —अटेंशन मैकेनिज्म में, डिकोडर के हर टाइम स्टेप पर एक "कॉन्टेक्स्ट वेक्टर" (CI) पास किया जाता है, जो एनकोडर के सभी हिडन स्टेट्स का वेटेड सम होता है, जहाँ वेट्स (अल्फा) उनकी प्रासंगिकता दर्शाते हैं। 21:04
• —ये अटेंशन वेट्स (अल्फा) एक न्यूरल नेटवर्क द्वारा गणना किए जाते हैं, जो एनकोडर के हिडन स्टेट (Hj) और डिकोडर के पिछले हिडन स्टेट (Si-1) पर निर्भर करते हैं। 28:16
• —अटेंशन मैकेनिज्म को लागू करने से लंबे वाक्यों के अनुवाद की गुणवत्ता में उल्लेखनीय सुधार होता है, जैसा कि ब्लू स्कोर ग्राफ और अटेंशन वेट्स के प्लॉट से स्पष्ट होता है। 37:23
• —मूल शोध पत्र में, एनकोडर में बाई-डायरेक्शनल एलएसटीएम का उपयोग किया गया था ताकि आगे और पीछे दोनों संदर्भों को कैप्चर किया जा सके, जिससे अनुवाद की गुणवत्ता और बेहतर हो सके। 40:46