1:16:01
Word2vec Complete Tutorial | CBOW and Skip-gram | Game of Thrones Word2vec
CampusX
Overview
यह वीडियो Word2vec, एक शक्तिशाली वर्ड एंबेडिंग तकनीक का एक विस्तृत परिचय प्रदान करता है। यह बताता है कि Word2vec क्या है, यह कैसे काम करता है, और यह पिछले टेक्स्ट रिप्रेजेंटेशन विधियों से कैसे बेहतर है। वीडियो में CBOW और Skip-gram आर्किटेक्चर की आंतरिक कार्यप्रणाली को समझाया गया है, और फिर गेम ऑफ थ्रोन्स के स्क्रिप्ट डेटा पर एक प्री-ट्रेन और कस्टम-ट्रेन किए गए Word2vec मॉडल का प्रदर्शन किया गया है। अंत में, यह सीखने वालों को अपने स्वयं के डेटासेट पर Word2vec लागू करने के लिए प्रोत्साहित करता है।
How was this?
Save this permanently with flashcards, quizzes, and AI chat
Chapters
- Word Embeddings शब्दों को रियल-वैल्यूड वेक्टर में बदलने की एक तकनीक है।
- ये वेक्टर शब्दों के सिमेंटिक अर्थ को कैप्चर करते हैं, जिससे समान अर्थ वाले शब्द वेक्टर स्पेस में करीब होते हैं।
- Word Embeddings को दो मुख्य प्रकारों में वर्गीकृत किया गया है: फ्रीक्वेंसी-आधारित (जैसे Bag-of-Words, TF-IDF) और प्रेडिक्शन-आधारित (जैसे Word2vec)।
यह समझना महत्वपूर्ण है कि शब्दों को संख्यात्मक रूप से कैसे दर्शाया जाता है ताकि मशीनें उन्हें समझ सकें और उन पर प्रक्रिया कर सकें।
उदाहरण के लिए, 'किंग' और 'क्वीन' जैसे शब्दों को वेक्टर में बदलने से उनके बीच के सिमेंटिक संबंध को समझने में मदद मिलती है।
- Word2vec एक प्रेडिक्शन-आधारित वर्ड एंबेडिंग तकनीक है जिसे Google द्वारा 2015 में विकसित किया गया था।
- यह पिछले तरीकों की तुलना में शब्दों के सिमेंटिक अर्थ को बेहतर ढंग से कैप्चर करता है।
- Word2vec कम-आयामी (low-dimensional) और सघन (dense) वेक्टर उत्पन्न करता है, जिससे कम्प्यूटेशनल दक्षता बढ़ती है और ओवरफिटिंग कम होती है।
Word2vec की दक्षता और सिमेंटिक समझ इसे प्राकृतिक भाषा प्रसंस्करण (NLP) कार्यों के लिए एक महत्वपूर्ण उपकरण बनाती है।
Word2vec 'हैप्पी' और 'जॉयफुल' जैसे समानार्थक शब्दों के बीच संबंध को पहचान सकता है, जो Bag-of-Words जैसे तरीके नहीं कर पाते।
- एक प्री-ट्रेन किए गए Word2vec मॉडल (Google News डेटासेट पर प्रशिक्षित) का उपयोग करके शब्दों के वेक्टर प्रतिनिधित्व को प्रदर्शित किया गया।
- मॉडल शब्दों के बीच समानता (similarity) की गणना कर सकता है और सबसे समान शब्दों को ढूंढ सकता है।
- वेक्टर अंकगणित (vector arithmetic) का प्रदर्शन किया गया, जैसे 'किंग' - 'मैन' + 'वुमन' = 'क्वीन' जैसे संबंध खोजना।
यह डेमो दिखाता है कि Word2vec वास्तविक दुनिया के डेटा पर कैसे काम करता है और शब्दों के बीच जटिल संबंधों को कैसे उजागर कर सकता है।
उदाहरण के लिए, 'मैन' और 'वुमन' के बीच के संबंध का उपयोग करके 'किंग' से 'मैन' घटाकर 'वुमन' जोड़ने पर 'क्वीन' के करीब का वेक्टर प्राप्त होता है।
- Word2vec का मूल सिद्धांत यह है कि समान संदर्भ (context) में उपयोग किए जाने वाले शब्द समान अर्थ साझा करते हैं।
- यह मॉडल शब्दों के लिए 'फीचर्स' (जैसे लिंग, धन, शक्ति) बनाता है और इन फीचर्स के आधार पर वेक्टर असाइन करता है।
- वास्तविक दुनिया में, ये फीचर्स स्वचालित रूप से न्यूरल नेटवर्क द्वारा सीखे जाते हैं, मैन्युअल रूप से परिभाषित नहीं किए जाते।
यह अंतर्ज्ञान समझने में मदद करता है कि Word2vec शब्दों के अर्थ को उनके उपयोग के संदर्भ से कैसे सीखता है।
यदि 'फुटबॉल प्लेयर' और 'हॉकी प्लेयर' जैसे वाक्यांशों को देखा जाए, तो Word2vec सीखता है कि 'फुटबॉल' और 'हॉकी' समान प्रकार के खेल हैं।
- CBOW (Continuous Bag-of-Words) मॉडल आसपास के संदर्भ शब्दों से लक्ष्य शब्द की भविष्यवाणी करता है।
- Skip-gram मॉडल लक्ष्य शब्द से आसपास के संदर्भ शब्दों की भविष्यवाणी करता है।
- दोनों आर्किटेक्चर न्यूरल नेटवर्क का उपयोग करते हैं, और उनके बीच का अंतर भविष्यवाणी के लक्ष्य में है, जिससे वे वेक्टर प्रतिनिधित्व उत्पन्न करते हैं।
इन दो आर्किटेक्चर को समझने से यह स्पष्ट होता है कि Word2vec संख्यात्मक वेक्टर कैसे उत्पन्न करता है।
CBOW के लिए, इनपुट संदर्भ शब्द होते हैं और आउटपुट लक्ष्य शब्द होता है; Skip-gram के लिए, इनपुट लक्ष्य शब्द होता है और आउटपुट संदर्भ शब्द होते हैं।
- गेम ऑफ थ्रोन्स के स्क्रिप्ट डेटा का उपयोग करके एक कस्टम Word2vec मॉडल को प्रशिक्षित करने की प्रक्रिया को प्रदर्शित किया गया।
- इसमें डेटा को प्री-प्रोसेस करना, एक मॉडल कॉन्फ़िगर करना (जैसे विंडो साइज, वेक्टर डायमेंशन), और मॉडल को प्रशिक्षित करना शामिल है।
- प्रशिक्षित मॉडल का उपयोग समान शब्दों को खोजने, वेक्टर समानता की गणना करने और अजीब (odd one out) शब्दों की पहचान करने के लिए किया जा सकता है।
यह व्यावहारिक प्रदर्शन दिखाता है कि आप अपने स्वयं के विशिष्ट डेटा पर Word2vec को कैसे लागू कर सकते हैं।
गेम ऑफ थ्रोन्स के पात्रों (जैसे 'आर्या', 'सांसा', 'जॉन') के बीच संबंधों का विश्लेषण करने के लिए प्रशिक्षित मॉडल का उपयोग किया गया।
- उच्च-आयामी वर्ड वैक्टर को 2D या 3D स्पेस में विज़ुअलाइज़ करने के लिए PCA (Principal Component Analysis) जैसी तकनीकों का उपयोग किया गया।
- विज़ुअलाइज़ेशन समान शब्दों को क्लस्टर के रूप में दिखाता है, जो उनके सिमेंटिक संबंधों की पुष्टि करता है।
- शिक्षार्थियों को अपने पसंदीदा टेक्स्ट डेटासेट पर Word2vec लागू करने और प्रयोग करने का असाइनमेंट दिया गया।
विज़ुअलाइज़ेशन Word2vec द्वारा सीखी गई सिमेंटिक संरचना की एक सहज समझ प्रदान करता है, और असाइनमेंट व्यावहारिक अनुभव प्रदान करता है।
गेम ऑफ थ्रोन्स के शब्दों को 2D स्पेस में प्लॉट करने पर 'सर' और 'लेडी' जैसे शब्द एक साथ क्लस्टर होते दिखाई दिए।
Key takeaways
- Word2vec शब्दों को वेक्टर में बदलने की एक शक्तिशाली तकनीक है जो उनके सिमेंटिक अर्थ को कैप्चर करती है।
- यह पिछले तरीकों की तुलना में कम-आयामी, सघन वेक्टर उत्पन्न करता है, जिससे कम्प्यूटेशनल दक्षता बढ़ती है।
- CBOW और Skip-gram Word2vec के दो मुख्य आर्किटेक्चर हैं, जो संदर्भ से शब्दों की भविष्यवाणी करने के विभिन्न तरीकों का उपयोग करते हैं।
- Word2vec का मूल सिद्धांत यह है कि समान संदर्भ में उपयोग किए जाने वाले शब्द समान अर्थ साझा करते हैं।
- आप प्री-ट्रेन किए गए मॉडल का उपयोग कर सकते हैं या अपने स्वयं के डेटा पर कस्टम मॉडल को प्रशिक्षित कर सकते हैं।
- Word2vec वेक्टर अंकगणित और समानता गणना जैसे कार्यों के माध्यम से शब्दों के बीच जटिल संबंधों को उजागर कर सकता है।
- PCA जैसी तकनीकों का उपयोग करके Word2vec वैक्टर को विज़ुअलाइज़ किया जा सकता है, जिससे सिमेंटिक संरचना की समझ बढ़ती है।
Key terms
Word EmbeddingsWord2vecVector RepresentationSemantic MeaningBag-of-Words (BoW)TF-IDFCBOW (Continuous Bag-of-Words)Skip-gramNeural NetworkContext WordsTarget WordVector ArithmeticCosine SimilarityPre-trained ModelLow-dimensional VectorsDense VectorsPCA (Principal Component Analysis)
Test your understanding
- Word Embeddings क्या हैं और वे प्राकृतिक भाषा प्रसंस्करण (NLP) में क्यों महत्वपूर्ण हैं?
- Word2vec पिछले टेक्स्ट रिप्रेजेंटेशन तरीकों (जैसे Bag-of-Words) से कैसे भिन्न है और इसके क्या फायदे हैं?
- CBOW और Skip-gram आर्किटेक्चर के बीच मुख्य अंतर क्या हैं और वे Word2vec वेक्टर कैसे उत्पन्न करते हैं?
- Word2vec का मूल सिद्धांत क्या है जो इसे शब्दों के सिमेंटिक अर्थ को समझने में सक्षम बनाता है?
- आप अपने स्वयं के टेक्स्ट डेटा पर Word2vec मॉडल को कैसे प्रशिक्षित कर सकते हैं और इसके परिणामों का विश्लेषण कैसे कर सकते हैं?