17:24
What is RAG ? | Completely Explained in 15 Minutes
Apna College
Overview
यह वीडियो रिट्रीवल ऑगमेंटेड जनरेशन (RAG) की एक विस्तृत व्याख्या प्रदान करता है, जो AI का एक व्यावहारिक अनुप्रयोग है। यह बताता है कि RAG कैसे काम करता है, यह क्यों लोकप्रिय है, और यह पारंपरिक LLMs की तुलना में कैसे बेहतर है। वीडियो RAG पाइपलाइन के दो मुख्य घटकों - इंजेशन और रिट्रीवल - और विभिन्न RAG आर्किटेक्चर जैसे स्टैंडर्ड, हाइब्रिड, मेमोरी के साथ, ग्राफ, एजेंटिक, मल्टीमॉडल और सेल्फ-रिफ्लेक्टिव RAG पर चर्चा करता है। यह RAG के लाभों पर भी प्रकाश डालता है, जिसमें हेलुसिनेशन को कम करना, ज्ञान को अद्यतन रखना, लागत-प्रभावशीलता और डेटा गोपनीयता शामिल है।
How was this?
Save this permanently with flashcards, quizzes, and AI chat
Chapters
- RAG (रिट्रीवल ऑगमेंटेड जनरेशन) AI का एक लोकप्रिय और व्यावहारिक अनुप्रयोग है जो वास्तविक दुनिया में व्यापक रूप से उपयोग किया जाता है।
- यह कस्टमर सपोर्ट, मेडिकल, लीगल और फाइनेंस जैसे विभिन्न डोमेन में AI की क्षमताओं को बढ़ाता है।
- RAG LLMs को वास्तविक समय और अद्यतन डेटाबेस तक पहुंचने की अनुमति देता है, जिससे अधिक सटीक और प्रासंगिक उत्तर मिलते हैं।
- यह पारंपरिक LLMs की तुलना में बेहतर प्रदर्शन करता है क्योंकि यह 'ओपन बुक एग्जाम' की तरह काम करता है, जहां मॉडल जानकारी को सत्यापित कर सकता है।
RAG को समझना महत्वपूर्ण है क्योंकि यह AI मॉडल की सटीकता और प्रासंगिकता में सुधार करता है, जिससे वे वास्तविक दुनिया के अनुप्रयोगों के लिए अधिक उपयोगी हो जाते हैं।
ब्लड टेस्ट रिपोर्ट के लिए AI-जनित सारांश और व्यक्तिगत सुझाव, जो सामान्य LLMs के विपरीत, विशिष्ट व्यक्तिगत डेटा तक पहुंच के कारण संभव हुआ।
- पारंपरिक LLMs (जैसे GPT, Gemini) अपने प्रशिक्षण डेटा के आधार पर उत्तर उत्पन्न करते हैं, जिसमें एक नॉलेज कट-ऑफ डेट होती है।
- RAG मॉडल को वास्तविक समय में बाहरी डेटाबेस तक पहुंचने की अनुमति देता है, जिससे वे नवीनतम जानकारी का उपयोग कर सकते हैं।
- छात्र के उदाहरण का उपयोग करके: एक छात्र जो परीक्षा के लिए सब कुछ याद करता है (LLM) बनाम एक छात्र जो परीक्षा के दौरान किताबों का उपयोग कर सकता है (RAG)।
- RAG मॉडल को अधिक 'कॉन्टेक्स्ट-अवेयर' बनाता है, जिससे वे विशिष्ट उपयोगकर्ता डेटा या स्थिति के आधार पर अधिक प्रासंगिक उत्तर दे पाते हैं।
यह तुलना स्पष्ट करती है कि RAG कैसे LLMs की सीमाओं को पार करता है, विशेष रूप से जब नवीनतम या विशिष्ट जानकारी की आवश्यकता होती है।
एक फ्लाइट डिले के बारे में पूछना: सामान्य LLM एक सामान्य उत्तर देगा, जबकि RAG-आधारित चैटबॉट (लॉग-इन उपयोगकर्ता के लिए) विशिष्ट फ्लाइट विवरणों के आधार पर सटीक कारण बता सकता है।
- हेलुसिनेशन को कम करता है: RAG मॉडल को वास्तविक डेटा पर आधारित उत्तर देने के लिए ग्राउंड करता है, जिससे गलत जानकारी उत्पन्न होने की संभावना कम हो जाती है।
- ज्ञान को अद्यतन रखता है: यह मॉडल को नॉलेज कट-ऑफ डेट से परे नवीनतम जानकारी तक पहुंचने की अनुमति देता है।
- लागत-प्रभावी: मॉडल को फिर से प्रशिक्षित या फाइन-ट्यून करने की तुलना में डेटा तक पहुंच प्रदान करना सस्ता है।
- डेटा गोपनीयता बनाए रखता है: एंटरप्राइज़ संवेदनशील डेटा को सीधे मॉडल को प्रशिक्षित किए बिना एक्सेस कर सकते हैं, क्योंकि RAG केवल प्रासंगिक डेटा चंक्स को एक्सेस करता है।
ये लाभ बताते हैं कि RAG क्यों व्यवसायों और डेवलपर्स के लिए एक आकर्षक तकनीक है, जो सटीकता, लागत और सुरक्षा में सुधार करती है।
एक बड़ी कंपनी अपने आंतरिक डेटा को फाइन-ट्यूनिंग के लिए उजागर किए बिना RAG का उपयोग करके अपने कर्मचारियों को सहायता प्रदान कर सकती है।
- इंजेशन पाइपलाइन: डेटा को तैयार करने की प्रक्रिया, जिसमें डेटा निकालना, उसे छोटे 'चंक्स' में विभाजित करना, और टेक्स्ट को संख्यात्मक 'एंबेडिंग्स' (वेक्टर) में बदलना शामिल है।
- वेक्टर डेटाबेस: ये एंबेडिंग्स को स्टोर करते हैं और सिमेंटिक (अर्थ-आधारित) खोज की अनुमति देते हैं, जो कीवर्ड-आधारित खोज से बेहतर है।
- रिट्रीवल पाइपलाइन: उपयोगकर्ता की क्वेरी को एंबेडिंग में बदलना, वेक्टर डेटाबेस में प्रासंगिक चंक्स (कॉन्टेक्स्ट) खोजना, और इस कॉन्टेक्स्ट को एलएलएम के लिए तैयार करना।
- ऑग्मेंटेशन और जनरेशन: उपयोगकर्ता की मूल क्वेरी और प्राप्त कॉन्टेक्स्ट को मिलाकर एक विस्तृत प्रॉम्प्ट बनाना, जिसे फिर एलएलएम उत्तर उत्पन्न करने के लिए उपयोग करता है।
पाइपलाइन को समझना यह जानने के लिए आवश्यक है कि RAG सिस्टम डेटा को कैसे संसाधित और उपयोग करता है ताकि वह सटीक और प्रासंगिक प्रतिक्रियाएँ उत्पन्न कर सके।
मेडिकल रिकॉर्ड्स के लिए सिमेंटिक सर्च: यदि डेटाबेस में 'कार्डियक अरेस्ट' का दस्तावेज़ है और उपयोगकर्ता 'हार्ट अटैक के लक्षण' पूछता है, तो वेक्टर डेटाबेस प्रासंगिक परिणाम लौटाएगा, भले ही कीवर्ड मेल न खाएं।
- स्टैंडर्ड RAG: बुनियादी आर्किटेक्चर, FAQ और सरल चैटबॉट्स के लिए उपयुक्त।
- हाइब्रिड RAG: वेक्टर और कीवर्ड खोज को जोड़ता है, एंटरप्राइज़ और ई-कॉमर्स सर्च के लिए बेहतर।
- मेमोरी के साथ RAG: बातचीत के इतिहास को बनाए रखता है, सपोर्ट असिस्टेंट और चैटबॉट्स के लिए उपयोगी।
- ग्राफ RAG: डेटा के बीच संबंधों को बनाए रखने के लिए नॉलेज ग्राफ का उपयोग करता है, फ्रॉड डिटेक्शन और लीगल डोमेन के लिए उपयुक्त।
- एजेंटिक RAG: जटिल क्वेरी को हल करने के लिए कई रिट्रीवल और टूल्स का उपयोग करता है, स्वायत्तता की आवश्यकता वाले कार्यों के लिए।
- मल्टीमॉडल RAG: टेक्स्ट, इमेज, वीडियो और ऑडियो जैसे विभिन्न डेटा प्रकारों को संसाधित करता है।
- सेल्फ-रिफ्लेक्टिव RAG: उत्तर उत्पन्न करने से पहले ड्राफ्ट प्रतिक्रिया का विश्लेषण और सुधार करता है, रिसर्च-हैवी उद्योगों के लिए।
विभिन्न RAG आर्किटेक्चर की जानकारी डेवलपर्स को विशिष्ट आवश्यकताओं और उपयोग के मामलों के लिए सबसे उपयुक्त समाधान चुनने में मदद करती है।
एक एजेंटिक RAG सिस्टम '2025 में सोने की कीमत में वृद्धि और अन्य धातुओं से तुलना' जैसी जटिल क्वेरी को कई चरणों में तोड़कर हल कर सकता है।
Key takeaways
- RAG AI मॉडल की सटीकता और प्रासंगिकता को बढ़ाने के लिए बाहरी, वास्तविक समय डेटा का लाभ उठाता है।
- यह LLMs की 'नॉलेज कट-ऑफ' सीमा को दूर करता है और 'हेलुसिनेशन' को कम करता है।
- RAG पाइपलाइन में डेटा को तैयार करना (इंजेशन) और क्वेरी के लिए प्रासंगिक जानकारी खोजना (रिट्रीवल) शामिल है।
- वेक्टर डेटाबेस सिमेंटिक खोज के माध्यम से अर्थ-आधारित जानकारी पुनर्प्राप्ति को सक्षम करते हैं।
- विभिन्न RAG आर्किटेक्चर विशिष्ट अनुप्रयोगों के लिए डिज़ाइन किए गए हैं, जैसे हाइब्रिड RAG सटीक मिलान के लिए और ग्राफ RAG जटिल संबंधों के लिए।
- RAG एंटरप्राइज़ के लिए लागत-प्रभावी और डेटा-गोपनीयता-अनुकूल समाधान प्रदान करता है।
- मल्टीमॉडल RAG विभिन्न प्रकार के डेटा (टेक्स्ट, इमेज, ऑडियो) को संसाधित कर सकता है, जिससे इसके अनुप्रयोगों का दायरा बढ़ जाता है।
Key terms
Retrieval Augmented Generation (RAG)Large Language Models (LLMs)HallucinationKnowledge Cut-off DateIngestion PipelineRetrieval PipelineData ChunksEmbeddings (Vector Embeddings)Vector DatabaseSemantic SearchHybrid RAGGraph RAGAgentic RAGMultimodal RAG
Test your understanding
- RAG पारंपरिक LLMs की तुलना में हेलुसिनेशन को कैसे कम करता है?
- RAG पाइपलाइन में 'इंजेशन' और 'रिट्रीवल' प्रक्रियाओं का क्या महत्व है?
- एक वेक्टर डेटाबेस सामान्य डेटाबेस से किस प्रकार भिन्न है और यह RAG में कैसे मदद करता है?
- हाइब्रिड RAG आर्किटेक्चर का उपयोग कब करना सबसे उपयुक्त होगा और क्यों?
- RAG का उपयोग करने से एंटरप्राइज़ को डेटा गोपनीयता बनाए रखने में कैसे मदद मिलती है?