1:42:03
LangChain Models | Indepth Tutorial with Code Demo | Video 3 | CampusX
CampusX
Overview
यह वीडियो LangChain के 'मॉडल' कंपोनेंट पर केंद्रित है, जो विभिन्न AI मॉडलों के साथ इंटरैक्ट करने के लिए एक इंटरफ़ेस प्रदान करता है। इसमें लैंग्वेज मॉडल (टेक्स्ट इनपुट/आउटपुट) और एंबेडिंग मॉडल (टेक्स्ट को वेक्टर में बदलना) दोनों शामिल हैं। वीडियो क्लोज-सोर्स मॉडल (जैसे OpenAI, Anthropic, Google) और ओपन-सोर्स मॉडल (जैसे Hugging Face पर उपलब्ध) दोनों के साथ कोड डेमो दिखाता है, जिसमें स्थानीय रूप से मॉडल डाउनलोड करना और API का उपयोग करना शामिल है। यह तापमान (temperature) और अधिकतम टोकन (max tokens) जैसे महत्वपूर्ण पैरामीटर पर भी चर्चा करता है।
How was this?
Save this permanently with flashcards, quizzes, and AI chat
Chapters
- LangChain का मॉडल कंपोनेंट विभिन्न AI मॉडलों के साथ इंटरैक्ट करने के लिए एक सामान्य इंटरफ़ेस प्रदान करता है।
- यह क्लोज-सोर्स और ओपन-सोर्स दोनों तरह के मॉडलों का समर्थन करता है।
- दो मुख्य प्रकार के मॉडल हैं: लैंग्वेज मॉडल (टेक्स्ट इनपुट/आउटपुट) और एंबेडिंग मॉडल (टेक्स्ट को वेक्टर में बदलना)।
यह समझना महत्वपूर्ण है कि LangChain विभिन्न AI मॉडलों को कैसे एकीकृत करता है, क्योंकि यह विभिन्न प्रकार के AI-संचालित एप्लिकेशन बनाने की नींव है।
LangChain एक सामान्य इंटरफ़ेस प्रदान करता है, जिससे डेवलपर्स को विभिन्न AI प्रदाताओं के लिए कोड को बार-बार बदलने की आवश्यकता नहीं होती है।
- LLMs (Large Language Models) सामान्य-उद्देश्य वाले मॉडल हैं जो टेक्स्ट जनरेशन, समराइजेशन आदि के लिए उपयोग किए जाते हैं। ये एक स्ट्रिंग इनपुट लेते हैं और एक स्ट्रिंग आउटपुट देते हैं।
- चैट मॉडल विशेष रूप से संवादात्मक कार्यों के लिए डिज़ाइन किए गए हैं, जो मल्टी-टर्न कन्वर्सेशन को संभाल सकते हैं और मैसेज की एक श्रृंखला को इनपुट/आउटपुट के रूप में लेते हैं।
- LangChain चैट मॉडल के उपयोग को बढ़ावा दे रहा है क्योंकि वे कन्वर्सेशन AI और चैटबॉट के लिए अधिक उपयुक्त हैं।
LLMs और चैट मॉडल के बीच अंतर को समझने से आपको यह तय करने में मदद मिलती है कि आपके विशिष्ट एप्लिकेशन के लिए कौन सा मॉडल सबसे उपयुक्त है, खासकर जब चैटबॉट या कन्वर्सेशनल AI बना रहे हों।
LLMs का उपयोग टेक्स्ट जनरेशन के लिए किया जा सकता है, जबकि चैट मॉडल का उपयोग चैटबॉट बनाने के लिए किया जाता है जो उपयोगकर्ता के साथ बातचीत कर सकते हैं।
- OpenAI के GPT मॉडल (जैसे GPT-3.5 Turbo Instruct, GPT-4) का उपयोग करने के लिए API कुंजी और भुगतान की आवश्यकता होती है।
- Anthropic के Claude मॉडल भी API कुंजी और भुगतान के साथ उपलब्ध हैं।
- Google के Gemini मॉडल को भी API कुंजी और भुगतान की आवश्यकता होती है।
ये डेमो दिखाते हैं कि कैसे LangChain विभिन्न प्रमुख AI प्रदाताओं के साथ एकीकृत होता है, जिससे डेवलपर्स को उद्योग-मानक मॉडलों का उपयोग करने की अनुमति मिलती है।
OpenAI के GPT-4 मॉडल का उपयोग करके 'भारत की राजधानी क्या है?' प्रश्न का उत्तर प्राप्त करना।
- तापमान (Temperature) पैरामीटर मॉडल के आउटपुट की रैंडमनेस या क्रिएटिविटी को नियंत्रित करता है; कम मान अधिक नियतात्मक परिणाम देते हैं, जबकि उच्च मान अधिक रचनात्मक परिणाम देते हैं।
- मैक्स कंप्लीशन टोकन (Max Completion Tokens) आउटपुट में टोकन की अधिकतम संख्या को सीमित करता है, जो लागत और प्रतिक्रिया लंबाई को प्रबंधित करने में मदद करता है।
- विभिन्न कार्यों के लिए उपयुक्त तापमान मानों का चयन महत्वपूर्ण है (जैसे, तथ्यात्मक उत्तरों के लिए कम, कहानी कहने के लिए उच्च)।
इन पैरामीटर्स को समझना आपको अपने AI मॉडल से अधिक सटीक, प्रासंगिक और नियंत्रित प्रतिक्रियाएँ प्राप्त करने में मदद करता है।
क्रिकेट पर पांच पंक्तियों की कविता लिखने के लिए तापमान को 0 से 1.5 तक समायोजित करने से आउटपुट की रचनात्मकता में अंतर दिखाई देता है।
- ओपन-सोर्स मॉडल स्वतंत्र रूप से उपलब्ध हैं, जिन्हें डाउनलोड, संशोधित और फाइन-ट्यून किया जा सकता है।
- ये क्लोज-सोर्स मॉडल की तुलना में अधिक नियंत्रण, डेटा गोपनीयता और अनुकूलन प्रदान करते हैं।
- प्रमुख ओपन-सोर्स मॉडल में Llama, Mistral, Falcon शामिल हैं, और ये Hugging Face पर उपलब्ध हैं।
ओपन-सोर्स मॉडल लागत कम करने, डेटा गोपनीयता सुनिश्चित करने और AI मॉडल पर पूर्ण नियंत्रण रखने के लिए महत्वपूर्ण हैं, खासकर जब संवेदनशील डेटा के साथ काम कर रहे हों।
ओपन-सोर्स मॉडल का उपयोग करने से API लागत समाप्त हो जाती है और डेवलपर्स को मॉडल को स्थानीय रूप से चलाने की अनुमति मिलती है।
- Hugging Face एक विशाल रिपॉजिटरी है जहाँ हजारों ओपन-सोर्स AI मॉडल होस्ट किए जाते हैं।
- आप Hugging Face के Inference API का उपयोग करके दूरस्थ रूप से मॉडल चला सकते हैं।
- आप मॉडल को सीधे अपने मशीन पर डाउनलोड करके स्थानीय रूप से भी चला सकते हैं, जिसके लिए पर्याप्त हार्डवेयर की आवश्यकता होती है।
Hugging Face ओपन-सोर्स AI इकोसिस्टम तक पहुँचने का एक केंद्रीय बिंदु है, जो विभिन्न मॉडलों के साथ प्रयोग करने और उन्हें एकीकृत करने के लिए उपकरण प्रदान करता है।
TinyLlama जैसे मॉडल को Hugging Face Inference API का उपयोग करके या स्थानीय रूप से डाउनलोड करके चलाना।
- एंबेडिंग मॉडल टेक्स्ट इनपुट को संख्यात्मक वैक्टर में बदलते हैं, जो टेक्स्ट के अर्थ को दर्शाते हैं।
- ये वैक्टर सिमेंटिक सर्च और दस्तावेज़ समानता जैसे कार्यों के लिए महत्वपूर्ण हैं।
- OpenAI और Hugging Face दोनों एंबेडिंग मॉडल प्रदान करते हैं।
एंबेडिंग मॉडल AI को टेक्स्ट के अर्थ को समझने और तुलना करने में सक्षम बनाते हैं, जो RAG (Retrieval-Augmented Generation) जैसे उन्नत अनुप्रयोगों के लिए आवश्यक है।
OpenAI के एंबेडिंग मॉडल का उपयोग करके 'दिल्ली भारत की राजधानी है' वाक्य के लिए 32-आयामी वेक्टर उत्पन्न करना।
- OpenAI एंबेडिंग मॉडल का उपयोग 'embed_query' या 'embed_documents' फ़ंक्शन के साथ किया जा सकता है।
- Hugging Face Inference API का उपयोग करके ओपन-सोर्स एंबेडिंग मॉडल को दूरस्थ रूप से एक्सेस किया जा सकता है।
- स्थानीय रूप से Hugging Face एंबेडिंग मॉडल चलाने के लिए, मॉडल को डाउनलोड किया जा सकता है और LangChain के `HuggingFacePipeline` का उपयोग करके लोड किया जा सकता है।
यह खंड दिखाता है कि कैसे LangChain का उपयोग करके टेक्स्ट को वैक्टर में परिवर्तित किया जा सकता है, जो सिमेंटिक सर्च और सूचना पुनर्प्राप्ति जैसे अनुप्रयोगों के लिए एक महत्वपूर्ण कदम है।
कई वाक्यों के लिए एंबेडिंग वैक्टर उत्पन्न करना और फिर उन वैक्टरों का उपयोग करके दस्तावेज़ों के बीच समानता की गणना करना।
Key takeaways
- LangChain विभिन्न AI मॉडलों के साथ इंटरैक्ट करने के लिए एक एकीकृत और सुसंगत इंटरफ़ेस प्रदान करता है।
- LLMs सामान्य टेक्स्ट जनरेशन के लिए हैं, जबकि चैट मॉडल संवादात्मक AI के लिए बेहतर हैं।
- क्लोज-सोर्स मॉडल शक्तिशाली हैं लेकिन महंगे हो सकते हैं और कम नियंत्रण प्रदान करते हैं।
- ओपन-सोर्स मॉडल लागत प्रभावी, अनुकूलन योग्य और डेटा गोपनीयता के लिए बेहतर हैं, लेकिन अधिक हार्डवेयर की आवश्यकता हो सकती है।
- तापमान और अधिकतम टोकन जैसे पैरामीटर मॉडल के आउटपुट को नियंत्रित करने के लिए महत्वपूर्ण हैं।
- एंबेडिंग मॉडल टेक्स्ट को वैक्टर में परिवर्तित करके सिमेंटिक समझ को सक्षम करते हैं, जो उन्नत AI अनुप्रयोगों के लिए महत्वपूर्ण है।
- Hugging Face ओपन-सोर्स AI मॉडल खोजने और उपयोग करने के लिए एक महत्वपूर्ण संसाधन है।
Key terms
Model ComponentLanguage ModelsEmbedding ModelsLLMs (Large Language Models)Chat ModelsAPI KeysTemperatureMax Completion TokensOpen Source ModelsHugging FaceInference APIVector Embeddings
Test your understanding
- LangChain में मॉडल कंपोनेंट का मुख्य उद्देश्य क्या है और यह डेवलपर्स की कैसे मदद करता है?
- LLMs और चैट मॉडल के बीच मुख्य अंतर क्या हैं, और प्रत्येक किस प्रकार के कार्य के लिए अधिक उपयुक्त है?
- क्लोज-सोर्स मॉडल (जैसे OpenAI, Anthropic) का उपयोग करने के क्या फायदे और नुकसान हैं?
- ओपन-सोर्स मॉडल का उपयोग करने के क्या लाभ हैं, और Hugging Face इस इकोसिस्टम में क्या भूमिका निभाता है?
- तापमान (Temperature) पैरामीटर AI मॉडल के आउटपुट को कैसे प्रभावित करता है, और विभिन्न कार्यों के लिए इसका उपयोग कैसे किया जाना चाहिए?
- एंबेडिंग मॉडल क्या हैं, और वे सिमेंटिक सर्च जैसे अनुप्रयोगों में कैसे उपयोगी हैं?