41:20
Class 10 AI Unit 3 | Evaluating Models | Accuracy, Confusion Matrix | CBSE 417 | 2026
Aiforkids
Overview
यह वीडियो क्लास 10 के छात्रों के लिए आर्टिफिशियल इंटेलिजेंस (AI) के यूनिट 3, 'मॉडल मूल्यांकन' पर केंद्रित है। इसमें मॉडल मूल्यांकन के महत्व, डेटा को ट्रेनिंग और टेस्टिंग सेट में विभाजित करने की प्रक्रिया, और K-फोल्ड जैसी तकनीकों को समझाया गया है। वीडियो एक्यूरेसी और एरर के बीच अंतर स्पष्ट करता है, और क्लासिफिकेशन मॉडल के लिए महत्वपूर्ण मूल्यांकन मेट्रिक्स जैसे प्रिसिजन, रिकॉल और F1 स्कोर का विस्तृत विवरण देता है। विशेष रूप से, यह कन्फ्यूजन मैट्रिक्स को बनाने और समझने पर जोर देता है, और यह बताता है कि क्यों केवल उच्च एक्यूरेसी हमेशा एक अच्छे मॉडल का संकेत नहीं होती है। अंत में, यह AI मॉडल के मूल्यांकन में नैतिक विचारों जैसे बायस, ट्रांसपेरेंसी और अकाउंटेबिलिटी पर भी प्रकाश डालता है।
How was this?
Save this permanently with flashcards, quizzes, and AI chat
Chapters
- मॉडल मूल्यांकन यह सुनिश्चित करने के लिए किया जाता है कि मशीन लर्निंग मॉडल सही ढंग से काम कर रहा है या नहीं और गलत आउटपुट तो नहीं दे रहा है।
- यह मॉडल की ताकत, कमजोरियों और विभिन्न कार्यों के लिए उसकी उपयुक्तता को समझने में मदद करता है।
- मूल्यांकन एक फीडबैक लूप स्थापित करता है, जिससे मॉडल को बेहतर बनाने के तरीके पता चलते हैं।
- यह मानव सीखने की प्रक्रिया के समान है: सीखना, परीक्षण करना, परिणाम देखना और फिर सुधार करना।
यह समझना महत्वपूर्ण है कि मॉडल क्यों और कैसे काम कर रहा है, ताकि हम उस पर भरोसा कर सकें और उसे बेहतर बना सकें।
जैसे एक छात्र परीक्षा देकर अपनी समझ का मूल्यांकन करता है, वैसे ही AI मॉडल का मूल्यांकन किया जाता है।
- सुपरवाइज्ड लर्निंग मॉडल के लिए, डेटा को ट्रेनिंग और टेस्टिंग सेट में विभाजित किया जाता है।
- ट्रेनिंग डेटा का उपयोग मॉडल को सिखाने के लिए किया जाता है, जबकि टेस्टिंग डेटा का उपयोग मॉडल के प्रदर्शन को नए डेटा पर जांचने के लिए किया जाता है।
- आमतौर पर 70-80% डेटा ट्रेनिंग के लिए और 20-30% टेस्टिंग के लिए उपयोग किया जाता है।
- ओवरफिटिंग तब होती है जब मॉडल केवल ट्रेनिंग डेटा को याद कर लेता है और नए डेटा पर अच्छा प्रदर्शन नहीं कर पाता।
डेटा को सही ढंग से विभाजित करना यह सुनिश्चित करता है कि मॉडल केवल रटा-रटाया जवाब न दे, बल्कि वास्तव में सीखे और नए, अनदेखे डेटा पर भी अच्छा प्रदर्शन करे।
एक छात्र को परीक्षा में वही प्रश्न नहीं दिए जाते जो क्लास में पढ़ाए गए थे, बल्कि नए प्रश्न दिए जाते हैं ताकि उसकी वास्तविक समझ का पता चल सके।
- एक्यूरेसी (Accuracy) मापती है कि मॉडल ने कुल कितने प्रेडिक्शन सही किए हैं। यह मॉडल के प्रदर्शन के सीधे समानुपाती होती है।
- एरर (Error) मॉडल के प्रेडिक्शन और वास्तविक परिणाम के बीच के अंतर को मापती है, यह बताती है कि मॉडल कितनी बार गलती करता है।
- हमारा लक्ष्य एरर को कम करना और एक्यूरेसी को बढ़ाना होता है।
- ये मेट्रिक्स मुख्य रूप से क्लासिफिकेशन मॉडल के लिए उपयोगी हैं।
एक्यूरेसी और एरर मॉडल के प्रदर्शन का एक बुनियादी माप प्रदान करते हैं, जिससे हमें यह पता चलता है कि मॉडल कितना भरोसेमंद है।
यदि किसी बीमारी का पता लगाने वाले मॉडल में, 95% मामलों में वह सही बताता है कि बीमारी है या नहीं, तो उसकी एक्यूरेसी 95% है।
- कन्फ्यूजन मैट्रिक्स एक टैबुलर प्रस्तुति है जो मॉडल के प्रेडिक्शन और वास्तविक परिणामों की तुलना करती है।
- इसमें ट्रू पॉजिटिव (TP), ट्रू नेगेटिव (TN), फॉल्स पॉजिटिव (FP), और फॉल्स नेगेटिव (FN) जैसे मान शामिल होते हैं।
- TP: मॉडल ने पॉजिटिव प्रेडिक्ट किया और वह वास्तव में पॉजिटिव था।
- TN: मॉडल ने नेगेटिव प्रेडिक्ट किया और वह वास्तव में नेगेटिव था।
- FP: मॉडल ने पॉजिटिव प्रेडिक्ट किया लेकिन वह वास्तव में नेगेटिव था (टाइप I एरर)।
- FN: मॉडल ने नेगेटिव प्रेडिक्ट किया लेकिन वह वास्तव में पॉजिटिव था (टाइप II एरर)।
कन्फ्यूजन मैट्रिक्स मॉडल की गलतियों को समझने में मदद करता है, जिससे यह पता चलता है कि वह किस प्रकार की गलतियाँ कर रहा है (जैसे किसी चीज को गलत पॉजिटिव बताना या किसी चीज को मिस कर देना)।
एक स्पैम डिटेक्टर में, TP वह ईमेल है जिसे स्पैम के रूप में पहचाना गया और वह वास्तव में स्पैम था; FP वह ईमेल है जिसे स्पैम के रूप में पहचाना गया लेकिन वह सामान्य मेल था।
- एक्यूरेसी हमेशा पर्याप्त नहीं होती, खासकर जब डेटा असंतुलित हो।
- प्रिसिजन (Precision) बताता है कि मॉडल द्वारा पॉजिटिव प्रेडिक्ट किए गए मामलों में से वास्तव में कितने पॉजिटिव थे (TP / (TP + FP))।
- रिकॉल (Recall) बताता है कि वास्तविक पॉजिटिव मामलों में से कितने को मॉडल ने सही ढंग से पॉजिटिव प्रेडिक्ट किया (TP / (TP + FN))।
- F1 स्कोर प्रिसिजन और रिकॉल का हार्मोनिक मीन है, जो दोनों के बीच संतुलन प्रदान करता है (2 * (Precision * Recall) / (Precision + Recall))।
ये मेट्रिक्स मॉडल के प्रदर्शन की अधिक सूक्ष्म समझ प्रदान करते हैं, खासकर जब गलतियों की लागत अलग-अलग हो (जैसे आग लगने की भविष्यवाणी या स्पैम फ़िल्टरिंग)।
जंगल की आग का पता लगाने वाले मॉडल के लिए, रिकॉल महत्वपूर्ण है ताकि आग लगने के किसी भी मामले को मिस न किया जाए, भले ही कुछ सामान्य दिनों को गलती से आग की चेतावनी के रूप में चिह्नित कर दिया जाए।
- AI मॉडल के मूल्यांकन में बायस (Bias) से बचना महत्वपूर्ण है, ताकि परिणाम निष्पक्ष हों।
- ट्रांसपेरेंसी (Transparency) का अर्थ है कि मूल्यांकन प्रक्रिया और चुने गए मेट्रिक्स को स्पष्ट रूप से समझाया जाना चाहिए।
- अकाउंटेबिलिटी (Accountability) का मतलब है कि मॉडल के प्रदर्शन और उसके परिणामों की जिम्मेदारी लेनी चाहिए।
- सही मूल्यांकन मेट्रिक चुनना महत्वपूर्ण है जो विशेष कार्य और उसके संदर्भ के लिए उपयुक्त हो।
नैतिक विचारों को ध्यान में रखकर बनाए गए AI मॉडल अधिक भरोसेमंद, निष्पक्ष और समाज के लिए फायदेमंद होते हैं।
यदि कोई AI मॉडल केवल कुछ खास जनसांख्यिकी के लोगों के लिए बेहतर काम करता है, तो यह बायस्ड है और इसे ठीक करने की आवश्यकता है।
Key takeaways
- मॉडल मूल्यांकन यह सुनिश्चित करने के लिए आवश्यक है कि AI मॉडल विश्वसनीय और प्रभावी हों।
- ट्रेनिंग और टेस्टिंग डेटा को अलग करना ओवरफिटिंग से बचने और मॉडल की वास्तविक क्षमता का आकलन करने के लिए महत्वपूर्ण है।
- एक्यूरेसी एक उपयोगी मीट्रिक है, लेकिन यह हमेशा मॉडल के प्रदर्शन की पूरी कहानी नहीं बताती, खासकर असंतुलित डेटासेट के साथ।
- कन्फ्यूजन मैट्रिक्स मॉडल की गलतियों को समझने के लिए एक शक्तिशाली उपकरण है, जो TP, TN, FP, और FN को दर्शाता है।
- प्रिसिजन, रिकॉल और F1 स्कोर क्लासिफिकेशन मॉडल के प्रदर्शन का अधिक विस्तृत विश्लेषण प्रदान करते हैं, जो विभिन्न प्रकार की गलतियों के महत्व को ध्यान में रखते हैं।
- AI मॉडल के विकास और मूल्यांकन में बायस, ट्रांसपेरेंसी और अकाउंटेबिलिटी जैसे नैतिक पहलुओं पर विचार करना अनिवार्य है।
Key terms
Model EvaluationTraining DataTesting DataOverfittingAccuracyErrorConfusion MatrixTrue Positive (TP)True Negative (TN)False Positive (FP)False Negative (FN)PrecisionRecallF1 ScoreBiasTransparencyAccountability
Test your understanding
- मॉडल मूल्यांकन की आवश्यकता क्यों है और यह कैसे मानव सीखने की प्रक्रिया से संबंधित है?
- ओवरफिटिंग क्या है और ट्रेनिंग/टेस्टिंग डेटा स्प्लिटिंग इसे रोकने में कैसे मदद करती है?
- कन्फ्यूजन मैट्रिक्स के चार मुख्य घटक (TP, TN, FP, FN) क्या दर्शाते हैं?
- एक्यूरेसी, प्रिसिजन और रिकॉल के बीच मुख्य अंतर क्या हैं, और किन परिस्थितियों में प्रिसिजन या रिकॉल एक्यूरेसी से अधिक महत्वपूर्ण हो सकते हैं?
- AI मॉडल के मूल्यांकन में बायस, ट्रांसपेरेंसी और अकाउंटेबिलिटी जैसे नैतिक कंसर्न्स का क्या महत्व है?