Kafka Interview Questions for Experienced | Real-Time Scenarios Explained #kafka #java

Interview Mania

8 chapters6 takeaways14 key terms6 questions

Overview

यह वीडियो एडवांस्ड लेवल के काफ्का इंटरव्यू प्रश्नों और उत्तरों को कवर करता है, जो अनुभवी डेवलपर्स के लिए डिज़ाइन किए गए हैं। इसमें मैसेज साइज लिमिट्स, स्केलेबिलिटी, आइडेंपोटेंट प्रोड्यूसर्स, डिलीवरी टाइमआउट्स, फॉल्ट टॉलरेंस, मैसेज डिलीवरी सिमेंटिक्स, मैसेज डिलीशन, ग्रुप कोऑर्डिनेटर, बैक प्रेशर हैंडलिंग, मैसेज ड्यूरेबिलिटी, मिरर मेकर, मैसेज ऑर्डरिंग, डेटा रिटेंशन और कंट्रोलर की भूमिका जैसे महत्वपूर्ण विषयों को समझाया गया है। वीडियो का उद्देश्य काफ्का की आंतरिक कार्यप्रणाली और जटिल परिदृश्यों को संभालने की इसकी क्षमता की गहरी समझ प्रदान करना है।

How was this?

Save this permanently with flashcards, quizzes, and AI chat

Chapters

काफ्का में मैसेज साइज लिमिट्स कॉन्फ़िगर की जा सकती हैं, डिफ़ॉल्ट 1MB है।
प्रोड्यूसर पर `max.request.size` और ब्रोकर पर `message.max.bytes` कॉन्फ़िगरेशन द्वारा इसे बढ़ाया जा सकता है।
बहुत बड़े मैसेज परफॉरमेंस और मेमोरी यूसेज को प्रभावित कर सकते हैं, इसलिए मैसेज साइज को छोटा रखना रिकमेंडेड है।

यह समझना महत्वपूर्ण है कि मैसेज साइज को कैसे मैनेज किया जाए ताकि काफ्का क्लस्टर की परफॉरमेंस और एफिशिएंसी बनी रहे।

डिफ़ॉल्ट 1MB से बड़े मैसेज भेजने के लिए `message.max.bytes` को बढ़ाना।

स्केलेबिलिटी पार्टीशनिंग और डिस्ट्रीब्यूटेड प्रोसेसिंग के माध्यम से हासिल की जाती है, जिससे पैरेलल प्रोसेसिंग संभव होती है।
कंज्यूमर ग्रुप्स मल्टीपल पार्टीशन से एक साथ रीड कर सकते हैं।
फॉल्ट टॉलरेंस डेटा रेप्लिकेशन द्वारा सुनिश्चित किया जाता है, जहां प्रत्येक पार्टीशन के कई रेप्लिका बनाए जाते हैं।
लीडर ब्रोकर फेल होने पर, फॉलोअर्स में से एक नया लीडर बन जाता है, जिससे सिस्टम का डाउनटाइम कम होता है।

यह काफ्का को बड़े पैमाने पर डेटा को संभालने और सिस्टम की उपलब्धता बनाए रखने में सक्षम बनाता है, भले ही कुछ नोड्स फेल हो जाएं।

एक टॉपिक को कई पार्टीशन में बांटना और उन्हें अलग-अलग ब्रोकर्स पर रेप्लिकेट करना।

आइडेंपोटेंट प्रोड्यूसर्स यह सुनिश्चित करते हैं कि मैसेज एक पार्टीशन में 'एक्जेक्टली वंस' डिलीवर हों, भले ही रिट्राइव हो।
यह यूनिक आईडी और सीक्वेंस नंबर का उपयोग करके डुप्लीकेट मैसेज को रोकता है।
काफ्का 'एट मोस्ट वंस', 'एट लीस्ट वंस', और 'एक्जेक्टली वंस' डिलीवरी सिमेंटिक्स को सपोर्ट करता है, जो यूज़ केस पर निर्भर करता है।

यह डेटा इंटीग्रिटी सुनिश्चित करता है और डुप्लीकेट या लॉस्ट मैसेज की समस्या को हल करता है, जो डिस्ट्रीब्यूटेड सिस्टम में आम हैं।

नेटवर्क इश्यू के कारण रिट्राइव होने पर भी डुप्लीकेट मैसेज से बचने के लिए आइडेंपोटेंट प्रोड्यूसर का उपयोग करना।

प्रोड्यूसर `delivery.timeout.ms` के साथ टाइमआउट कॉन्फ़िगर कर सकते हैं; यदि एकनॉलेजमेंट नहीं मिलता है तो मैसेज को फेल्ड माना जाता है।
कंज्यूमर साइड पर, `max.poll.interval.ms` यह निर्धारित करता है कि कंज्यूमर कितनी देर तक पोलिंग के बिना रह सकता है, जिसके बाद रीबैलेंस ट्रिगर होता है।
काफ्का कंज्यूमर ऑफसेट्स का उपयोग करके बैक प्रेशर को हैंडल करता है, जिससे कंज्यूमर अपनी गति से रीड कर सकते हैं।

यह सुनिश्चित करता है कि मैसेज समय पर डिलीवर हों और स्लो कंज्यूमर्स के कारण सिस्टम ओवरलोड न हो।

यदि कंज्यूमर `max.poll.interval.ms` से अधिक समय तक पोल नहीं करता है, तो उसे फेल मानकर पार्टीशन को दूसरे कंज्यूमर को असाइन करना।

काफ्का मैसेज को इंडिविजुअली डिलीट नहीं करता है, बल्कि रिटेंशन पॉलिसी का उपयोग करता है।
मैसेज या तो एक निश्चित समय के लिए या टॉपिक के एक निश्चित साइज तक रखे जाते हैं।
रिटेंशन लिमिट पूरी होने पर, लॉग फाइल के पूरे सेगमेंट को बल्क में डिलीट कर दिया जाता है।
लॉग कम्पेक्शन लेटेस्ट की-वैल्यू पेयर्स को रखने के लिए एक ऑप्शनल फीचर है।

यह स्टोरेज को मैनेज करने और यह सुनिश्चित करने में मदद करता है कि केवल आवश्यक डेटा ही सिस्टम में बना रहे।

एक टॉपिक के लिए 7 दिन की टाइम-बेस्ड रिटेंशन पॉलिसी सेट करना।

ग्रुप कोऑर्डिनेटर कंज्यूमर ग्रुप्स को मैनेज करता है, जिसमें मेंबरशिप, पार्टीशन असाइनमेंट और ऑफसेट कमिट शामिल हैं।
जब कोई कंज्यूमर ग्रुप में शामिल होता है या छोड़ता है, तो ग्रुप कोऑर्डिनेटर रीबैलेंस ट्रिगर करता है।
कंट्रोलर क्लस्टर की ओवरऑल स्टेट को मैनेज करता है, जैसे पार्टीशन लीडर्स को इंग करना और पार्टीशन डिस्ट्रीब्यूशन को मैनेज करना।
यदि कंट्रोलर फेल हो जाता है, तो ज़ूकीपर एक नया कंट्रोलर चुनता है।

ये कंपोनेंट्स काफ्का क्लस्टर के स्मूथ ऑपरेशन, कंज्यूमर ग्रुप मैनेजमेंट और क्लस्टर स्टेट को बनाए रखने के लिए क्रिटिकल हैं।

जब एक कंज्यूमर क्रैश होता है, तो ग्रुप कोऑर्डिनेटर उस कंज्यूमर के पार्टीशन को दूसरे एक्टिव कंज्यूमर को री-असाइन करता है।

ड्यूरेबिलिटी डिस्क पर्सिस्टेंस और रेप्लिकेशन के माध्यम से सुनिश्चित की जाती है; मैसेज डिस्क पर लिखे जाते हैं और कई ब्रोकर्स पर रेप्लिकेट होते हैं।
एक्नॉलेजमेंट्स (ACKs) यह सुनिश्चित करते हैं कि मैसेज तभी कमिटेड माने जाएं जब सभी रेप्लिका उन्हें एकनॉलेज करें।
काफ्का एक पार्टीशन के भीतर मैसेज ऑर्डर की गारंटी देता है, लेकिन पार्टीशन के बीच ऑर्डर की कोई गारंटी नहीं है।

यह सुनिश्चित करता है कि डेटा खो न जाए और एक पार्टीशन के भीतर डेटा का क्रम बना रहे, जो कुछ यूज़ केसेस के लिए आवश्यक है।

प्रोड्यूसर से टॉपिक के एक पार्टीशन में भेजे गए मैसेज उसी क्रम में स्टोर होते हैं जिस क्रम में वे भेजे गए थे।

काफ्का मिरर मेकर एक क्लस्टर से दूसरे क्लस्टर में डेटा कॉपी करने के लिए एक यूटिलिटी है।
यह सोर्स क्लस्टर से टॉपिक्स को रीड करता है और डेस्टिनेशन क्लस्टर में राइट करता है।
कंज्यूमर ऑफसेट्स प्रत्येक कंज्यूमर ग्रुप और पार्टीशन के लिए कंज्यूमर की पोजीशन को ट्रैक करते हैं।
ऑफसेट्स को ऑटोमेटिकली या मैनुअली कमिट किया जा सकता है, जिससे कंज्यूमर फेलियर के बाद वहीं से रिज्यूम कर सकें जहां उन्होंने छोड़ा था।

मिरर मेकर डिजास्टर रिकवरी और डेटा माइग्रेशन के लिए उपयोगी है, जबकि ऑफसेट मैनेजमेंट कंज्यूमर की कंसिस्टेंसी और रिलायबिलिटी सुनिश्चित करता है।

फेलियर के बाद कंज्यूमर को लास्ट कमिटेड ऑफसेट से रीडिंग फिर से शुरू करने की अनुमति देना।

Key takeaways

1काफ्का स्केलेबिलिटी और फॉल्ट टॉलरेंस के लिए पार्टीशनिंग, रेप्लिकेशन और डिस्ट्रीब्यूटेड आर्किटेक्चर का उपयोग करता है।
2आइडेंपोटेंट प्रोड्यूसर्स और 'एक्जेक्टली वंस' सिमेंटिक्स डेटा इंटीग्रिटी सुनिश्चित करने के लिए महत्वपूर्ण हैं।
3मैसेज साइज, रिटेंशन पॉलिसी और कम्पेक्शन जैसे कॉन्फ़िगरेशन काफ्का की परफॉरमेंस और स्टोरेज मैनेजमेंट को सीधे प्रभावित करते हैं।
4ग्रुप कोऑर्डिनेटर और कंट्रोलर जैसे कंपोनेंट्स क्लस्टर के मैनेजमेंट और कंज्यूमर ग्रुप्स की कंसिस्टेंसी के लिए आवश्यक हैं।
5कंज्यूमर ऑफसेट्स कंज्यूमर की प्रोग्रेस को ट्रैक करते हैं और फेलियर रिकवरी में मदद करते हैं।
6काफ्का एक पार्टीशन के भीतर मैसेज ऑर्डर की गारंटी देता है, लेकिन पार्टीशन के बीच नहीं।

Key terms

KafkaProducerConsumerBrokerTopicPartitionReplicationIdempotent ProducerDelivery SemanticsConsumer GroupOffsetControllerMirrorMakerLog Compaction

Test your understanding

1काफ्का में मैसेज साइज लिमिट्स को कैसे मैनेज किया जाता है और बड़े मैसेज परफॉरमेंस को कैसे प्रभावित कर सकते हैं?
2काफ्का स्केलेबिलिटी और फॉल्ट टॉलरेंस को प्राप्त करने के लिए किन मैकेनिज्म का उपयोग करता है?
3आइडेंपोटेंट प्रोड्यूसर का क्या उद्देश्य है और यह 'एक्जेक्टली वंस' डिलीवरी कैसे सुनिश्चित करता है?
4काफ्का में विभिन्न मैसेज डिलीवरी सिमेंटिक्स क्या हैं और वे यूज़ केस को कैसे प्रभावित करते हैं?
5कंज्यूमर ऑफसेट्स क्या हैं और वे कंज्यूमर ग्रुप्स की रिलायबिलिटी में कैसे योगदान करते हैं?
6काफ्का क्लस्टर में कंट्रोलर की क्या जिम्मेदारियां हैं?