How to Make a Kafka Cluster with 3 Brokers: Understand Replication Factor

Engineering Digest

5 chapters6 takeaways10 key terms5 questions

Overview

यह वीडियो Apache Kafka क्लस्टर बनाने की प्रक्रिया को विस्तार से बताता है, जिसमें तीन ब्रोकर शामिल हैं। यह बताता है कि कैसे सर्वर प्रॉपर्टीज़ को कॉन्फ़िगर करके, यूनिक ब्रोकर आईडी, पोर्ट और लॉग डायरेक्टरी सेट करके कई ब्रोकर शुरू किए जाते हैं। वीडियो यह भी समझाता है कि रिप्लिकेशन फैक्टर क्या है और यह फॉल्ट टॉलरेंस के लिए कैसे काम करता है, जिसमें एक टॉपिक के डेटा की कई कॉपीज़ बनाई जाती हैं। अंत में, यह एक Kafka टॉपिक बनाने, प्रोड्यूसर से मैसेज भेजने और कंज्यूमर से उन्हें पढ़ने का एक प्रैक्टिकल डेमो दिखाता है।

How was this?

Save this permanently with flashcards, quizzes, and AI chat

Chapters

Kafka क्लस्टर कई Kafka सर्वर (ब्रोकर) का एक समूह होता है।
एक Kafka ब्रोकर को शुरू करने के लिए `server.properties` फ़ाइल का उपयोग किया जाता है।
`server.properties` फ़ाइल में ब्रोकर आईडी, पोर्ट नंबर और लॉग डायरेक्टरी जैसी महत्वपूर्ण सेटिंग्स होती हैं।

यह समझना ज़रूरी है कि Kafka ब्रोकर कैसे काम करते हैं और उन्हें कैसे कॉन्फ़िगर किया जाता है, क्योंकि ये क्लस्टर की नींव हैं।

Kafka ब्रोकर को शुरू करने के लिए `bin` डायरेक्टरी में जाकर `kafka-server-start.sh` कमांड चलाना और `server.properties` फ़ाइल को प्रोवाइड करना।

एक क्लस्टर बनाने के लिए, आपको कई `server.properties` फ़ाइलें बनानी होंगी, प्रत्येक ब्रोकर के लिए एक।
प्रत्येक ब्रोकर के लिए ब्रोकर आईडी, पोर्ट नंबर और लॉग डायरेक्टरी यूनिक होनी चाहिए।
सभी ब्रोकर एक ही ZooKeeper इंस्टेंस का उपयोग कर सकते हैं, जिससे वे एक ही क्लस्टर का हिस्सा माने जाते हैं।

यह प्रक्रिया आपको एक डिस्ट्रीब्यूटेड Kafka सिस्टम बनाने की अनुमति देती है जो स्केलेबिलिटी और फॉल्ट टॉलरेंस प्रदान करता है।

पहले ब्रोकर के लिए `server.properties` को कॉपी करके `server-1.properties` और `server-2.properties` बनाना, फिर प्रत्येक के लिए ब्रोकर आईडी (जैसे 0, 1, 2), पोर्ट (जैसे 9092, 9093, 9094) और लॉग डायरेक्टरी (जैसे logs, logs1, logs2) को यूनिकली कॉन्फ़िगर करना।

Kafka में, टॉपिक डेटा को स्टोर करने के लिए लॉजिकल कैटेगरी हैं।
रिप्लिकेशन फैक्टर यह निर्धारित करता है कि किसी टॉपिक के डेटा की कितनी कॉपीज़ क्लस्टर में रखी जाएंगी।
उच्च रिप्लिकेशन फैक्टर फॉल्ट टॉलरेंस बढ़ाता है, क्योंकि यदि एक ब्रोकर डाउन हो जाता है, तो डेटा उपलब्ध रहता है।

रिप्लिकेशन फैक्टर को समझना क्रिटिकल है क्योंकि यह डेटा की ड्यूरेबिलिटी और अवेलेबिलिटी को सीधे प्रभावित करता है।

एक टॉपिक बनाते समय `replication-factor 3` सेट करना, जिसका मतलब है कि टॉपिक के डेटा की तीन कॉपीज़ क्लस्टर के तीन अलग-अलग ब्रोकर्स पर स्टोर होंगी।

प्रत्येक पार्टीशन के लिए एक लीडर ब्रोकर होता है, जो उस पार्टीशन के लिए सभी रीड और राइट रिक्वेस्ट को हैंडल करता है।
जब प्रोड्यूसर डेटा भेजता है, तो वह पहले लीडर ब्रोकर को जाता है।
लीडर ब्रोकर फिर डेटा को अन्य रेप्लिका ब्रोकर्स पर रेप्लिकेट करता है, जिससे फॉल्ट टॉलरेंस सुनिश्चित होता है।

यह जानने से कि डेटा कैसे फ्लो होता है और लीडर कैसे चुने जाते हैं, आपको Kafka के परफॉरमेंस और रिलायबिलिटी को बेहतर ढंग से समझने में मदद मिलती है।

यदि ब्रोकर 1 पार्टीशन X का लीडर है, तो उस पार्टीशन में भेजा गया कोई भी मैसेज पहले ब्रोकर 1 पर जाएगा, और फिर ब्रोकर 2 और 3 पर रेप्लिकेट होगा।

Kafka कमांड-लाइन टूल्स का उपयोग करके टॉपिक बनाए जा सकते हैं।
प्रोड्यूसर टॉपिक पर मैसेज भेजते हैं, और कंज्यूमर उन मैसेज को पढ़ते हैं।
नए Kafka वर्जन के लिए, `bootstrap-server` पैरामीटर का उपयोग करके ब्रोकर्स को स्पेसिफाई करना होता है।

यह प्रैक्टिकल स्टेप्स आपको Kafka के एंड-टू-एंड वर्किंग को अनुभव करने और अपने खुद के मैसेजिंग सिस्टम बनाने की क्षमता देते हैं।

कमांड लाइन का उपयोग करके 'gadgets' नाम का एक टॉपिक बनाना, फिर एक प्रोड्यूसर शुरू करना जो 'hello', 'mouse', 'keyboard' जैसे मैसेज भेजता है, और एक कंज्यूमर शुरू करना जो उन मैसेज को पढ़ता है।

Key takeaways

1Kafka क्लस्टर बनाने के लिए, प्रत्येक ब्रोकर के लिए यूनिक कॉन्फ़िगरेशन (आईडी, पोर्ट, लॉग्स) के साथ `server.properties` फ़ाइलें सेट अप करना आवश्यक है।
2रिप्लिकेशन फैक्टर डेटा की ड्यूरेबिलिटी और फॉल्ट टॉलरेंस के लिए महत्वपूर्ण है; यह निर्धारित करता है कि डेटा की कितनी कॉपीज़ रखी जाएंगी।
3Kafka में, लीडर इलेक्शन पार्टीशन लेवल पर होता है, और लीडर ब्रोकर ही डेटा राइट्स को हैंडल करता है और रेप्लिकेशन को मैनेज करता है।
4एक Kafka क्लस्टर में, सभी ब्रोकर एक ही ZooKeeper का उपयोग करके आपस में समन्वय करते हैं।
5Kafka के साथ काम करने के लिए कमांड-लाइन टूल्स (जैसे टॉपिक बनाना, प्रोड्यूसर, कंज्यूमर) का उपयोग करना एक आवश्यक स्किल है।
6नए Kafka वर्जन में, ब्रोकर्स को कनेक्ट करने के लिए `bootstrap-server` का उपयोग किया जाता है।

Key terms

Kafka ClusterKafka Brokerserver.propertiesReplication FactorPartitionLeader ElectionProducerConsumerZooKeeperbootstrap-server

Test your understanding

1Kafka क्लस्टर में प्रत्येक ब्रोकर के लिए `server.properties` फ़ाइल में कौन सी तीन मुख्य सेटिंग्स यूनिक होनी चाहिए और क्यों?
2रिप्लिकेशन फैक्टर 3 का क्या मतलब है और यह Kafka क्लस्टर में फॉल्ट टॉलरेंस को कैसे बढ़ाता है?
3Kafka में लीडर इलेक्शन किस लेवल पर होता है और लीडर ब्रोकर की क्या भूमिका होती है?
4एक Kafka टॉपिक बनाने और उस पर मैसेज भेजने और पढ़ने की प्रक्रिया को अपने शब्दों में समझाएं।
5नए Kafka वर्जन में ब्रोकर्स से कनेक्ट करने के लिए किस पैरामीटर का उपयोग किया जाता है और यह क्यों महत्वपूर्ण है?