यहां बताया गया है कि ये प्रौद्योगिकियां एक साथ कैसे काम कर सकती हैं:

डेटा पाइपलाइन आर्किटेक्चर:

• MySQL: संरचित डेटा का प्राथमिक स्रोत।
• TiDB: MySQL के साथ संगत वितरित SQL डेटाबेस, स्केलेबिलिटी और उच्च उपलब्धता के लिए उपयोग किया जाता है।
• काफ्का: वास्तविक समय डेटा स्ट्रीमिंग के लिए मैसेजिंग सिस्टम।
• लॉगस्टैश: डेटा प्रोसेसिंग पाइपलाइन उपकरण जो विभिन्न स्रोतों से डेटा प्राप्त करता है और इसे विभिन्न गंतव्यों पर भेजता है।
• रेडिस: बार-बार एक्सेस किए गए डेटा तक तेज़ पहुंच के लिए कैशिंग परत।
• इलास्टिक्स खोज: बड़ी मात्रा में डेटा की क्वेरी के लिए खोज और विश्लेषण इंजन।
• CloudCanal: डेटा एकीकरण उपकरण का उपयोग MySQL से TiDB, Kafka, Redis और Elasticsearch जैसे विभिन्न स्रोतों से डेटा को सिंक्रनाइज़ करने के लिए किया जाता है।

कार्यप्रवाह विवरण:

1. डेटा अंतर्ग्रहण:

• एप्लिकेशन MySQL में डेटा सहेजते हैं।
• क्लाउडकैनल का उपयोग MySQL से TiDB और Kafka में डेटा सिंक करने के लिए किया जाता है।

2. डेटा स्ट्रीमिंग और प्रोसेसिंग:

काफ्का:

• काफ्का क्लाउडकैनाल के माध्यम से MySQL से डेटा प्राप्त करता है और इसे विभिन्न विषयों पर प्रसारित करता है।
• विषयों में डेटा घटनाओं की धाराएं होती हैं जिन्हें विभिन्न उपभोक्ताओं द्वारा संसाधित किया जा सकता है।

लॉगस्टैश:

• लॉगस्टैश एक काफ्का उपभोक्ता के रूप में कार्य करता है, काफ्का से डेटा संसाधित करता है, और इसे इलास्टिक्स खोज और रेडिस जैसे विभिन्न आउटपुट पर भेजता है।

3. डेटा संग्रहण और पुनर्प्राप्ति:

TiDB:

• TiDB एक स्केलेबल और अत्यधिक उपलब्ध डेटाबेस समाधान के रूप में कार्य करता है जो बड़ी मात्रा में डेटा को संभाल सकता है।
• TiDB MySQL-संगत है, जो MySQL से एकीकरण और माइग्रेशन को सरल बनाता है।

रेडिस:

• रेडिस का उपयोग MySQL से बार-बार एक्सेस किए गए डेटा या काफ्का से संसाधित घटनाओं के लिए कैशिंग परत के रूप में किया जाता है।
• डेटा पुनर्प्राप्ति को तेज करने के लिए एप्लिकेशन MySQL को क्वेरी करने से पहले रेडिस को क्वेरी कर सकते हैं।

इलास्टिक्स खोज:

• लॉगस्टैश काफ्का से डेटा प्राप्त कर सकता है और इसे इलास्टिक्स खोज को भेज सकता है।
• इलास्टिकसर्च तेज़ खोज और विश्लेषण के लिए डेटा को अनुक्रमित करता है।
• एप्लिकेशन उन्नत खोज क्षमताओं और वास्तविक समय विश्लेषण के लिए इलास्टिक्स खोज से पूछताछ कर सकते हैं।

उदाहरण डेटा प्रवाह:

MySQL में डेटा प्रविष्टि:

• एक उपयोगकर्ता MySQL डेटाबेस में एक नया रिकॉर्ड सम्मिलित करता है।
• CloudCanal MySQL में परिवर्तनों की निगरानी करता है और TiDB और Kafka विषयों पर ईवेंट भेजता है।

वास्तविक समय प्रसंस्करण:

• काफ्का एक विषय पर कार्यक्रम प्रसारित करता है।
• लॉगस्टैश एक काफ्का उपभोक्ता के रूप में कार्य करता है, घटना को संसाधित करता है, और पार्स किए गए डेटा को अनुक्रमण के लिए इलास्टिक्स खोज को भेजता है।
• साथ ही, नए डेटा को कैश करने के लिए रेडिस को अपडेट किया जाता है।

डेटा प्राप्त करना:

• एप्लिकेशन डेटा के लिए रेडिस कैश की जांच करता है।
• यदि डेटा कैश में नहीं है, तो यह MySQL या TiDB पर क्वेरी करता है।
• जटिल प्रश्नों और विश्लेषण के लिए, एप्लिकेशन Elasticsearch से पूछताछ करता है।

यह सिर्फ मेरे नोट्स के लिए है। सीटीटीओ