सोलर का ओपनसर्च में स्थानांतरण
सोलर से ओपनसर्च में 100 मिलियन दस्तावेज़ का स्थानांतरण
हमने अपने ई-कॉमर्स खोज/फीड/ऑटोसुगेस्ट/वैयक्तिकरण उपयोग मामलों के लिए सोलर का उपयोग किया। सोलर क्लस्टर ईएलके के साथ चुनौतियां अब लोचदार प्रीमियम लाइसेंस के साथ आती हैं।
हमने अपने ई-कॉमर्स खोज/फीड/ऑटोसुगेस्ट/वैयक्तिकरण उपयोग मामलों के लिए सोलर का उपयोग किया।
सोलर क्लस्टर के साथ चुनौतियां
- सोलर इन्फ्रास्ट्रक्चर (ज़ूकीपर, जेवीएम, जीसी विश्लेषण आदि) का प्रबंधन एक चुनौती है। सामान्य तौर पर, हमें इसके लिए एक समर्पित डेवलपर (SRE/SDE-3) की आवश्यकता होती है।
- एक नए स्थिर संस्करण में उन्नयन। किसी भी महत्वपूर्ण मुद्दे के लिए कम सामुदायिक समर्थन।
ELK अब इलास्टिक प्रीमियम लाइसेंस के साथ आता है। इसलिए हमने ओपनसर्च को चुना क्योंकि यह ओपनसोर्स है। यह इलास्टिक्स खोज 7.10 संस्करण पर आधारित है। इसके पास अपाचे लाइसेंस है।
बड़ी चुनौतियां
- मौजूदा कोड में डिज़ाइन की समस्याएँ थीं। सोलर के साथ कसकर युग्मित। माइक्रोसर्विस आर्किटेक्चर और मल्टीपल सर्विस डिपेंडेंसी।
- कुछ क्षेत्रों में बड़ा क्लस्टर आकार और देश-वार लॉन्च।
- हमने सभी क्षेत्रों में ओपनसर्च के क्लस्टर गठन के लिए टेराफॉर्म का इस्तेमाल किया।
- कोड के लिए हमने फ़ैक्टरी डिज़ाइन पैटर्न और एडेप्टर डिज़ाइन पैटर्न का उपयोग किया।
- ओपनसर्च और सोलर दोनों में समानांतर डेटा अंतर्ग्रहण।
- हमारी रीइंडेक्सिंग सेवा द्वारा डेल्टा डेटा ओपनसर्च और सोलर का माइग्रेशन।
- ओपनसर्च और सोलर दोनों के समर्थन के साथ एक के बाद एक सर्विस लॉन्च
- एक बार चरण 1 से 5 तैयार हो गया था। हमने newRelic पर देशवार लॉन्च और निगरानी की योजना बनाई है।
प्रमुख अड़चन : यह नोड प्रकार c5 AWS मशीन की पसंद के आसपास था। हमने इसे बेंचमार्किंग द्वारा ठीक किया और c6g के साथ जाना चुना।
परिणाम
हमने बिना किसी डाउनटाइम के सोलर से ओपनसर्च में 100 मिलियन से अधिक दस्तावेजों को सफलतापूर्वक माइग्रेट किया। माइग्रेशन में सोलर और ओपनसर्च पर 100+ से अधिक नोड शामिल हैं। हम लगभग 0.8 मिलियन अमरीकी डालर बचाने में भी कामयाब रहे।
संदर्भ
- फैक्टरी डिजाइन पैटर्न
- terraform
- ओपनसर्च
- सोलर
- एडेप्टर डिजाइन पैटर्न