स्पाइडरसुइट का उपयोग करके कटाना क्रॉल परिणामों की कल्पना करना।

May 05 2023
संदर्भ के लिए, कटाना प्रोजेक्टडिस्कवरी से अगली पीढ़ी का क्रॉलिंग और स्पाइडरिंग फ्रेमवर्क है और स्पाइडरसुइट साइबर सुरक्षा पेशेवरों के लिए एक उन्नत वेब क्रॉलर है। स्पाइडरसुइट को विकसित करते समय, प्रोजेक्टडिस्कवरी से एक नया क्रॉलिंग टूल सामने आया, वह है कटाना और मैं इसकी क्षमताओं, विन्यास योग्य विकल्पों की विस्तृत श्रृंखला और मुख्य रूप से इसकी दक्षता और गति से बहुत प्रभावित था (चूंकि यह गोलंग में लिखा गया है, यह इस रूप में नहीं आता है) एक अचरज)।

संदर्भ के लिए, कटाना प्रोजेक्टडिस्कवरी से अगली पीढ़ी का क्रॉलिंग और स्पाइडरिंग फ्रेमवर्क है और स्पाइडरसुइट साइबर सुरक्षा पेशेवरों के लिए एक उन्नत वेब क्रॉलर है।

स्पाइडरसुइट को विकसित करते समय , प्रोजेक्टडिस्कवरी से एक नया क्रॉलिंग टूल सामने आया, वह है कटाना और मैं इसकी क्षमताओं, विन्यास योग्य विकल्पों की विस्तृत श्रृंखला और मुख्य रूप से इसकी दक्षता और गति से बहुत प्रभावित था (चूंकि यह गोलंग में लिखा गया है, यह इस रूप में नहीं आता है) एक अचरज)।

मैं कटाना का उपयोग तब से कर रहा हूं जब यह बाहर आया था, मतलब अपना खुद का उन्नत क्रॉलिंग टूल विकसित करते समय। लेकिन चूंकि कटाना एक कमांड-लाइन टूल है, इसलिए क्रॉल किए गए पेज की अलग-अलग सामग्री का विश्लेषण करने में परेशानी होती है, इसलिए मैंने स्पाइडरसुइट में एक इम्पोर्ट फीचर शुरू करने का फैसला किया, जहां आप कटाना से क्रॉल रिजल्ट इम्पोर्ट कर सकते हैं और उनकी कल्पना कर सकते हैं।

आप ऐसा कैसे कर सकते हैं, इसके बारे में यहां एक संक्षिप्त मार्गदर्शिका दी गई है:

  • डाउनलोड और स्थापना

आप स्पाइडरसुइट को यहां से डाउनलोड कर सकते हैंhttps://github.com/3nock/SpiderSuite/releasesऔर स्थापना निर्देशों का पालन करें ।

  • कटाना के साथ रेंगना
  1. कटाना का उपयोग करके लक्ष्य को क्रॉल करें और कमांड का उपयोग करके Json फ़ाइल में परिणाम सहेजें:
  2. katana -u https://crawler-test.com -json > crawl_results.json
    
           
                    

    katana -u https://crawler-test.com -store-response-dir dirname
    
           
                    

जेसन फ़ाइल चुनें।

स्पाइडरसुइट में इसकी सामग्री लोड करना स्वीकार करें ।

  • कटाना के क्रॉल परिणाम को कस्टम निर्देशिका से स्पाइडरसुइट में लोड कर रहा है

अनुक्रमणिका फ़ाइल चुनें (जो क्रॉल परिणामों वाली कस्टम निर्देशिका के अंदर स्थित है)

स्वीकार करें और इसकी सामग्री को स्पाइडरसुइट में लोड करें।

  • स्पाइडरसुइट का उपयोग करके परिणामों को नेविगेट करना

आपके पास केवल मेन्यू में सेव आइटम पर क्लिक करके परिणामों को स्पाइडरसुइट की प्रोजेक्ट फाइल में सेव करने का विकल्प भी है ।

यहाँ परिणामों का अवलोकन है:

अपना समय इस पोस्ट को पढ़ने के लिए धन्यवाद। कृपया दोनों क्रॉलिंग टूल चेकआउट करें, क्योंकि वे आपके सुरक्षा उपकरणों के शस्त्रागार में बहुत मददगार हो सकते हैं।