पेश है स्पाइडरसुइट: एक उन्नत वेब सुरक्षा क्रॉलर

मैं हमेशा एक विशेष क्रॉलिंग टूल की तलाश में रहता हूं जिसका उपयोग मैं वेब एप्लिकेशन सुरक्षा ऑडिटिंग करते समय मेरी मदद करने के लिए संपूर्ण क्रॉल की गई सतह की कल्पना करने और अलग-अलग पेज सामग्री का विश्लेषण करने के लिए कर सकता हूं। एक लंबी खोज के बाद और मेरी ज़रूरतों के अनुकूल कोई नहीं मिला, मैंने खरोंच से एक बनाने के लिए एक लंबी यात्रा शुरू करने का फैसला किया।

इसे विकसित करने में महीनों बिताने के बाद, मैं यहाँ आधिकारिक रूप से आपको स्पाइडरसुइट से परिचित कराने के लिए हूँ , जो एक अग्रिम, मुफ़्त और क्रॉस-प्लेटफ़ॉर्म वेब सुरक्षा क्रॉलर है।

आधिकारिक पृष्ठ: https://SpiderSuite.github.io/

टूल: https://github.com/3nock/SpiderSuite

अधिक सही होने के लिए, स्पाइडरसुइट एक उपकरण नहीं है बल्कि वेब सुरक्षा क्रॉलिंग और ऑडिटिंग करने के लिए उपकरणों का एक सूट है।

स्पाइडरसुइट एक संपूर्ण लक्ष्य साइट को क्रॉल करता है और क्रॉल किए गए पृष्ठों को विशेष रूप से डिज़ाइन किए गए SQLite डेटाबेस में सहेजता है ताकि इसे आसान क्वेरी करना और व्यक्तिगत क्रॉल किए गए पृष्ठों का विश्लेषण किया जा सके।

स्पाइडरसुइट के डिजाइन सिद्धांतों में से एक उपयोगकर्ता को क्रॉल करते समय जितना संभव हो उतना नियंत्रण देना है, इसलिए उपयोगकर्ता क्रॉलर को अपनी पसंद के अनुसार कॉन्फ़िगर कर सकता है।

विशेषताएँ

• संपूर्ण लक्ष्य साइट सतहों को तेजी से रेंगना।
• पेजों को क्रूर बनाकर लक्षित साइट को क्रॉल कर सकते हैं।
• OSINT स्रोतों जैसे कि waybackmachine का उपयोग करके लिंक के लिए निष्क्रिय क्रॉलिंग ।
• अलग-अलग मैन्युअल http(s) अनुरोधों को निष्पादित करना और परिणामों को सहेजना।
• वेबपेज में एम्बेडेड स्क्रिप्ट, स्टाइल और टिप्पणियों जैसे क्रॉल किए गए पृष्ठों से महत्वपूर्ण सामग्री को निकालना और प्रदर्शित करना।
• क्रॉल की गई पूरी सतह या क्रॉल की गई सतह की एक शाखा का ग्राफ़ विज़ुअलाइज़ेशन।
• अन्य वेब सुरक्षा क्रॉलर और टूल जैसे कि बर्प सूट, फ़िडलर, कटाना और कैडो से क्रॉल किए गए पृष्ठ आयात करें।
• क्रॉल किए गए पेजों की तुलना करना और पूरे क्रॉल प्रोजेक्ट की तुलना करना.
• क्रॉल किए गए लिंक को CSV, JSON, XML, HTML और Sitemap.xml जैसे विभिन्न आउटपुट स्वरूपों में निर्यात करें।

वहाँ कई वेब सुरक्षा क्रॉलिंग उपकरण हैं जो कुछ हद तक स्पाइडरसुइट के समान परिणाम देते हैं, लेकिन मुझे आवश्यक कार्यात्मकताओं की पेशकश नहीं करते हैं। स्पाइडरसुइट के कुछ बेहतरीन विकल्प हैं;

• बर्प सूट - वेब अनुप्रयोगों के सुरक्षा परीक्षण करने के लिए एक एकीकृत मंच है। इसमें एक वेब क्रॉलर/स्पाइडर होता है लेकिन यह बाकी बर्प सूट एप्लिकेशन के साथ मजबूती से जुड़ा होता है, संसाधन गहन होता है, और डोमेन की बड़ी सूचियों को क्रॉल करने के लिए डिज़ाइन नहीं किया जाता है।
• OWASP ZAP — एक ओपन-सोर्स वेब एप्लिकेशन सुरक्षा स्कैनर है। इसमें एक शक्तिशाली वेब क्रॉलर होता है, लेकिन बर्प सूट की तरह ही यह भी बाकी ZAP के साथ मजबूती से जुड़ा होता है।
• कटाना — अगली पीढ़ी का क्रॉलिंग और स्पाइडरिंग फ्रेमवर्क है। यह एक बहुत शक्तिशाली क्रॉलिंग फ्रेमवर्क है लेकिन एक कमांड लाइन टूल के रूप में क्रॉल परिणामों के साथ इंटरैक्ट करना और अलग-अलग क्रॉल किए गए पृष्ठों की कल्पना करना मुश्किल है।

रोडमैप

स्पाइडरसुइट अभी तक पूर्ण नहीं हुआ है और अभी निर्माण और सुधार के लिए बहुत कुछ है। स्पाइडरसुइट का मुख्य लक्ष्य साइबर सुरक्षा क्षेत्र में सुरक्षा रेंगने के लिए नंबर वन गो टू टूल बनना है।

स्पाइडरसुइट के लिए निर्धारित महत्वाकांक्षी लक्ष्यों में शामिल हैं:

• मौजूदा सुविधाओं को चमकाना।
• बढ़ती गति और कुशल। स्पाइडरसुइट वर्तमान में बहुत तेज है लेकिन अगर यह और भी तेज और कुशल हो सकता है तो क्यों नहीं।
• प्लगइन्स सिस्टम। प्लगइन्स के लिए समर्थन जो उपयोगकर्ता और समुदाय बना सकते हैं और साझा कर सकते हैं।
• एक अंतर्निहित निष्क्रिय और सक्रिय भेद्यता स्कैनर।
• [न्यूक्लियी टेम्प्लेट इंजन] () जैसे मौजूदा ओपन सोर्स भेद्यता स्कैनर के साथ एकीकरण।
• गतिशील क्रॉलर।
• खोज इंजन अनुकूलन (एसईओ) क्रॉलिंग।

स्थापना और उपयोग विवरण के लिए, देखेंhttps://github.com/3nock/SpiderSuiteभंडार या यात्राhttps://SpiderSuite.github.io/आधिकारिक साइट।