ขอแนะนำ SpiderSuite: โปรแกรมรวบรวมข้อมูลความปลอดภัยบนเว็บขั้นสูง

ฉันมักจะค้นหาเครื่องมือรวบรวมข้อมูลเฉพาะที่ฉันสามารถใช้เพื่อแสดงภาพพื้นผิวที่รวบรวมข้อมูลทั้งหมดและวิเคราะห์เนื้อหาแต่ละหน้าเพื่อช่วยฉันเมื่อดำเนินการตรวจสอบความปลอดภัยของเว็บแอปพลิเคชัน หลังจากค้นหามาอย่างยาวนานและไม่พบสิ่งที่เหมาะกับความต้องการของฉัน ฉันจึงตัดสินใจเริ่มต้นการเดินทางอันยาวนานเพื่อสร้างมันขึ้นมาใหม่ตั้งแต่ต้น

หลังจากใช้เวลาหลายเดือนในการพัฒนามัน ฉันมาที่นี่เพื่อแนะนำอย่างเป็นทางการให้กับคุณSpiderSuiteซึ่งเป็นซอฟต์แวร์รวบรวมข้อมูลความปลอดภัยเว็บข้ามแพลตฟอร์มขั้นสูง ฟรี และข้ามแพลตฟอร์ม

หน้าอย่างเป็นทางการ: https://SpiderSuite.github.io/

เครื่องมือ: https://github.com/3nock/SpiderSuite

เพื่อให้ถูกต้องยิ่งขึ้น SpiderSuite ไม่ใช่เครื่องมือแต่เป็นชุดเครื่องมือสำหรับการรวบรวมข้อมูลและตรวจสอบความปลอดภัยของเว็บ

SpiderSuite รวบรวมข้อมูลไซต์เป้าหมายทั้งหมดและบันทึกเพจที่รวบรวมข้อมูลในฐานข้อมูล SQLite ที่ออกแบบมาเป็นพิเศษเพื่อให้ง่ายต่อการสอบถามและวิเคราะห์เพจที่รวบรวมข้อมูลแต่ละเพจ

หนึ่งในหลักการออกแบบของ SpiderSuite คือให้ผู้ใช้ควบคุมได้มากที่สุดเท่าที่จะเป็นไปได้เมื่อทำการรวบรวมข้อมูล ดังนั้น ผู้ใช้สามารถกำหนดค่าโปรแกรมรวบรวมข้อมูลได้ตามใจชอบ

คุณสมบัติ

• รวบรวมข้อมูลไซต์เป้าหมายทั้งหมดได้อย่างรวดเร็ว
• สามารถรวบรวมข้อมูลไซต์เป้าหมายได้โดยการบังคับหน้าเว็บ
• การ รวบรวมข้อมูลแบบพาสซีฟสำหรับลิงก์โดยใช้แหล่งที่มาของ OSINT เช่นwaybackmachine
• ดำเนินการตามคำขอ http(s) ด้วยตนเองแต่ละรายการและบันทึกผลลัพธ์
• แยกและแสดงเนื้อหาสำคัญจากเพจที่รวบรวมข้อมูล เช่น สคริปต์ ลักษณะ และข้อคิดเห็นที่ฝังอยู่ในหน้าเว็บ
• การแสดงภาพกราฟของพื้นผิวที่คลานทั้งหมดหรือกิ่งก้านของพื้นผิวที่คลาน
• นำเข้าหน้าที่รวบรวมข้อมูลจากโปรแกรมรวบรวมข้อมูลและเครื่องมือรักษาความปลอดภัยเว็บอื่นๆ เช่น burp suite, Fiddler, Katana และ Caido
• เปรียบเทียบหน้าที่รวบรวมข้อมูลและเปรียบเทียบโครงการรวบรวมข้อมูลทั้งหมด
• ส่งออกลิงก์ที่รวบรวมข้อมูลไปยังรูปแบบเอาต์พุตต่างๆ เช่น CSV, JSON, XML, HTML และ Sitemap.xml

มีเครื่องมือรวบรวมข้อมูลด้านความปลอดภัยบนเว็บมากมายที่ให้ผลลัพธ์ค่อนข้างคล้ายกับ SpiderSuite แต่ไม่ได้มีฟังก์ชันที่ฉันต้องการมากนัก ทางเลือกที่ดีที่สุดสำหรับ SpiderSuite ได้แก่

• Burp Suite — เป็นแพลตฟอร์มแบบบูรณาการสำหรับดำเนินการทดสอบความปลอดภัยของเว็บแอปพลิเคชัน มีโปรแกรมรวบรวมข้อมูลเว็บ/สไปเดอร์ แต่รวมเข้ากับแอปพลิเคชัน Burp Suite ที่เหลืออย่างแนบแน่น ใช้ทรัพยากรมาก และไม่ได้ออกแบบมาสำหรับการรวบรวมข้อมูลรายการโดเมนจำนวนมาก
• OWASP ZAP — เป็นเครื่องสแกนความปลอดภัยของเว็บแอปพลิเคชันแบบโอเพ่นซอร์ส มันมีโปรแกรมรวบรวมข้อมูลเว็บที่ทรงพลัง แต่ก็เหมือนกับชุดเรอ มันยังควบคู่กับ ZAP ที่เหลืออย่างแน่นหนา
• Katana — เป็นเฟรมเวิร์กการรวบรวมข้อมูลและสไปเดอร์ยุคหน้า เป็นเฟรมเวิร์กการรวบรวมข้อมูลที่มีประสิทธิภาพมาก แต่ในฐานะเครื่องมือบรรทัดคำสั่ง เป็นการยากที่จะโต้ตอบกับผลการรวบรวมข้อมูลและแสดงภาพหน้าเว็บที่รวบรวมข้อมูลแต่ละหน้า

แผนงาน

ฟีเจอร์ SpiderSuite ยังไม่สมบูรณ์ และยังมีอีกมากที่ต้องสร้างและแก้ไข เป้าหมายหลักของ SpiderSuite คือการเป็นเครื่องมืออันดับหนึ่งสำหรับการรวบรวมข้อมูลความปลอดภัยในฟิลด์ความปลอดภัยทางไซเบอร์

เป้าหมายอันทะเยอทะยานที่กำหนดไว้สำหรับ SpiderSuite ได้แก่:

• ขัดคุณสมบัติที่มีอยู่
• เพิ่มความเร็วและมีประสิทธิภาพ ขณะนี้ SpiderSuite นั้นรวดเร็วมาก แต่ถ้าสามารถเร็วกว่าและมีประสิทธิภาพมากกว่านี้ ทำไมไม่
• ระบบปลั๊กอิน รองรับปลั๊กอินที่ผู้ใช้และชุมชนสามารถสร้างและแชร์ได้
• เครื่องสแกนช่องโหว่แบบพาสซีฟและแอคทีฟในตัว
• การผสานรวมกับเครื่องสแกนช่องโหว่แบบโอเพ่นซอร์สที่มีอยู่ เช่น [เครื่องมือแม่แบบนิวเคลียส]()
• โปรแกรมรวบรวมข้อมูลแบบไดนามิก
• การรวบรวมข้อมูลการปรับแต่งเว็บไซต์ให้ติดอันดับบนเครื่องมือการค้นหา (SEO)

ดูรายละเอียดการติดตั้งและการใช้งานได้ที่https://github.com/3nock/SpiderSuiteที่เก็บหรือเยี่ยมชมhttps://SpiderSuite.github.io/เว็บไซต์อย่างเป็นทางการ