Giới thiệu SpiderSuite: Trình thu thập dữ liệu bảo mật web nâng cao

Tôi đã luôn tìm kiếm một công cụ thu thập thông tin chuyên dụng mà tôi có thể sử dụng để trực quan hóa toàn bộ bề mặt được thu thập thông tin và phân tích nội dung trang riêng lẻ để giúp tôi khi thực hiện kiểm tra bảo mật ứng dụng web. Sau một thời gian dài tìm kiếm và không tìm thấy cái nào phù hợp với nhu cầu của mình, tôi quyết định bắt tay vào một hành trình dài để xây dựng một cái từ đầu.

Sau nhiều tháng phát triển nó, tôi ở đây để chính thức giới thiệu với bạn SpiderSuite , một trình thu thập thông tin bảo mật web tiên tiến, miễn phí và đa nền tảng.

Trang chính thức: https://SpiderSuite.github.io/

Công cụ: https://github.com/3nock/SpiderSuite

Nói chính xác hơn, SpiderSuite không phải là một công cụ mà là một bộ công cụ để thực hiện kiểm tra và thu thập dữ liệu bảo mật web.

SpiderSuite thu thập dữ liệu toàn bộ trang web mục tiêu và lưu các trang được thu thập dữ liệu trong cơ sở dữ liệu SQLite được thiết kế đặc biệt để giúp dễ dàng truy vấn và phân tích từng trang được thu thập dữ liệu.

Một trong những nguyên tắc thiết kế của SpiderSuite là cung cấp cho người dùng nhiều quyền kiểm soát nhất có thể khi thu thập thông tin, do đó người dùng có thể định cấu hình trình thu thập thông tin theo ý thích của họ.

Đặc trưng

• Thu thập dữ liệu toàn bộ bề mặt trang web mục tiêu nhanh chóng.
• Có thể thu thập dữ liệu trang web mục tiêu bằng các trang bruteforcing.
• Thu thập thông tin thụ động cho các liên kết bằng cách sử dụng các nguồn OSINT như waybackmachine .
• Thực hiện các yêu cầu http(s) thủ công riêng lẻ và lưu kết quả.
• Trích xuất và hiển thị nội dung quan trọng từ các trang được thu thập thông tin, chẳng hạn như tập lệnh, kiểu và nhận xét được nhúng trong trang web.
• Trực quan hóa đồ thị của toàn bộ bề mặt được thu thập dữ liệu hoặc một nhánh của bề mặt được thu thập dữ liệu.
• Nhập các trang được thu thập thông tin từ các công cụ và trình thu thập thông tin bảo mật web khác như burp suite, Fiddler, Katana và Caido.
• So sánh các trang được thu thập thông tin và so sánh toàn bộ dự án thu thập thông tin.
• Xuất các liên kết được thu thập thông tin sang các định dạng đầu ra khác nhau như CSV, JSON, XML, HTML và Sitemap.xml.

Có rất nhiều công cụ thu thập thông tin bảo mật web tạo ra kết quả hơi giống với SpiderSuite nhưng không cung cấp đầy đủ các chức năng mà tôi cần. Một số lựa chọn thay thế tốt nhất cho SpiderSuite là;

• Burp Suite — Là một nền tảng tích hợp để thực hiện kiểm tra bảo mật cho các ứng dụng web. Nó có chứa một trình thu thập dữ liệu/trình thu thập thông tin web nhưng nó được liên kết chặt chẽ với phần còn lại của ứng dụng Burp Suite, sử dụng nhiều tài nguyên và không được thiết kế để thu thập dữ liệu danh sách miền lớn.
• OWASP ZAP — là một trình quét bảo mật ứng dụng web mã nguồn mở. Nó chứa một trình thu thập dữ liệu web mạnh mẽ nhưng giống như bộ burp, nó cũng được kết hợp chặt chẽ với phần còn lại của ZAP.
• Katana — Là một khung thu thập thông tin và thu thập dữ liệu thế hệ tiếp theo. Nó là một khung thu thập dữ liệu rất mạnh nhưng với tư cách là một công cụ dòng lệnh, rất khó để tương tác với các kết quả thu thập dữ liệu và trực quan hóa các trang được thu thập dữ liệu riêng lẻ.

lộ trình

SpiderSuite chưa hoàn thiện tính năng và còn nhiều tính năng cần xây dựng và sửa chữa. Mục tiêu chính của SpiderSuite là trở thành công cụ thu thập dữ liệu bảo mật số một trong lĩnh vực an ninh mạng.

Các mục tiêu đầy tham vọng đặt ra cho SpiderSuite bao gồm:

• Đánh bóng các tính năng hiện có.
• Tăng tốc độ và hiệu quả. SpiderSuite hiện đang rất nhanh nhưng nếu nó có thể nhanh hơn và hiệu quả hơn nữa thì tại sao không.
• Hệ thống plugin. Hỗ trợ các plugin mà người dùng và cộng đồng có thể xây dựng và chia sẻ.
• Một trình quét lỗ hổng thụ động và chủ động được tích hợp sẵn.
• Tích hợp với các trình quét lỗ hổng mã nguồn mở hiện có, chẳng hạn như [công cụ tạo mẫu hạt nhân]().
• Trình thu thập thông tin động.
• Thu thập dữ liệu tối ưu hóa công cụ tìm kiếm (SEO).

Để biết chi tiết cài đặt và sử dụng, xemhttps://github.com/3nock/SpiderSuitekho lưu trữ hoặc truy cậphttps://SpiderSuite.github.io/trang web chính thức.