Cách hoạt động của Web sâu

Quả thật là một mạng lưới rối ren mà chúng tôi dệt ra. Khoảng 40 phần trăm dân số thế giới sử dụng Web cho mục đích tin tức, giải trí, liên lạc và vô số mục đích khác [nguồn: Internet World Stats ]. Tuy nhiên, ngay cả khi ngày càng nhiều người đăng nhập, họ thực sự tìm thấy ít dữ liệu được lưu trữ trực tuyến hơn. Đó là bởi vì chỉ một phần nhỏ của những gì chúng ta biết là World Wide Web là có thể dễ dàng truy cập được.

Cái được gọi là Web bề mặt , mà tất cả chúng ta sử dụng thường xuyên, bao gồm dữ liệu mà các công cụ tìm kiếm có thể tìm thấy và sau đó đưa ra phản hồi cho các truy vấn của bạn. Nhưng cũng giống như cách mà người quan sát chỉ có thể nhìn thấy phần nổi của tảng băng trôi, công cụ tìm kiếm truyền thống chỉ thấy một lượng nhỏ thông tin có sẵn - 0,03% [nguồn: OEDB ].

Đối với phần còn lại của nó? Chà, phần lớn nó bị chôn vùi trong cái gọi là Deep Web . Deep Web (còn được gọi là mạng ngầm, Web ẩn và Web ẩn, trong số các biệt danh khác) bao gồm dữ liệu mà bạn sẽ không tìm thấy bằng một tìm kiếm đơn giản của Google.

Không ai thực sự biết web sâu thực sự lớn như thế nào, nhưng nó lớn hơn hàng trăm (hoặc thậm chí hàng nghìn) lần so với trang web bề mặt. Dữ liệu này không nhất thiết phải cố ý ẩn. Thật khó cho công nghệ công cụ tìm kiếm hiện tại để tìm và hiểu nó.

Có một mặt trái của deep Web là âm u hơn rất nhiều - và đôi khi, đen tối hơn - đó là lý do tại sao nó còn được gọi là dark web . Trong dark Web, người dùng thực sự cố tình chôn vùi dữ liệu. Thông thường, những phần này của Web chỉ có thể truy cập được nếu bạn sử dụng phần mềm trình duyệt đặc biệt giúp loại bỏ các lớp giống như củ hành của Web tối.

Phần mềm này duy trì sự riêng tư của cả nguồn và đích của dữ liệu và những người truy cập nó. Đối với các nhà bất đồng chính kiến ​​cũng như tội phạm, kiểu ẩn danh này cho thấy sức mạnh to lớn của Dark Web, cho phép chuyển giao thông tin, hàng hóa và dịch vụ, hợp pháp hoặc bất hợp pháp, trước sự kinh hoàng của các cường quốc trên toàn thế giới.

Cũng giống như một công cụ tìm kiếm chỉ đơn giản là làm xước bề mặt của Web, chúng tôi chỉ mới bắt đầu. Hãy tiếp tục đọc để tìm hiểu xem Web của chúng ta thực sự trở nên rối ren như thế nào.

1. Ẩn trong Trang web Đồng bằng
2. Ngay dưới bề mặt
3. Tiềm năng sâu sắc
4. Thác bóng tối
5. Titillating Tor
6. Mặt sáng hơn của bóng tối
7. Thậm chí sâu hơn

Web sâu rất lớn so với Web bề mặt. Web ngày nay có hơn 555 triệu tên miền đã đăng ký. Mỗi miền trong số đó có thể có hàng chục, hàng trăm hoặc thậm chí hàng nghìn trang con, nhiều trong số đó không được lập danh mục và do đó thuộc loại Deep Web.

Mặc dù không ai thực sự biết chắc chắn, nhưng Deep Web có thể lớn gấp 400 đến 500 lần Web bề mặt [nguồn: BrightPlanet ]. Và cả web bề mặt và web sâu đều phát triển ngày càng lớn hơn mỗi ngày.

Để hiểu tại sao có rất nhiều thông tin nằm ngoài tầm nhìn của các công cụ tìm kiếm, bạn nên có một chút kiến ​​thức cơ bản về công nghệ tìm kiếm. Bạn có thể đọc tất cả về nó với Cách hoạt động của Công cụ Tìm kiếm trên Internet, nhưng chúng tôi sẽ cung cấp cho bạn bản tóm tắt nhanh tại đây.

Các công cụ tìm kiếm thường tạo một chỉ mục dữ liệu bằng cách tìm thông tin được lưu trữ trên các trang Web và các tài nguyên trực tuyến khác. Quá trình này có nghĩa là sử dụng tự động nhện hay crawlers , mà xác định vị trí các lĩnh vực và sau đó làm theo các siêu liên kết đến các lĩnh vực khác, như một Arachnid sau khi tua mượt của một trang web, theo nghĩa tạo ra một bản đồ sắc màu rực rỡ của Web.

Chỉ mục hoặc bản đồ này là chìa khóa của bạn để tìm dữ liệu cụ thể phù hợp với nhu cầu của bạn. Mỗi khi bạn nhập từ khóa tìm kiếm, kết quả xuất hiện gần như ngay lập tức nhờ chỉ mục đó. Nếu không có nó, công cụ tìm kiếm sẽ phải bắt đầu tìm kiếm hàng tỷ trang từ đầu mỗi khi ai đó muốn có thông tin, một quá trình vừa khó sử dụng vừa khó chịu.

Nhưng các công cụ tìm kiếm không thể nhìn thấy dữ liệu được lưu trữ trên Deep Web. Có sự không tương thích về dữ liệu và các rào cản kỹ thuật làm phức tạp các nỗ lực lập chỉ mục. Có những trang Web riêng yêu cầu mật khẩu đăng nhập trước khi bạn có thể truy cập nội dung. Trình thu thập thông tin không thể xâm nhập dữ liệu yêu cầu tìm kiếm từ khóa trên một trang Web cụ thể. Có những trang web truy cập theo thời gian không còn cho phép xem công khai khi đã qua một thời hạn nhất định.

Tất cả những thách thức đó, và nhiều thách thức khác, làm cho dữ liệu khó hơn nhiều cho các công cụ tìm kiếm trong việc tìm kiếm và lập chỉ mục. Hãy tiếp tục đọc để biết thêm về điều gì ngăn cách giữa Web bề mặt và Web sâu.

Như chúng tôi đã lưu ý, có hàng triệu triệu trang con nằm rải rác trên hàng triệu tên miền. Có các trang nội bộ không có liên kết bên ngoài, chẳng hạn như internal.howstuffworks.com, được sử dụng cho mục đích bảo trì trang web. Có những bài đăng trên blog chưa được xuất bản hoặc không được công bố, thư viện ảnh, thư mục tệp và vô số nội dung mà các công cụ tìm kiếm không thể nhìn thấy.

Đây chỉ là một ví dụ. Có rất nhiều trang web báo độc lập trực tuyến, và đôi khi, các công cụ tìm kiếm lập chỉ mục một số bài báo trên các trang đó. Điều đó đặc biệt đúng đối với những câu chuyện thời sự lớn nhận được nhiều sự quan tâm của giới truyền thông. Một tìm kiếm nhanh trên Google chắc chắn sẽ tiết lộ hàng chục bài báo về các đội bóng đá World Cup chẳng hạn .

Nhưng nếu bạn đang tìm kiếm một câu chuyện khó hiểu hơn, bạn có thể phải truy cập trực tiếp vào một trang báo cụ thể, sau đó duyệt hoặc tìm kiếm nội dung để tìm những gì bạn đang tìm kiếm. Điều này đặc biệt đúng khi một câu chuyện thời sự lâu đời. Câu chuyện càng cũ, càng có nhiều khả năng nó chỉ được lưu trữ trên kho lưu trữ của tờ báo, vốn không hiển thị trên Web bề mặt. Sau đó, câu chuyện đó có thể không xuất hiện dễ dàng trong các công cụ tìm kiếm - vì vậy nó được tính là một phần của Deep Web.

Dữ liệu trong Deep Web rất khó cho các công cụ tìm kiếm xem, nhưng vô hình chung không quan trọng bằng. Như bạn có thể thấy ngay từ ví dụ trên tờ báo của chúng tôi, có giá trị to lớn về thông tin được giấu trong Deep Web.

Deep Web là một kho lưu trữ vô tận cho một lượng thông tin quay cuồng. Có cơ sở dữ liệu kỹ thuật, thông tin tài chính các loại, giấy tờ y tế, tranh ảnh, minh họa ... danh sách cứ tiếp tục, về cơ bản, mãi mãi.

Và deep Web chỉ ngày càng sâu và phức tạp hơn. Để các công cụ tìm kiếm tăng tính hữu dụng, các lập trình viên của họ phải tìm ra cách đi sâu vào Web sâu và đưa dữ liệu lên bề mặt. Bằng cách nào đó, họ không chỉ phải tìm thông tin hợp lệ mà còn phải tìm cách trình bày thông tin đó mà không làm người dùng cuối bị choáng ngợp.

Như với tất cả mọi thứ kinh doanh, các công cụ tìm kiếm đang giải quyết những mối quan tâm nặng nề hơn là liệu bạn và tôi có thể tìm thấy công thức táo giòn ngon nhất trên thế giới hay không. Họ muốn giúp các quyền lực của công ty tìm và sử dụng Deep Web theo những cách mới lạ và có giá trị.

Ví dụ, các kỹ sư xây dựng có thể tìm kiếm các tài liệu nghiên cứu tại nhiều trường đại học để tìm ra những vật liệu xây dựng cầu mới nhất và hay nhất. Các bác sĩ có thể nhanh chóng xác định được nghiên cứu mới nhất về một căn bệnh cụ thể.

Tiềm năng là không giới hạn. Những thách thức kỹ thuật đang gây khó khăn. Đó là điểm hấp dẫn của Deep Web. Tuy nhiên, có một khía cạnh tồi tệ hơn đối với Deep Web - một khía cạnh gây khó khăn cho rất nhiều người vì nhiều lý do.

Deep Web có thể là một vùng đất ẩn chứa tiềm năng chưa được khai thác, nhưng với một chút kỹ năng và một chút may mắn, bạn có thể tìm ra rất nhiều thông tin có giá trị mà nhiều người đã làm việc để lưu trữ. Trên trang web tối, nơi mọi người cố tình giấu thông tin, họ sẽ thích nó hơn nếu bạn tắt đèn.

Dark Web hơi giống với id của Web. Nó là riêng tư. Nó ẩn danh . Nó mạnh mẽ. Nó giải phóng bản chất con người dưới mọi hình thức, cả tốt và xấu.

Những thứ tồi tệ, như mọi khi, nhận được hầu hết các tiêu đề. Bạn có thể tìm thấy tất cả các loại hàng hóa và hoạt động bất hợp pháp thông qua Dark Web. Điều đó bao gồm ma túy bất hợp pháp, nội dung khiêu dâm trẻ em, số thẻ tín dụng bị đánh cắp, buôn người , vũ khí, động vật kỳ lạ, phương tiện truyền thông có bản quyền và bất kỳ thứ gì khác mà bạn có thể nghĩ đến. Về mặt lý thuyết, bạn thậm chí có thể thuê một sát thủ giết người mà bạn không thích.

Nhưng bạn sẽ không tìm thấy thông tin này khi tìm kiếm trên Google. Những loại trang web này yêu cầu bạn sử dụng phần mềm đặc biệt, chẳng hạn như Bộ định tuyến Onion , thường được gọi là Tor .

Tor là phần mềm cài đặt vào trình duyệt của bạn và thiết lập các kết nối cụ thể mà bạn cần để truy cập các trang Web tối. Về mặt quan trọng, Tor là một công nghệ mã hóa giúp mọi người duy trì tình trạng ẩn danh trực tuyến. Nó thực hiện điều này một phần bằng cách định tuyến các kết nối thông qua các máy chủ trên khắp thế giới, khiến chúng khó theo dõi hơn nhiều.

Tor cũng cho phép mọi người truy cập cái gọi là các dịch vụ ẩn - các trang web ngầm mà Web đen khét tiếng. Thay vì nhìn thấy các tên miền kết thúc bằng .com hoặc .org, các trang web ẩn này kết thúc bằng .onion. Ở trang tiếp theo, chúng ta sẽ bóc lại các lớp của một số hành tây đó.

Nổi tiếng nhất trong số các trang web bán hành này là Con đường tơ lụa hiện đã không còn tồn tại, một thị trường trực tuyến nơi người dùng có thể mua ma túy, súng và tất cả các loại mặt hàng bất hợp pháp khác. Các FBI cuối cùng bị bắt Ross Ulbricht, người vận hành con đường tơ lụa, nhưng các trang web bắt chước như Black Market Reloaded vẫn sẵn.

Thật kỳ lạ, Tor là kết quả nghiên cứu được thực hiện bởi Phòng thí nghiệm Nghiên cứu Hải quân Hoa Kỳ, nơi đã tạo ra Tor cho những người bất đồng chính kiến ​​và những người tố giác, cho phép họ giao tiếp mà không sợ bị trả thù.

Tor rất hiệu quả trong việc cung cấp tính năng ẩn danh cho các nhóm này đến nỗi không mất nhiều thời gian để những kẻ có đầu óc tội phạm bắt đầu sử dụng nó.

Điều đó khiến cơ quan thực thi pháp luật Hoa Kỳ rơi vào tình thế trớ trêu khi cố gắng theo dõi những tên tội phạm đang sử dụng phần mềm do chính phủ tài trợ để che giấu dấu vết của chúng. Tor, có vẻ như là một con dao hai lưỡi.

Ẩn danh là một phần và bưu kiện trên dark Web, nhưng bạn có thể tự hỏi làm thế nào mà bất kỳ giao dịch nào liên quan đến tiền có thể xảy ra khi người bán và người mua không thể xác định được nhau. Đó là nơi Bitcoin xuất hiện.

Nếu bạn chưa nghe nói về Bitcoin, về cơ bản nó là một loại tiền kỹ thuật số được mã hóa. Bạn có thể đọc tất cả về nó trên Cách hoạt động của Bitcoin . Giống như tiền mặt thông thường, Bitcoin rất tốt cho các loại giao dịch và đáng chú ý là nó cũng cho phép ẩn danh; không ai có thể theo dõi một giao dịch mua, bất hợp pháp hoặc khác.

Bitcoin có thể là tiền tệ của tương lai - một loại tiền phi tập trung và không bị kiểm soát, không chịu sự ràng buộc của bất kỳ chính phủ nào. Nhưng vì Bitcoin không được hỗ trợ bởi bất kỳ chính phủ nào nên giá trị của nó dao động thường xuyên. Đó là bất cứ thứ gì ngoài một nơi an toàn để cất giữ tiền tiết kiệm cả đời của bạn. Nhưng khi được ghép nối đúng cách với Tor, nó có lẽ là thứ gần nhất với cách mua và bán trên Web một cách dễ dàng.

Web đen có những âm bội đáng ngại của nó. Nhưng không phải tất cả mọi thứ ở mặt tối đều xấu. Có tất cả các loại dịch vụ không nhất thiết phải vi phạm pháp luật.

Dark Web là nơi tập trung các công cụ tìm kiếm thay thế, dịch vụ e-mail , lưu trữ tệp, chia sẻ tệp, phương tiện truyền thông xã hội, các trang trò chuyện, cửa hàng tin tức và các trang tố giác, cũng như các trang web cung cấp nơi gặp gỡ an toàn hơn cho những người bất đồng chính kiến ​​và bất kỳ ai khác có thể thấy mình ở rìa xã hội.

Trong thời đại mà giám sát kiểu NSA có mặt khắp nơi và quyền riêng tư dường như đã trở thành dĩ vãng, thì dark Web mang lại một số cứu trợ cho những người giấu tên . Các công cụ tìm kiếm Dark Web có thể không cung cấp kết quả tìm kiếm được cá nhân hóa, nhưng chúng cũng không theo dõi hành vi trực tuyến của bạn hoặc cung cấp một dòng quảng cáo vô tận. Bitcoin có thể không hoàn toàn ổn định, nhưng nó cung cấp sự riêng tư, đây là điều mà công ty phát hành thẻ tín dụng của bạn chắc chắn không làm.

Đối với công dân sống ở các quốc gia có các nhà lãnh đạo bạo lực hoặc áp bức, dark Web cung cấp một cách an toàn hơn để giao tiếp với những người có cùng chí hướng. Không giống như Facebook hoặc Twitter, những thứ dễ dàng để các cơ quan chức năng giám sát, Dark Web cung cấp vỏ bọc sâu hơn và mức độ an toàn cho những người nói xấu hoặc âm mưu phá hoại các chính trị gia hoặc lãnh chúa của công ty.

Một bài báo được viết bởi các nhà nghiên cứu tại Đại học Luxembourg đã cố gắng xếp hạng các tài liệu được truy cập phổ biến nhất trên Dark Web. Những gì họ phát hiện ra là mặc dù các trang web kinh doanh các hoạt động bất hợp pháp và nội dung người lớn rất phổ biến, nhưng những trang liên quan đến quyền con người và quyền tự do thông tin cũng vậy [Nguồn: ArXiv ].

Vì vậy, mặc dù dark Web chắc chắn có mặt xấu của nó, nhưng nó cũng có tiềm năng rất lớn.

Deep Web chỉ ngày càng sâu hơn. Kho kiến ​​thức nhân loại và những điều tầm thường của nó mỗi ngày một khổng lồ hơn, làm phức tạp thêm những nỗ lực của chúng ta để hiểu được tất cả. Cuối cùng, đó có lẽ là thách thức lớn nhất đằng sau Internet mà chúng tôi đã tạo ra.

Các lập trình viên sẽ tiếp tục cải tiến các thuật toán của công cụ tìm kiếm , giúp họ đào sâu hơn vào các lớp sâu hơn của Web. Khi làm như vậy, họ sẽ giúp các nhà nghiên cứu và doanh nghiệp kết nối và tham khảo chéo thông tin theo những cách mà trước đây chưa từng có.

Đồng thời, công việc chính của một công cụ tìm kiếm thông minh không chỉ đơn giản là tìm kiếm thông tin. Những gì bạn thực sự muốn nó làm là tìm thông tin phù hợp nhất. Nếu không, bạn sẽ bị ngập trong một biển dữ liệu lộn xộn khiến bạn ước rằng mình chưa bao giờ nhấp vào nút tìm kiếm đó.

Đó là vấn đề của cái gọi là dữ liệu lớn . Dữ liệu lớn là tên gọi của các tập hợp dữ liệu lớn đến mức chúng trở nên không thể quản lý được và không mạch lạc. Bởi vì Internet đang phát triển quá nhanh, toàn bộ thế giới của chúng ta tràn ngập dữ liệu và khó ai có thể hiểu được hết - ngay cả tất cả những máy tính mạnh mẽ, đầy đủ mọi thứ đó tại trụ sở chính của Bing và Google.

Khi Internet phát triển, mọi công ty lớn ngày càng chi nhiều tiền hơn vào việc quản lý và phân tích dữ liệu, vừa để giữ cho tổ chức của họ hoạt động tốt vừa để có được lợi thế cạnh tranh so với những công ty khác. Khai thác và tổ chức Deep Web là một phần quan trọng của các chiến lược đó. Những công ty học cách tận dụng dữ liệu này cho mục đích sử dụng của riêng họ sẽ tồn tại và có thể thay đổi thế giới bằng các công nghệ mới. Những người chỉ dựa vào Web bề mặt sẽ không thể cạnh tranh.

Trong khi đó, deep Web sẽ tiếp tục gây bối rối và mê hoặc tất cả những người sử dụng Internet. Nó chứa đựng một lượng kiến ​​thức hấp dẫn có thể giúp chúng ta phát triển về mặt công nghệ và như một loài khi được kết nối với các bit thông tin khác. Và tất nhiên, mặt tối của nó cũng sẽ luôn rình rập, giống như bản chất con người vẫn thường thấy. Deep Web nói lên tiềm năng phi thường, phân tán của không chỉ Internet, mà cả loài người.

Ghi chú của tác giả: Cách hoạt động của Deep Web

Deep Web là một nơi mơ hồ, không rõ ràng. Nhưng trong khi nghiên cứu câu chuyện này, có thể dễ dàng kết luận ít nhất một điều chắc chắn - hầu hết các tiêu đề tin tức có xu hướng giật gân về Dark Web và khía cạnh phức tạp của nó, và hiếm khi đề cập đến tiềm năng chưa được khai thác của Deep Web. Các bài báo về ma túy và vũ khí bất hợp pháp rõ ràng thu hút nhiều người đọc hơn những bài viết chi tiết những thách thức kỹ thuật khi thu thập dữ liệu từ deep Web. Đọc những bài báo tiêu cực, khó thở với một hạt muối. Cần nhớ rằng có rất nhiều điều về Deep Web ngoài yếu tố tội phạm rõ ràng. Khi các kỹ sư tìm ra những cách tốt hơn, nhanh hơn để lập danh mục các kho lưu trữ dữ liệu của Web, Internet nói chung có thể biến đổi xã hội của chúng ta theo những cách đáng kinh ngạc.

Những bài viết liên quan