Deep Web ทำงานอย่างไร

ช่างเป็นเว็บที่พันกันอย่างแท้จริง ประมาณ 40 เปอร์เซ็นต์ของประชากรโลกใช้เว็บเพื่อข่าวสารความบันเทิงการสื่อสารและวัตถุประสงค์อื่น ๆ มากมาย [ที่มา: Internet World Stats ] แม้ว่าจะมีคนเข้าสู่ระบบมากขึ้นเรื่อย ๆ พวกเขาก็พบข้อมูลที่จัดเก็บทางออนไลน์น้อยลง นั่นเป็นเพราะมีเพียงเศษเสี้ยวหนึ่งของสิ่งที่เรารู้จักในนามเวิลด์ไวด์เว็บเท่านั้นที่สามารถเข้าถึงได้ง่าย

สิ่งที่เรียกว่าเว็บพื้นผิวซึ่งเราทุกคนใช้เป็นประจำประกอบด้วยข้อมูลที่เครื่องมือค้นหาสามารถค้นหาได้แล้วนำเสนอเพื่อตอบสนองต่อข้อสงสัยของคุณ แต่ในลักษณะเดียวกับที่ผู้สังเกตการณ์มองเห็นเพียงส่วนปลายของภูเขาน้ำแข็งเครื่องมือค้นหาแบบดั้งเดิมจะเห็นข้อมูลเพียงเล็กน้อยที่มีอยู่ซึ่งเป็น 0.03 เปอร์เซ็นต์ที่น่าสงสัย [ที่มา: OEDB ]

ส่วนที่เหลือน่ะเหรอ? ดีมากของมันฝังอยู่ในสิ่งที่เรียกว่าเว็บลึก Deep Web (หรือที่เรียกว่า undernet เว็บที่มองไม่เห็นและเว็บที่ซ่อนอยู่ท่ามกลางนักเล่นเพลงอื่น ๆ ) ประกอบด้วยข้อมูลที่คุณจะไม่พบด้วยการค้นหาง่ายๆของ Google

ไม่มีใครรู้ว่า Deep Web นั้นใหญ่แค่ไหน แต่มันใหญ่กว่า Surface Web หลายร้อย (หรืออาจถึงพันเท่า) ข้อมูลนี้ไม่จำเป็นต้องซ่อนไว้ตามวัตถุประสงค์ เป็นเรื่องยากสำหรับเทคโนโลยีเครื่องมือค้นหาในปัจจุบันที่จะค้นหาและทำความเข้าใจกับมัน

มีพลิกด้านของเว็บลึกที่เป็น murkier มาก - และบางครั้งสีเข้ม - ซึ่งเป็นเหตุผลที่มันยังเป็นที่รู้จักกันเป็นเว็บที่มืด ในเว็บมืดผู้ใช้ตั้งใจฝังข้อมูลจริงๆ บ่อยครั้งที่ส่วนต่างๆของเว็บเหล่านี้สามารถเข้าถึงได้ก็ต่อเมื่อคุณใช้ซอฟต์แวร์เบราว์เซอร์พิเศษที่ช่วยลอกเลเยอร์ที่คล้ายหัวหอมของเว็บมืดออกไป

ซอฟต์แวร์นี้รักษาความเป็นส่วนตัวของทั้งต้นทางและปลายทางของข้อมูลและผู้ที่เข้าถึงข้อมูล สำหรับผู้คัดค้านทางการเมืองและอาชญากรการไม่เปิดเผยตัวตนแบบนี้แสดงให้เห็นถึงพลังอันยิ่งใหญ่ของเว็บมืดซึ่งทำให้สามารถถ่ายโอนข้อมูลสินค้าและบริการทั้งทางกฎหมายหรือผิดกฎหมายไปสู่ความผิดหวังของอำนาจที่มีอยู่ทั่วโลก

เช่นเดียวกับที่เครื่องมือค้นหากำลังขูดขีดพื้นผิวของเว็บเราก็เริ่มต้นใช้งานเท่านั้น อ่านต่อไปเพื่อดูว่าเว็บของเรายุ่งเหยิงแค่ไหน

1. ซ่อนอยู่ในไซต์ธรรมดา
2. ด้านล่างพื้นผิว
3. ศักยภาพเชิงลึก
4. น้ำตกแห่งความมืด
5. ท
6. ด้านสว่างของความมืด
7. ลึกยิ่งขึ้น

Deep Web มีขนาดใหญ่มากเมื่อเทียบกับเว็บพื้นผิว ปัจจุบันเว็บมีโดเมนจดทะเบียนมากกว่า 555 ล้านโดเมน แต่ละโดเมนสามารถมีหน้าย่อยได้หลายสิบหลายร้อยหรือหลายพันหน้าซึ่งส่วนใหญ่ไม่ได้อยู่ในแค็ตตาล็อกดังนั้นจึงอยู่ในหมวดหมู่ของ Deep Web

แม้ว่าจะไม่มีใครรู้แน่ชัดว่า Deep Web อาจใหญ่กว่าเว็บ Surface 400 ถึง 500 เท่า [ที่มา: BrightPlanet ] และทั้งพื้นผิวและ Deep Web ก็ขยายใหญ่ขึ้นเรื่อย ๆ ทุกวัน

เพื่อให้เข้าใจว่าเหตุใดเครื่องมือค้นหาจึงไม่สามารถมองเห็นข้อมูลได้มากนักการมีพื้นฐานเกี่ยวกับเทคโนโลยีการค้นหาจะช่วยได้เล็กน้อย คุณสามารถอ่านข้อมูลทั้งหมดได้ด้วยวิธีการทำงานของเครื่องมือค้นหาทางอินเทอร์เน็ตแต่เราจะสรุปให้คุณทราบโดยย่อที่นี่

โดยทั่วไปเครื่องมือค้นหาจะสร้างดัชนีข้อมูลโดยการค้นหาข้อมูลที่จัดเก็บไว้ในเว็บไซต์และแหล่งข้อมูลออนไลน์อื่น ๆ กระบวนการนี้หมายถึงการใช้สไปเดอร์อัตโนมัติหรือโปรแกรมรวบรวมข้อมูลซึ่งค้นหาโดเมนจากนั้นติดตามไฮเปอร์ลิงก์ไปยังโดเมนอื่น ๆ เช่นแมงตามเส้นเอ็นที่นุ่มนวลของเว็บในแง่การสร้างแผนที่ที่แผ่กิ่งก้านสาขาของเว็บ

ดัชนีหรือแผนที่นี้เป็นกุญแจสำคัญในการค้นหาข้อมูลเฉพาะที่เกี่ยวข้องกับความต้องการของคุณ ทุกครั้งที่คุณป้อนการค้นหาคำหลักผลลัพธ์จะปรากฏขึ้นแทบจะในทันทีด้วยดัชนีนั้น หากไม่มีเครื่องมือค้นหาจะต้องเริ่มค้นหาหน้าเว็บนับพันล้านหน้าทุกครั้งที่มีคนต้องการข้อมูลซึ่งเป็นกระบวนการที่ทั้งยุ่งยากและน่าโมโห

แต่เครื่องมือค้นหาไม่สามารถดูข้อมูลที่จัดเก็บไว้ใน Deep Web มีความเข้ากันไม่ได้ของข้อมูลและอุปสรรคทางเทคนิคที่ทำให้ความพยายามในการจัดทำดัชนีซับซ้อนขึ้น มีเว็บไซต์ส่วนตัวที่ต้องใช้รหัสผ่านสำหรับเข้าสู่ระบบก่อนที่คุณจะสามารถเข้าถึงเนื้อหาได้ โปรแกรมรวบรวมข้อมูลไม่สามารถเจาะข้อมูลที่ต้องใช้การค้นหาคำหลักบนเว็บไซต์เดียวที่เฉพาะเจาะจง มีไซต์ที่เข้าถึงตามกำหนดเวลาที่ไม่อนุญาตให้มีการเข้าชมแบบสาธารณะอีกต่อไปเมื่อพ้นระยะเวลาที่กำหนด

ความท้าทายทั้งหมดเหล่านี้และอื่น ๆ อีกมากมายทำให้ข้อมูลยากขึ้นมากสำหรับเครื่องมือค้นหาในการค้นหาและจัดทำดัชนี อ่านต่อเพื่อดูเพิ่มเติมเกี่ยวกับสิ่งที่แยกพื้นผิวและ Deep Web

ดังที่เราได้กล่าวไปแล้วมีเพจย่อยหลายล้านเพจที่เกลื่อนไปทั่วหลายล้านโดเมน มีเพจภายในที่ไม่มีลิงก์ภายนอกเช่น internal.howstuffworks.com ซึ่งใช้เพื่อวัตถุประสงค์ในการบำรุงรักษาไซต์ มีบล็อกโพสต์ที่ไม่ได้เผยแพร่หรือไม่เป็นสาธารณะแกลเลอรีรูปภาพไดเรกทอรีไฟล์และเนื้อหาจำนวนมากที่เครื่องมือค้นหาไม่สามารถมองเห็นได้

นี่เป็นเพียงตัวอย่างเดียว มีเว็บไซต์หนังสือพิมพ์ออนไลน์มากมายและบางครั้งเครื่องมือค้นหาจะจัดทำดัชนีบทความบางส่วนในเว็บไซต์เหล่านั้น โดยเฉพาะอย่างยิ่งสำหรับข่าวสำคัญที่ได้รับความสนใจจากสื่อจำนวนมาก การค้นหาโดย Google อย่างรวดเร็วจะเปิดเผยบทความมากมายเกี่ยวกับทีมฟุตบอลฟุตบอลโลกอย่างไม่ต้องสงสัย

แต่ถ้าคุณกำลังมองหาเรื่องราวที่คลุมเครือคุณอาจต้องไปที่เว็บไซต์หนังสือพิมพ์โดยตรงจากนั้นเรียกดูหรือค้นหาเนื้อหาเพื่อค้นหาสิ่งที่คุณต้องการ นี่เป็นเรื่องจริงโดยเฉพาะอย่างยิ่งเมื่อเป็นข่าวคราวต่างๆ ยิ่งเรื่องราวเก่า ๆ มีโอกาสมากขึ้นที่จะเก็บไว้ในที่เก็บถาวรของหนังสือพิมพ์เท่านั้นซึ่งไม่สามารถมองเห็นได้บนพื้นผิวเว็บ ต่อจากนั้นเรื่องราวดังกล่าวอาจไม่ปรากฏในเครื่องมือค้นหาในทันทีดังนั้นจึงนับเป็นส่วนหนึ่งของ Deep Web

ข้อมูลใน Deep Web นั้นยากที่เครื่องมือค้นหาจะมองเห็น แต่สิ่งที่มองไม่เห็นไม่เท่ากับสิ่งที่ไม่สำคัญ ดังที่คุณเห็นจากตัวอย่างหนังสือพิมพ์ของเราข้อมูลที่ซ่อนอยู่ใน Deep Web มีมูลค่ามหาศาล

Deep Web เป็นพื้นที่เก็บข้อมูลที่ไม่สิ้นสุดสำหรับข้อมูลจำนวนมาก มีฐานข้อมูลวิศวกรรมข้อมูลทางการเงินทุกชนิดเอกสารทางการแพทย์รูปภาพภาพประกอบ ... รายการดำเนินต่อไปโดยทั่วไปตลอดไป

และ Deep Web ก็ยิ่งลึกและซับซ้อนมากขึ้นเท่านั้น เพื่อให้เครื่องมือค้นหามีประโยชน์มากขึ้นโปรแกรมเมอร์ของพวกเขาต้องคิดหาวิธีดำน้ำในเว็บลึกและนำข้อมูลมาสู่พื้นผิว ไม่เพียง แต่ต้องค้นหาข้อมูลที่ถูกต้องเท่านั้น แต่ต้องหาวิธีที่จะนำเสนอโดยไม่ให้ผู้ใช้ปลายทางเข้ามาครอบงำ

เช่นเดียวกับธุรกิจทุกอย่างเครื่องมือค้นหากำลังจัดการกับข้อกังวลที่หนักกว่าว่าคุณและฉันสามารถหาสูตรแอปเปิ้ลกรอบที่ดีที่สุดในโลกได้หรือไม่ พวกเขาต้องการช่วยให้องค์กรมีอำนาจในการค้นหาและใช้ Deep Web ในรูปแบบที่แปลกใหม่และมีคุณค่า

ตัวอย่างเช่นวิศวกรก่อสร้างอาจค้นหาเอกสารการวิจัยในมหาวิทยาลัยหลายแห่งเพื่อค้นหาวัสดุก่อสร้างสะพานล่าสุดและดีที่สุด แพทย์สามารถค้นหางานวิจัยล่าสุดเกี่ยวกับโรคเฉพาะได้อย่างรวดเร็ว

ศักยภาพมีไม่ จำกัด ความท้าทายทางเทคนิคนั้นน่ากลัว นั่นคือจุดดึงดูดของ Deep Web ยังมีอีกด้านที่น่ากลัวกว่าสำหรับ Deep Web เช่นกันซึ่งเป็นเรื่องที่น่าหนักใจสำหรับผู้คนจำนวนมากด้วยเหตุผลหลายประการ

Deep Web อาจเป็นดินแดนเงาที่มีศักยภาพที่ไม่ได้ใช้ แต่ด้วยความสามารถและโชคช่วยคุณสามารถให้ข้อมูลที่มีค่ามากมายที่หลายคนทำงานเพื่อเก็บถาวร บนเว็บที่มืดมิดซึ่งผู้คนจงใจซ่อนข้อมูลพวกเขาจะชอบหากคุณปิดไฟทิ้งไว้

Dark Web นั้นเหมือนกับ id ของเว็บ เป็นส่วนตัว. มันไม่ระบุชื่อ มันทรงพลัง มันปลดปล่อยธรรมชาติของมนุษย์ในทุกรูปแบบทั้งดีและไม่ดี

สิ่งที่ไม่ดีเช่นเคยได้รับพาดหัวข่าวมากที่สุด คุณสามารถค้นหาสินค้าผิดกฎหมายและกิจกรรมทุกประเภทได้จากเว็บมืด ซึ่งรวมถึงยาเสพติดที่ผิดกฎหมายภาพอนาจารเด็กหมายเลขบัตรเครดิตที่ถูกขโมยการค้ามนุษย์อาวุธสัตว์แปลกสื่อที่มีลิขสิทธิ์และสิ่งอื่น ๆ ที่คุณนึกออก ในทางทฤษฎีคุณสามารถพูดจ้างคนตีเพื่อฆ่าคนที่คุณไม่ชอบได้

แต่คุณจะไม่พบข้อมูลนี้จากการค้นหาโดย Google ชนิดนี้ของเว็บไซต์ที่คุณต้องใช้ซอฟต์แวร์พิเศษเช่นหัวหอม Routerหรือที่รู้จักกันทั่วไปว่าเป็นทอร์

Tor เป็นซอฟต์แวร์ที่ติดตั้งลงในเบราว์เซอร์ของคุณและตั้งค่าการเชื่อมต่อเฉพาะที่คุณต้องการเพื่อเข้าถึงเว็บไซต์ที่มืด ที่สำคัญ Tor เป็นเทคโนโลยีเข้ารหัสที่ช่วยให้ผู้คนรักษาตัวตนทางออนไลน์ได้ บางส่วนทำเช่นนี้โดยกำหนดเส้นทางการเชื่อมต่อผ่านเซิร์ฟเวอร์ทั่วโลกทำให้ติดตามได้ยากขึ้นมาก

Tor ยังช่วยให้ผู้คนเข้าถึงสิ่งที่เรียกว่าบริการที่ซ่อนอยู่นั่นคือเว็บไซต์ใต้ดินที่ Dark Web เป็นที่เลื่องลือ แทนที่จะเห็นโดเมนที่ลงท้ายด้วย. com หรือ. org ไซต์ที่ซ่อนอยู่เหล่านี้จะลงท้ายด้วย. onion ในหน้าถัดไปเราจะลอกชั้นของหัวหอมบางส่วนออก

เว็บไซต์หัวหอมเหล่านี้ที่น่าอับอายที่สุดคือ Silk Road ซึ่งเป็นตลาดออนไลน์ที่ผู้ใช้สามารถซื้อยาเสพติดปืนและสิ่งของผิดกฎหมายอื่น ๆ ได้ทุกประเภท เอฟบีไอในที่สุดก็ถูกจับรอสส์ Ulbricht ที่ดำเนินการเส้นทางสายไหม แต่เว็บไซต์เลียนแบบเช่นดำตลาด Reloaded ยังคงมีอยู่ได้อย่างง่ายดาย

Tor เป็นผลมาจากการวิจัยของ US Naval Research Laboratory ซึ่งสร้าง Tor สำหรับผู้คัดค้านทางการเมืองและผู้แจ้งเบาะแสทำให้พวกเขาสามารถสื่อสารได้โดยไม่ต้องกลัวการตอบโต้

ทอร์มีประสิทธิภาพมากในการเปิดเผยตัวตนสำหรับกลุ่มเหล่านี้โดยใช้เวลาไม่นานสำหรับอาชญากรที่มีใจคิดจะเริ่มใช้มันเช่นกัน

That leaves U.S. law enforcement in the ironic position of attempting to track criminals who are using government-sponsored software to hide their trails. Tor, it would seem, is a double-edged sword.

Anonymity is part and parcel on the dark Web, but you may wonder how any money-related transactions can happen when sellers and buyers can't identify each other. That's where Bitcoin comes in.

If you haven't heard of Bitcoin, it's basically an encrypted digital currency. You can read all about it on How Bitcoin Works . Like regular cash, Bitcoin is good for transactions of all kinds, and notably, it also allows for anonymity; no one can trace a purchase, illegal or otherwise.

Bitcoin may be the currency of the future -- a decentralized and unregulated type of money free of the reins of any one government. But because Bitcoin isn't backed by any government, its value fluctuates, often wildly. It's anything but a safe place to store your life savings. But when paired properly with Tor, it's perhaps the closest thing to a foolproof way to buy and sell on the Web.

The dark Web has its ominous overtones. But not everything on the dark side is bad. There are all sorts of services that don't necessarily run afoul of the law.

The dark Web is home to alternate search engines, e-mail services, file storage, file sharing, social media, chat sites, news outlets and whistleblowing sites, as well as sites that provide a safer meeting ground for political dissidents and anyone else who may find themselves on the fringes of society.

In an age where NSA-type surveillance is omnipresent and privacy seems like a thing of the past, the dark Web offers some relief to people who prize their anonymity . Dark Web search engines may not offer up personalized search results, but they don't track your online behavior or offer up an endless stream of advertisements, either. Bitcoin may not be entirely stable, but it offers privacy, which is something your credit card company most certainly does not.

For citizens living in countries with violent or oppressive leaders, the dark Web offers a more secure way to communicate with like-minded individuals. Unlike Facebook or Twitter, which are easy for determined authorities to monitor, the dark Web provides deeper cover and a degree of safety for those who would badmouth or plot to undermine politicians or corporate overlords.

A paper written by researchers at the University of Luxembourg attempted to rank the most commonly accessed materials on the dark Web. What they found was that although sites trading in illegal activities and adult content are very popular, so too are those concerned with human rights and freedom of information [Source: ArXiv].

So although the dark Web definitely has its ugly side, it has great potential, too.

The deep Web is only getting deeper. Its store of human knowledge and trivialities grows more massive every day, complicating our efforts to make sense of it all. In the end, that's perhaps the biggest challenge behind the Internet that we've created.

Programmers will continue to improve search engine algorithms , making them better at delving into deeper layers of the Web. In doing so, they'll help researchers and businesses connect and cross-reference information in ways that were never possible before.

At the same time, the primary job of a smart search engine is not to simply find information. What you really want it to do is find the most relevant information. Otherwise, you're left awash in a sea of cluttered data that leaves you wishing you had never clicked on that search button.

That's the problem of so-called big data. Big data is the name for sets of data that are so large that they become unmanageable and incoherent. Because the Internet is growing so quickly, our whole world is overrun with data, and it's hard for anyone to make sense of it all -- even all of those powerful, all-knowing computers at Bing and Google headquarters.

As the Internet grows, every large company spends more and more money on data management and analysis, both to keep their own organizations functioning and also to obtain competitive advantages over others. Mining and organizing the deep Web is a vital part of those strategies. Those companies that learn to leverage this data for their own uses will survive and perhaps change the world with new technologies. Those that rely only on the surface Web won't be able to compete.

In the meantime, the deep Web will continue to perplex and fascinate everyone who uses the Internet. It contains an enthralling amount of knowledge that could help us evolve technologically and as a species when connected to other bits of information. And of course, its darker side will always be lurking, too, just as it always does in human nature. The deep Web speaks to the fathomless, scattered potential of not only the Internet, but the human race, too.

Author's Note: How the Deep Web Works

The Deep Web is a vague, ambiguous place. But while researching this story, it was easy to conclude at least one thing for sure -- most news headlines tend to sensationalize the dark Web and its seedier side, and rarely mention the untapped potential of the deep Web. Articles about illegal drugs and weapons obviously draw more readers than those detailing the technical challenges of harvesting data from the deep Web. Read the negative, breathless articles with a grain of salt. It's worth remembering that there's a whole lot more to the deep Web than the obvious criminal element. As engineers find better, faster ways to catalog the Web's stores of data, the Internet as a whole could transform our society in amazing ways.

Related Articles