딥 웹의 작동 원리

실제로 얽힌 웹이 짜는 것입니다. 전 세계 인구의 약 40 %가 뉴스, 엔터테인먼트, 커뮤니케이션 및 기타 수많은 목적으로 웹을 사용합니다 [출처 : Internet World Stats ]. 그러나 점점 더 많은 사람들이 로그온하더라도 실제로는 온라인에 저장된 데이터를 더 적게 찾고 있습니다. 이는 우리가 알고있는 World Wide Web의 일부만 쉽게 액세스 할 수 있기 때문입니다.

우리 모두가 일상적으로 사용하는 소위 표면 웹 은 검색 엔진이 검색 한 다음 귀하의 쿼리에 대한 응답으로 제공 할 수있는 데이터로 구성됩니다. 그러나 관찰자들이 빙산의 일각 만 볼 수있는 것과 같은 방식으로 기존의 검색 엔진 은 사용 가능한 정보 중 0.03 %에 불과합니다 [출처 : OEDB ].

나머지는? 글쎄요, 그것의 많은 부분이 딥 웹 이라는 곳에 묻혀 있습니다. 딥 웹 (언더 넷, 보이지 않는 웹 및 숨겨진 웹이라고도 함)은 간단한 Google 검색으로는 찾을 수없는 데이터로 구성됩니다.

딥 웹이 실제로 얼마나 큰지는 아무도 모르지만 표면 웹보다 수백 배 (또는 수천 배) 더 큽니다. 이 데이터는 고의로 숨겨져있는 것은 아닙니다. 현재의 검색 엔진 기술이 그것을 찾고 이해하는 것은 어렵습니다.

훨씬 더 어둡고 때로는 더 어두운 딥 웹의 뒷면이 있기 때문에 다크 웹 이라고도합니다 . 다크 웹에서 사용자는 실제로 의도적으로 데이터를 묻습니다. 종종 웹의 이러한 부분은 다크 웹의 양파와 같은 레이어를 제거하는 데 도움이되는 특수 브라우저 소프트웨어를 사용하는 경우에만 액세스 할 수 있습니다.

이 소프트웨어 는 데이터의 소스와 대상, 그리고 데이터에 액세스하는 사람들의 프라이버시를 유지합니다. 정치적 반체제 인사와 범죄자 모두에게 이러한 종류의 익명 성은 다크 웹의 엄청난 힘을 보여 주어 정보, 상품 및 서비스를 합법적이든 불법적이든 전 세계 권력의 억울함에게 이전 할 수있게합니다.

검색 엔진이 단순히 웹 표면을 긁는 것처럼, 우리는 시작에 불과합니다. 웹이 실제로 얼마나 엉 키게되었는지 알아 보려면 계속 읽으십시오.

내용

1. 일반 사이트에 숨겨져 있음
2. 표면 바로 아래
3. 깊은 잠재력
4. 어둠이 내리다
5. 자극적 인 토르
6. 어둠의 밝은면
7. 더 깊게

딥 웹은 표면 웹에 비해 엄청납니다. 오늘날의 웹에는 5 억 5500 만 개 이상의 등록 된 도메인이 있습니다. 이러한 각 도메인에는 수십, 수백 또는 수천 개의 하위 페이지가있을 수 있으며, 그 중 대부분은 카탈로그 화되지 않았으므로 딥 웹 범주에 속합니다.

아무도 확실히 알지는 못하지만 딥 웹은 표면 웹보다 400 ~ 500 배 더 클 수 있습니다 [출처 : BrightPlanet ]. 그리고 표면과 딥 웹은 매일 점점 더 커지고 있습니다.

많은 정보가 검색 엔진에서 보이지 않는 이유를 이해하려면 검색 기술에 대한 약간의 배경 지식이 있으면 도움이됩니다. 인터넷 검색 엔진의 작동 방식에서 모든 내용을 읽을 수 있지만 여기에서는 간단한 요약을 제공합니다.

검색 엔진은 일반적으로 웹 사이트 및 기타 온라인 리소스에 저장된 정보를 찾아 데이터 인덱스 를 만듭니다 . 이 프로세스는 자동화 된 스파이더 또는 크롤러를 사용하여 도메인을 찾은 다음 거미처럼 웹의 부드러운 덩굴손을 따라가는 거미처럼 다른 도메인으로 연결되는 하이퍼 링크를 사용하여 웹의 거대한지도를 만듭니다.

이 색인 또는지도는 귀하의 필요와 관련된 특정 데이터를 찾는 데 중요한 역할을합니다. 키워드 검색을 입력 할 때마다 해당 색인 덕분에 결과가 거의 즉시 나타납니다. 그것이 없다면 검색 엔진은 누군가가 정보를 원할 때마다 처음부터 수십억 페이지를 검색하기 시작해야 할 것입니다.이 과정은 다루기 힘들고 짜증이 날 것입니다.

그러나 검색 엔진은 딥 웹에 저장된 데이터를 볼 수 없습니다. 인덱싱 작업을 복잡하게 만드는 데이터 비 호환성 및 기술적 장애물이 있습니다. 콘텐츠에 액세스 하려면 로그인 암호 를 요구하는 개인 웹 사이트가 있습니다. 크롤러는 단일 특정 웹 사이트에서 키워드 검색이 필요한 데이터에 침투 할 수 없습니다. 특정 시간 제한이 지나면 더 이상 공개보기를 허용하지 않는 시간 제한 액세스 사이트가 있습니다.

이러한 모든 문제와 다른 많은 문제로 인해 검색 엔진이 데이터를 찾고 색인을 생성하기가 훨씬 더 어려워집니다. 표면과 딥 웹을 구분하는 요소에 대해 자세히 알아 보려면 계속 읽으십시오.

이미 언급했듯이 수백만 개의 도메인에 흩어져있는 수백만 개의 하위 페이지가 있습니다. 사이트 유지 관리 목적으로 사용되는 internal.howstuffworks.com과 같이 외부 링크가없는 내부 페이지가 있습니다. 게시되지 않았거나 나열되지 않은 블로그 게시물, 사진 갤러리, 파일 디렉토리 및 검색 엔진이 볼 수없는 엄청난 양의 콘텐츠가 있습니다.

여기에 한 가지 예가 있습니다. 온라인 에는 많은 독립 신문 웹 사이트가 있으며 때로는 검색 엔진이 해당 사이트의 기사 일부를 색인화합니다. 언론의 많은 관심을받는 주요 뉴스 기사의 경우 특히 그렇습니다. 빠른 Google 검색은 의심 할 여지없이 월드컵 축구 팀에 대한 수십 개의 기사를 공개 합니다.

그러나 좀 더 모호한 기사를 찾고 있다면 특정 신문 사이트로 직접 이동 한 다음 콘텐츠를 탐색하거나 검색하여 원하는 내용을 찾아야 할 수 있습니다. 이것은 뉴스 기사가 오래됨에 따라 특히 그렇습니다. 이야기가 오래 될수록 신문의 아카이브에만 저장되며 표면 웹에서는 볼 수 없습니다. 결과적으로 그 이야기는 검색 엔진에 쉽게 나타나지 않을 수 있으므로 딥 웹의 일부로 간주됩니다.

딥 웹의 데이터는 검색 엔진이보기 어렵지만 보이지 않는 것은 중요하지 않습니다. 신문의 예에서 볼 수 있듯이 딥 웹에 숨겨져있는 정보에는 엄청난 가치가 있습니다.

딥 웹은 엄청난 양의 정보를위한 끝없는 저장소입니다. 엔지니어링 데이터베이스, 모든 종류의 재무 정보, 의학 논문, 그림, 삽화가 있습니다. 목록은 기본적으로 영원히 계속됩니다.

그리고 딥 웹은 점점 더 깊어지고 복잡해지고 있습니다. 검색 엔진의 유용성을 높이 려면 프로그래머 가 딥 웹에 뛰어 들고 데이터를 표면으로 가져 오는 방법을 파악해야합니다. 어떻게 든 그들은 유효한 정보를 찾아야 할뿐만 아니라 최종 사용자를 압도하지 않고 그것을 제시 할 방법을 찾아야합니다.

모든 비즈니스와 마찬가지로 검색 엔진은 여러분과 제가 세계에서 가장 맛있는 사과 요리법을 찾을 수 있는지보다 더 중요한 문제를 다루고 있습니다. 그들은 기업 권력자들이 새롭고 가치있는 방법으로 딥 웹을 찾고 사용하도록 돕고 싶어합니다.

예를 들어, 건설 엔지니어는 교량 건축 자재의 최신 및 최고를 찾기 위해 잠재적으로 여러 대학의 연구 논문을 검색 할 수 있습니다. 의사는 특정 질병에 대한 최신 연구를 신속하게 찾을 수 있습니다.

잠재력은 무한합니다. 기술적 문제는 벅차다. 이것이 딥 웹의 매력입니다. 그러나 딥 웹에는 더 모호한 측면도 있습니다. 많은 이유에서 많은 사람들에게 문제가되는 부분입니다.

딥 웹은 아직 개발되지 않은 잠재력의 그림자 땅이 될 수 있지만 약간의 기술과 약간의 운만 있으면 많은 사람들이 보관하기 위해 작업 한 많은 귀중한 정보를 밝힐 수 있습니다. 사람들이 의도적으로 정보를 숨기는 다크 웹에서는 불을 끄면 정보를 선호합니다.

다크 웹은 웹의 ID와 약간 비슷합니다. 비공개입니다. 그것은이다 익명 . 강력합니다. 그것은 선과 악의 모든 형태로 인간의 본성을 드러냅니다.

항상 그렇듯이 나쁜 것은 대부분의 헤드 라인을 장식합니다. 다크 웹을 통해 불법 상품과 모든 종류의 활동을 찾을 수 있습니다. 여기에는 불법 마약, 아동 포르노, 훔친 신용 카드 번호, 인신 매매 , 무기, 이국적인 동물, 저작권이있는 미디어 및 기타 생각할 수있는 모든 것이 포함됩니다. 이론적으로는, 당신이 싫어하는 사람을 죽이기 위해 암살자를 고용 할 수도 있습니다.

그러나 Google 검색으로는이 정보를 찾을 수 없습니다. 이러한 종류의 웹 사이트에서는 일반적으로 Tor 로 알려진 The Onion Router 와 같은 특수 소프트웨어를 사용해야 합니다.

Tor는 브라우저에 설치하고 다크 웹 사이트에 액세스하는 데 필요한 특정 연결을 설정하는 소프트웨어입니다. 비판적으로 Tor는 사람들이 온라인에서 익명 성을 유지하도록 돕는 암호화 된 기술입니다. 부분적으로는 전 세계의 서버를 통해 연결을 라우팅하여 추적하기가 훨씬 더 어렵습니다.

Tor는 또한 사람들이 다크 웹이 악명 높은 지하 웹 사이트 인 소위 숨겨진 서비스에 액세스 할 수 있도록합니다. .com 또는 .org로 끝나는 도메인을 보는 대신 이러한 숨겨진 사이트는 .onion으로 끝납니다. 다음 페이지에서 우리는 그 양파의 일부 층을 벗길 것입니다.

이 양파 사이트 중 가장 악명 높은 곳은 사용자가 마약, 총기 및 기타 모든 종류의 불법 품목을 구입할 수있는 온라인 마켓 플레이스 인 현재는 사라진 실크로드였습니다. FBI는 결국 실크로드를 운영하는 로스 울 브리 히트를 캡처하지만 블랙 마켓 리로디드 같은 모방 사이트는 여전히 쉽게 사용할 수 있습니다.

이상하게도 Tor는 정치적 반체제 인사와 내부 고발자를 위해 Tor를 만든 미국 해군 연구소에서 수행 한 연구 결과로 보복에 대한 두려움없이 소통 할 수 있습니다.

Tor는 이러한 그룹에 대해 익명 성을 제공하는 데 매우 효과적이어서 범죄자도 사용을 시작하는 데 오래 걸리지 않았습니다.

이로 인해 미국 법 집행 기관은 정부 지원 소프트웨어를 사용하여 흔적을 숨기는 범죄자를 추적하려는 아이러니 한 입장에 처하게됩니다. Tor는 양날의 검처럼 보입니다.

익명 성은 다크 웹의 일부이자 소포이지만 판매자와 구매자가 서로를 식별 할 수 없을 때 돈 관련 거래가 어떻게 발생할 수 있는지 궁금 할 수 있습니다. 그것이 비트 코인 이 들어오는 곳 입니다.

비트 코인에 대해 들어 본 적이 없다면 기본적으로 암호화 된 디지털 통화입니다. Bitcoin 작동 방식 에서 모든 내용을 읽을 수 있습니다 . 일반 현금과 마찬가지로 비트 코인은 모든 종류의 거래에 유용하며 특히 익명 성을 허용합니다. 누구도 불법적이거나 기타 구매를 추적 할 수 없습니다.

비트 코인은 미래의 통화가 될 수 있습니다-어느 한 정부의 고삐가없는 분산되고 규제되지 않은 유형의 화폐입니다. 그러나 비트 코인은 정부의 지원을받지 않기 때문에 그 가치는 종종 크게 변동합니다. 그것은 당신의 생명을 저장하는 안전한 장소에 불과합니다. 그러나 Tor와 제대로 짝을 이루면 웹에서 사고팔 수있는 완벽한 방법 일 것입니다.

다크 웹에는 불길한 배음이 있습니다. 그러나 어두운면의 모든 것이 나쁜 것은 아닙니다. 반드시 법률을 위반하지 않는 모든 종류의 서비스가 있습니다.

The dark Web is home to alternate search engines, e-mail services, file storage, file sharing, social media, chat sites, news outlets and whistleblowing sites, as well as sites that provide a safer meeting ground for political dissidents and anyone else who may find themselves on the fringes of society.

In an age where NSA-type surveillance is omnipresent and privacy seems like a thing of the past, the dark Web offers some relief to people who prize their anonymity . Dark Web search engines may not offer up personalized search results, but they don't track your online behavior or offer up an endless stream of advertisements, either. Bitcoin may not be entirely stable, but it offers privacy, which is something your credit card company most certainly does not.

폭력적이거나 억압적인 지도자가있는 국가에 거주하는 시민들에게 다크 웹은 같은 생각을 가진 사람들과보다 안전하게 소통 할 수있는 방법을 제공합니다. 단호한 당국이 모니터링하기 쉬운 페이스 북이나 트위터와 달리 다크 웹은 정치인이나 기업의 지배자를 욕하거나 욕설을하려는 사람들에게 더 깊은 은폐와 수준의 안전을 제공합니다.

룩셈부르크 대학의 연구자들이 작성한 논문은 다크 웹에서 가장 일반적으로 액세스되는 자료의 순위를 매기려고했습니다. 그들이 발견 한 사실은 불법 행위와 성인용 콘텐츠를 거래하는 사이트가 매우 인기가 있지만 인권과 정보의 자유에 관심이있는 사이트도 마찬가지라는 것입니다 [출처 : ArXiv ].

따라서 다크 웹은 분명히 추악한면이 있지만 잠재력도 크다.

The deep Web is only getting deeper. Its store of human knowledge and trivialities grows more massive every day, complicating our efforts to make sense of it all. In the end, that's perhaps the biggest challenge behind the Internet that we've created.

Programmers will continue to improve search engine algorithms , making them better at delving into deeper layers of the Web. In doing so, they'll help researchers and businesses connect and cross-reference information in ways that were never possible before.

At the same time, the primary job of a smart search engine is not to simply find information. What you really want it to do is find the most relevant information. Otherwise, you're left awash in a sea of cluttered data that leaves you wishing you had never clicked on that search button.

That's the problem of so-called big data. Big data is the name for sets of data that are so large that they become unmanageable and incoherent. Because the Internet is growing so quickly, our whole world is overrun with data, and it's hard for anyone to make sense of it all -- even all of those powerful, all-knowing computers at Bing and Google headquarters.

As the Internet grows, every large company spends more and more money on data management and analysis, both to keep their own organizations functioning and also to obtain competitive advantages over others. Mining and organizing the deep Web is a vital part of those strategies. Those companies that learn to leverage this data for their own uses will survive and perhaps change the world with new technologies. Those that rely only on the surface Web won't be able to compete.

In the meantime, the deep Web will continue to perplex and fascinate everyone who uses the Internet. It contains an enthralling amount of knowledge that could help us evolve technologically and as a species when connected to other bits of information. And of course, its darker side will always be lurking, too, just as it always does in human nature. The deep Web speaks to the fathomless, scattered potential of not only the Internet, but the human race, too.

Author's Note: How the Deep Web Works

The Deep Web is a vague, ambiguous place. But while researching this story, it was easy to conclude at least one thing for sure -- most news headlines tend to sensationalize the dark Web and its seedier side, and rarely mention the untapped potential of the deep Web. Articles about illegal drugs and weapons obviously draw more readers than those detailing the technical challenges of harvesting data from the deep Web. Read the negative, breathless articles with a grain of salt. It's worth remembering that there's a whole lot more to the deep Web than the obvious criminal element. As engineers find better, faster ways to catalog the Web's stores of data, the Internet as a whole could transform our society in amazing ways.

Related Articles