Jak działa głęboka sieć

Co za splątana sieć, którą tkamy, rzeczywiście. Około 40 procent światowej populacji korzysta z sieci w celach informacyjnych, rozrywkowych, komunikacyjnych i do niezliczonych innych celów [źródło: Internet World Stats ]. Jednak nawet gdy coraz więcej osób się loguje, w rzeczywistości znajduje coraz mniej danych przechowywanych online. Dzieje się tak, ponieważ tylko wycinek tego, co znamy jako sieć WWW, jest łatwo dostępny.

Tak zwana sieć powierzchniowa , z której wszyscy korzystamy rutynowo, składa się z danych, które wyszukiwarki mogą znaleźć, a następnie zaoferować w odpowiedzi na Twoje zapytania. Ale w taki sam sposób, w jaki tylko wierzchołek góry lodowej jest widoczny dla obserwatorów, tradycyjna wyszukiwarka widzi tylko niewielką ilość dostępnych informacji – marne 0,03 procent [źródło: OEDB ].

Co do reszty? Cóż, wiele z nich jest ukrytych w tak zwanej głębokiej sieci . Głęboka sieć (nazywana również między innymi podsiecią, niewidzialną siecią i ukrytą siecią) składa się z danych, których nie można zlokalizować za pomocą prostego wyszukiwania w Google.

Nikt tak naprawdę nie wie, jak duża jest naprawdę głęboka sieć, ale jest ona setki (a może nawet tysiące) razy większa niż sieć powierzchniowa. Te dane niekoniecznie są celowo ukryte. Obecna technologia wyszukiwarek po prostu ma trudności ze znalezieniem i zrozumieniem tego.

Istnieje druga strona głębokiej sieci, która jest o wiele bardziej mroczna – i czasami ciemniejsza – dlatego znana jest również jako ciemna sieć . W ciemnej sieci użytkownicy naprawdę celowo zakopują dane. Często te części sieci są dostępne tylko wtedy, gdy używasz specjalnego oprogramowania przeglądarki, które pomaga oderwać podobne do cebuli warstwy ciemnej sieci.

To oprogramowanie zapewnia prywatność zarówno źródła, jak i miejsca przeznaczenia danych oraz osób, które uzyskują do nich dostęp. Zarówno dla politycznych dysydentów, jak i przestępców ten rodzaj anonimowości pokazuje ogromną moc ciemnej sieci, umożliwiającą legalny lub nielegalny transfer informacji, towarów i usług, ku rozgoryczeniu mocarstw na całym świecie.

Tak jak wyszukiwarka po prostu drapie powierzchnię sieci, tak my dopiero zaczynamy. Czytaj dalej, aby dowiedzieć się, jak naprawdę splątana staje się nasza sieć.

1. Ukryty w zwykłym miejscu
2. Tuż pod powierzchnią
3. Głęboki potencjał
4. Ciemnosc zapada
5. Podniecający Tor
6. Jaśniejsza strona ciemności
7. Jeszcze głębiej

Głęboka sieć jest ogromna w porównaniu z siecią powierzchniową. Dzisiejsza sieć ma ponad 555 milionów zarejestrowanych domen. Każda z tych domen może mieć dziesiątki, setki, a nawet tysiące podstron, z których wiele nie jest skatalogowanych, a tym samym zalicza się do kategorii deep Web.

Chociaż nikt tak naprawdę nie wie tego na pewno, głęboka sieć może być od 400 do 500 razy większa niż sieć powierzchniowa [źródło: BrightPlanet ]. A zarówno powierzchnia, jak i głęboka sieć z każdym dniem stają się coraz większe.

Aby zrozumieć, dlaczego tak wiele informacji jest poza zasięgiem wyszukiwarek, warto mieć trochę wiedzy na temat technologii wyszukiwania. Możesz o tym przeczytać w artykule Jak działają wyszukiwarki internetowe, ale tutaj przedstawimy Ci krótki opis.

Wyszukiwarki zazwyczaj tworzą indeks danych, znajdując informacje przechowywane w witrynach sieci Web i innych zasobach online. Proces ten oznacza użycie automatycznych pająków lub robotów indeksujących , które lokalizują domeny, a następnie podążają za hiperłączami do innych domen, jak pajęczak podążający za jedwabistymi wąsami sieci, tworząc w pewnym sensie rozległą mapę sieci.

Ten indeks lub mapa jest Twoim kluczem do znalezienia konkretnych danych, które są odpowiednie dla Twoich potrzeb. Za każdym razem, gdy wprowadzisz wyszukiwanie słów kluczowych, wyniki pojawiają się niemal natychmiast dzięki temu indeksowi. Bez niego wyszukiwarka musiałaby dosłownie zacząć przeszukiwać miliardy stron od zera za każdym razem, gdy ktoś szukał informacji, co byłoby zarówno nieporęczne, jak i irytujące.

Ale wyszukiwarki nie widzą danych przechowywanych w głębokiej sieci. Istnieją niezgodności danych i przeszkody techniczne, które komplikują prace związane z indeksowaniem. Istnieją prywatne witryny internetowe, które wymagają podania hasła logowania przed uzyskaniem dostępu do zawartości. Przeszukiwacze nie mogą penetrować danych wymagających wyszukiwania słów kluczowych w jednej, określonej witrynie sieci Web. Istnieją strony o ograniczonym dostępie, które nie pozwalają już na publiczne wyświetlanie po upływie określonego czasu.

Wszystkie te wyzwania i wiele innych znacznie utrudniają wyszukiwarkom znalezienie i zindeksowanie danych. Czytaj dalej, aby dowiedzieć się więcej o tym, co oddziela sieć powierzchniową i głęboką.

Jak już zauważyliśmy, są miliony podstron rozsianych po milionach domen. Istnieją strony wewnętrzne bez linków zewnętrznych, takie jak internal.howstuffworks.com, które są wykorzystywane do celów konserwacji witryny. Istnieją nieopublikowane lub niepubliczne posty na blogach, galerie zdjęć, katalogi plików i niezliczone ilości treści, których wyszukiwarki po prostu nie widzą.

Oto tylko jeden przykład. Istnieje wiele witryn internetowych niezależnych gazet , a czasami wyszukiwarki indeksują kilka artykułów w tych witrynach. Dotyczy to w szczególności głównych wiadomości, które cieszą się dużym zainteresowaniem mediów. Szybkie wyszukiwanie w Google bez wątpienia odsłoni wiele dziesiątek artykułów dotyczących np . drużyn piłkarskich Mistrzostw Świata .

Ale jeśli szukasz bardziej niejasnej historii, być może będziesz musiał przejść bezpośrednio do określonej witryny gazety, a następnie przeglądać lub przeszukiwać treść, aby znaleźć to, czego szukasz. Jest to szczególnie prawdziwe, gdy wiadomości się starzeją. Im starsza historia, tym bardziej prawdopodobne, że jest przechowywana tylko w archiwum gazety, które nie jest widoczne w sieci. Później ta historia może nie pojawiać się łatwo w wyszukiwarkach, więc liczy się jako część głębokiej sieci.

Wyszukiwarkom trudno jest dostrzec dane w Deep Web, ale niewidoczne nie są nieistotne. Jak widać tylko z naszego przykładu z gazety, informacje ukryte w głębokiej sieci mają ogromną wartość.

Głęboka sieć to nieskończone repozytorium oszałamiającej ilości informacji. Istnieją inżynierskie bazy danych, wszelkiego rodzaju informacje finansowe, dokumenty medyczne, zdjęcia, ilustracje… lista jest w zasadzie nieskończona.

A głęboka sieć staje się coraz głębsza i bardziej skomplikowana. Aby wyszukiwarki mogły zwiększyć swoją użyteczność, ich programiści muszą dowiedzieć się, jak zagłębić się w głęboką sieć i wydobyć dane na powierzchnię. W jakiś sposób muszą nie tylko znaleźć ważne informacje, ale muszą znaleźć sposób na ich zaprezentowanie bez przytłaczania użytkowników końcowych.

Podobnie jak w przypadku wszystkich spraw związanych z biznesem, wyszukiwarki zajmują się ważniejszymi problemami niż to, czy ty i ja jesteśmy w stanie znaleźć najlepszy przepis na chipsy jabłkowe na świecie. Chcą pomóc władzom korporacyjnym znaleźć i wykorzystać głęboką sieć w nowatorski i wartościowy sposób.

Na przykład inżynierowie budowlani mogą potencjalnie przeszukiwać artykuły naukowe na wielu uniwersytetach w celu znalezienia najnowszych i najlepszych materiałów do budowy mostów. Lekarze mogliby szybko zlokalizować najnowsze badania nad konkretną chorobą.

Potencjał jest nieograniczony. Wyzwania techniczne są zniechęcające. To jest przyciąganie głębokiej sieci. Jednak głęboka sieć ma też mroczniejszą stronę — taką, która z wielu powodów niepokoi wielu ludzi.

Głęboka sieć może być krainą cieni o niewykorzystanym potencjale, ale przy odrobinie umiejętności i odrobinie szczęścia możesz rzucić światło na wiele cennych informacji, nad których archiwizacją pracowało wiele osób. W ciemnej sieci, gdzie ludzie celowo ukrywają informacje, woleliby, gdybyś zgasł światło.

Ciemna sieć jest trochę jak id sieci. To prywatne. Jest anonimowy . Jest potężny. Uwalnia ludzką naturę we wszystkich jej formach, zarówno dobrych, jak i złych.

Złe rzeczy, jak zawsze, trafiają na pierwsze strony gazet. W ciemnej sieci można znaleźć nielegalne towary i wszelkiego rodzaju działania. Obejmuje to nielegalne narkotyki, pornografię dziecięcą, skradzione numery kart kredytowych, handel ludźmi , broń, egzotyczne zwierzęta, media chronione prawami autorskimi i wszystko inne, o czym możesz pomyśleć. Teoretycznie możesz nawet, powiedzmy, wynająć płatnego zabójcę, żeby zabił kogoś, kogo nie lubisz.

Ale nie znajdziesz tych informacji w wyszukiwarce Google. Tego rodzaju strony internetowe wymagają użycia specjalnego oprogramowania, takiego jak The Onion Router , bardziej znanego jako Tor .

Tor to oprogramowanie, które instaluje się w przeglądarce i ustawia określone połączenia potrzebne do uzyskania dostępu do ciemnych stron internetowych. Co najważniejsze, Tor to zaszyfrowana technologia, która pomaga ludziom zachować anonimowość w Internecie. Dzieje się to częściowo poprzez routing połączeń przez serwery na całym świecie, co znacznie utrudnia ich śledzenie.

Tor pozwala także ludziom na dostęp do tak zwanych usług ukrytych – podziemnych stron internetowych, z których słynie ciemna sieć. Zamiast widzieć domeny kończące się na .com lub .org, te ukryte witryny kończą się na .onion. Na następnej stronie odsuniemy warstwy niektórych z tych cebul.

Najbardziej niesławną z tych witryn cebulowych był nieistniejący już Silk Road, internetowy rynek, na którym użytkownicy mogli kupować narkotyki, broń i wszelkiego rodzaju inne nielegalne przedmioty. FBI ostatecznie schwytany Ross Ulbricht, który obsługiwany Silk Road, ale strony copycat jak Black Market Reaktywacja są nadal łatwo dostępne.

Co dziwne, Tor jest wynikiem badań przeprowadzonych przez Laboratorium Badawcze Marynarki Wojennej Stanów Zjednoczonych, które stworzyło Tora dla dysydentów politycznych i demaskatorów, umożliwiając im komunikowanie się bez obawy przed represjami.

Tor był tak skuteczny w zapewnianiu anonimowości tym grupom, że nie trzeba było długo czekać, aby osoby o nastawionych kryminalistach zaczęły z niego korzystać.

To stawia amerykańskie organy ścigania w ironicznej sytuacji, próbując śledzić przestępców, którzy używają oprogramowania sponsorowanego przez rząd, aby ukryć swoje ślady. Wygląda na to, że Tor jest mieczem obosiecznym.

Anonimowość jest nieodłączną częścią ciemnej sieci, ale możesz się zastanawiać, jak mogą mieć miejsce transakcje związane z pieniędzmi, gdy sprzedający i kupujący nie mogą się nawzajem zidentyfikować. Tu właśnie pojawia się Bitcoin .

Jeśli nie słyszałeś o Bitcoin, jest to w zasadzie zaszyfrowana cyfrowa waluta. Możesz o tym przeczytać w artykule Jak działa Bitcoin . Podobnie jak zwykła gotówka, Bitcoin jest dobry do wszelkiego rodzaju transakcji, a co najważniejsze, pozwala również na anonimowość; nikt nie może śledzić zakupu, nielegalnego lub innego.

Bitcoin może być walutą przyszłości – zdecentralizowanym i nieuregulowanym rodzajem pieniędzy, wolnym od lejców jakiegokolwiek rządu. Ale ponieważ Bitcoin nie jest wspierany przez żaden rząd, jego wartość zmienia się, często gwałtownie. To wszystko, ale nie jest to bezpieczne miejsce do przechowywania oszczędności życia. Ale gdy jest odpowiednio sparowany z Torem, jest to być może najbliższa rzecz do niezawodnego sposobu kupowania i sprzedawania w sieci.

Ciemna sieć ma swój złowieszczy wydźwięk. Ale nie wszystko po ciemnej stronie jest złe. Istnieją różne rodzaje usług, które niekoniecznie są sprzeczne z prawem.

Dark Web jest domem dla alternatywnych wyszukiwarek, usług poczty e-mail , przechowywania plików, udostępniania plików, mediów społecznościowych, czatów, serwisów informacyjnych i serwisów informujących o nieprawidłowościach, a także witryn zapewniających bezpieczniejsze miejsce spotkań dla dysydentów politycznych i każdego, kto mogą znaleźć się na marginesie społeczeństwa.

W epoce, w której inwigilacja typu NSA jest wszechobecna, a prywatność wydaje się być przeszłością, mroczna sieć oferuje pewną ulgę ludziom, którzy cenią sobie anonimowość . Wyszukiwarki ciemnej sieci mogą nie oferować spersonalizowanych wyników wyszukiwania, ale nie śledzą również Twoich zachowań w Internecie ani nie oferują niekończącego się strumienia reklam. Bitcoin może nie jest w pełni stabilny, ale zapewnia prywatność, czego z pewnością nie oferuje Twoja firma obsługująca karty kredytowe.

Dla obywateli żyjących w krajach, w których przywódcy są brutalni lub opresyjni, ciemna sieć oferuje bezpieczniejszy sposób komunikowania się z osobami o podobnych poglądach. W przeciwieństwie do Facebooka czy Twittera, które są łatwe do monitorowania przez zdeterminowane władze, ciemna sieć zapewnia głębszą osłonę i stopień bezpieczeństwa dla tych, którzy oczerniają lub spiskują w celu osłabienia polityków lub korporacyjnych władców.

W artykule napisanym przez naukowców z Uniwersytetu Luksemburskiego podjęto próbę uszeregowania najczęściej dostępnych materiałów w ciemnej sieci. Odkryli, że chociaż witryny handlujące nielegalną działalnością i treściami dla dorosłych są bardzo popularne, tak samo cieszą się osoby zajmujące się prawami człowieka i wolnością informacji [Źródło: ArXiv ].

Więc chociaż ciemna sieć ma zdecydowanie swoją brzydką stronę, ma też ogromny potencjał.

Głęboka sieć jest coraz głębsza. Zasób ludzkiej wiedzy i drobiazgów rośnie z każdym dniem, komplikując nasze wysiłki, aby to wszystko zrozumieć. W końcu to chyba największe wyzwanie stojące za Internetem, który stworzyliśmy.

Programiści będą nadal ulepszać algorytmy wyszukiwarek , dzięki czemu będą lepiej zagłębiać się w głębsze warstwy sieci. W ten sposób pomogą naukowcom i firmom łączyć i odwoływać się do informacji w sposób, który nigdy wcześniej nie był możliwy.

Jednocześnie podstawowym zadaniem inteligentnej wyszukiwarki nie jest samo wyszukiwanie informacji. To, czego naprawdę chcesz, to znalezienie najbardziej odpowiednich informacji. W przeciwnym razie zostaniesz zatopiony w morzu zaśmieconych danych, które sprawiają, że żałujesz, że nigdy nie kliknąłeś tego przycisku wyszukiwania.

To jest problem tzw. big data . Big data to nazwa zbiorów danych, które są tak duże, że stają się niemożliwe do zarządzania i niespójne. Ponieważ Internet rozwija się tak szybko, cały nasz świat jest przepełniony danymi i trudno jest każdemu zrozumieć to wszystko – nawet te wszystkie potężne, wszechwiedzące komputery w siedzibie Bing i Google.

Wraz z rozwojem Internetu każda duża firma wydaje coraz więcej pieniędzy na zarządzanie danymi i ich analizę, zarówno po to, by utrzymać funkcjonowanie własnej organizacji, jak i na uzyskanie przewagi konkurencyjnej nad innymi. Wydobywanie i organizowanie głębokiej sieci jest istotną częścią tych strategii. Firmy, które nauczą się wykorzystywać te dane do własnych celów, przetrwają i być może zmienią świat dzięki nowym technologiom. Ci, którzy polegają tylko na sieci powierzchniowej, nie będą w stanie konkurować.

W międzyczasie głęboka sieć nadal będzie wprawiać w zakłopotanie i fascynować każdego, kto korzysta z Internetu. Zawiera fascynującą ilość wiedzy, która może pomóc nam ewoluować technologicznie i jako gatunek w połączeniu z innymi bitami informacji. I oczywiście jego ciemniejsza strona zawsze będzie się czaić, tak jak zawsze w ludzkiej naturze. Głęboka sieć przemawia do niezgłębionego, rozproszonego potencjału nie tylko Internetu, ale także rasy ludzkiej.

Uwaga autora: Jak działa głęboka sieć Web

Deep Web to niejasne, niejednoznaczne miejsce. Jednak badając tę ​​historię, łatwo było stwierdzić co najmniej jedną rzecz na pewno – większość nagłówków wiadomości ma tendencję do sensacji na temat ciemnej sieci i jej bardziej podejrzanej strony i rzadko wspomina o niewykorzystanym potencjale głębokiej sieci. Artykuły o nielegalnych narkotykach i broni oczywiście przyciągają więcej czytelników niż te szczegółowo opisujące techniczne wyzwania związane z pozyskiwaniem danych z głębokiej sieci. Czytaj negatywne, zapierające dech artykuły z przymrużeniem oka. Warto pamiętać, że głęboka sieć to znacznie więcej niż oczywisty element przestępczy. W miarę jak inżynierowie znajdują lepsze i szybsze sposoby katalogowania internetowych zasobów danych, Internet jako całość może zmienić nasze społeczeństwo w niesamowity sposób.

Powiązane artykuły