Wie das Deep Web funktioniert

Was für ein verworrenes Netz wir weben, in der Tat. Etwa 40 Prozent der Weltbevölkerung nutzen das Web für Nachrichten, Unterhaltung, Kommunikation und unzählige andere Zwecke [Quelle: Internet World Stats ]. Doch selbst wenn sich immer mehr Menschen einloggen, finden sie tatsächlich immer weniger der online gespeicherten Daten. Das liegt daran, dass nur ein Teil dessen, was wir als World Wide Web kennen, leicht zugänglich ist.

Das sogenannte Surface Web , das wir alle routinemäßig nutzen, besteht aus Daten, die Suchmaschinen finden und dann als Antwort auf Ihre Anfragen anbieten können. Aber genauso wie nur die Spitze eines Eisbergs für Beobachter sichtbar ist, sieht eine herkömmliche Suchmaschine nur einen kleinen Teil der verfügbaren Informationen – magere 0,03 Prozent [Quelle: OEDB ].

Was den Rest angeht? Nun, vieles davon ist im sogenannten Deep Web vergraben . Das Deep Web (unter anderem auch als Undernet, Invisible Web und Hidden Web bekannt) besteht aus Daten, die Sie mit einer einfachen Google-Suche nicht finden werden.

Niemand weiß wirklich, wie groß das Deep Web wirklich ist, aber es ist hunderte (oder vielleicht sogar tausende) Mal größer als das Surface Web. Diese Daten werden nicht unbedingt absichtlich verborgen. Es ist nur schwer für die aktuelle Suchmaschinentechnologie, sie zu finden und zu verstehen.

Es gibt eine Kehrseite des Deep Web, die viel düsterer – und manchmal auch dunkler – ist, weshalb es auch als Dark Web bekannt ist . Im Dark Web vergraben Benutzer wirklich absichtlich Daten. Oft sind diese Teile des Webs nur zugänglich, wenn Sie spezielle Browser-Software verwenden, die dabei hilft, die zwiebelartigen Schichten des dunklen Webs abzuschälen.

Diese Software wahrt die Privatsphäre sowohl der Quelle als auch des Ziels von Daten und der Personen, die darauf zugreifen. Für politische Dissidenten und Kriminelle gleichermaßen zeigt diese Art der Anonymität die immense Macht des Dark Web, das den legalen oder illegalen Transfer von Informationen, Waren und Dienstleistungen zum Leidwesen der Mächtigen auf der ganzen Welt ermöglicht.

So wie eine Suchmaschine nur an der Oberfläche des Webs kratzt, stehen wir erst am Anfang. Lesen Sie weiter, um herauszufinden, wie verworren unser Web wirklich wird.

1. Versteckt in Plain Site
2. Knapp unter der Oberfläche
3. Tiefes Potenzial
4. Es wird dunkel
5. Reizendes Tor
6. Die hellere Seite der Dunkelheit
7. Noch tiefer

Das Deep Web ist im Vergleich zum Surface Web enorm. Das heutige Web hat mehr als 555 Millionen registrierte Domains. Jede dieser Domains kann Dutzende, Hunderte oder sogar Tausende von Unterseiten haben, von denen viele nicht katalogisiert sind und somit in die Kategorie Deep Web fallen.

Obwohl niemand es genau weiß, ist das Deep Web möglicherweise 400 bis 500 Mal größer als das Surface Web [Quelle: BrightPlanet ]. Und sowohl das Surface Web als auch das Deep Web werden jeden Tag größer und größer.

Um zu verstehen, warum so viele Informationen von Suchmaschinen nicht wahrgenommen werden, ist es hilfreich, ein wenig Hintergrundwissen zu Suchtechnologien zu haben. Sie können alles darüber unter Funktionsweise von Internet-Suchmaschinen nachlesen, aber wir geben Ihnen hier einen kurzen Überblick.

Suchmaschinen erstellen im Allgemeinen einen Index von Daten, indem sie Informationen finden, die auf Websites und anderen Online-Ressourcen gespeichert sind. Dieser Prozess bedeutet die Verwendung automatisierter Spider oder Crawler , die Domains lokalisieren und dann Hyperlinks zu anderen Domains folgen, wie ein Spinnentier, das den seidigen Ranken eines Webs folgt, in gewissem Sinne eine weitläufige Karte des Webs erstellen.

Dieser Index oder diese Karte ist Ihr Schlüssel zum Auffinden bestimmter Daten, die für Ihre Anforderungen relevant sind. Jedes Mal, wenn Sie eine Schlüsselwortsuche eingeben, werden die Ergebnisse dank dieses Index fast sofort angezeigt. Ohne sie müsste die Suchmaschine buchstäblich jedes Mal, wenn jemand Informationen wünscht, Milliarden von Seiten von Grund auf durchsuchen, ein Prozess, der sowohl umständlich als auch ärgerlich wäre.

Aber Suchmaschinen können keine Daten sehen, die im Deep Web gespeichert sind. Es gibt Dateninkompatibilitäten und technische Hürden, die die Indizierungsbemühungen erschweren. Es gibt private Websites, die Login- Passwörter erfordern, bevor Sie auf die Inhalte zugreifen können. Crawler können keine Daten durchdringen, die Schlüsselwortsuchen auf einer einzelnen, spezifischen Website erfordern. Es gibt Websites mit zeitgesteuertem Zugriff, die nach Ablauf einer bestimmten Zeit keine öffentlichen Ansichten mehr zulassen.

All diese Herausforderungen und viele andere erschweren es Suchmaschinen, Daten zu finden und zu indizieren. Lesen Sie weiter, um mehr darüber zu erfahren, was das Surface Web vom Deep Web unterscheidet.

Wie wir bereits festgestellt haben, gibt es Abermillionen von Unterseiten, die über Millionen von Domains verstreut sind. Es gibt interne Seiten ohne externe Links, wie z. B. internal.howstuffworks.com, die zu Wartungszwecken der Website verwendet werden. Es gibt unveröffentlichte oder nicht gelistete Blogbeiträge, Bildergalerien, Dateiverzeichnisse und unzählige Inhalte, die Suchmaschinen einfach nicht sehen können.

Hier ist nur ein Beispiel. Es gibt viele Websites unabhängiger Zeitungen im Internet, und manchmal indizieren Suchmaschinen einige der Artikel auf diesen Websites. Das gilt insbesondere für große Nachrichten, die viel Medienaufmerksamkeit erhalten. Eine schnelle Google-Suche wird zweifellos viele Dutzend Artikel zum Beispiel über Fußballweltmeisterschaftsmannschaften enthüllen .

Wenn Sie jedoch nach einer obskureren Geschichte suchen, müssen Sie möglicherweise direkt zu einer bestimmten Zeitungsseite gehen und dann den Inhalt durchsuchen oder durchsuchen, um das zu finden, wonach Sie suchen. Dies gilt insbesondere, wenn eine Nachrichtengeschichte altert. Je älter die Geschichte ist, desto wahrscheinlicher ist sie nur im Archiv der Zeitung gespeichert, das im Surface Web nicht sichtbar ist. Infolgedessen erscheint diese Geschichte möglicherweise nicht ohne Weiteres in Suchmaschinen – daher zählt sie als Teil des Deep Web.

Daten im Deep Web sind für Suchmaschinen schwer zu erkennen, aber ungesehen ist nicht gleich unwichtig. Wie Sie gerade an unserem Zeitungsbeispiel sehen können, liegt ein immenser Wert in den Informationen, die im Deep Web versteckt sind.

Das Deep Web ist ein endloses Reservoir für eine schwindelerregende Menge an Informationen. Es gibt technische Datenbanken, Finanzinformationen aller Art, medizinische Unterlagen, Bilder, Illustrationen ... die Liste lässt sich im Grunde ewig fortsetzen.

Und das Deep Web wird immer tiefer und komplizierter. Damit Suchmaschinen ihren Nutzen steigern können, müssen ihre Programmierer herausfinden, wie sie in das Deep Web eintauchen und Daten an die Oberfläche bringen können. Irgendwie müssen sie nicht nur gültige Informationen finden, sondern sie müssen einen Weg finden, sie zu präsentieren, ohne die Endbenutzer zu überfordern.

Wie bei allen geschäftlichen Dingen beschäftigen sich die Suchmaschinen mit gewichtigeren Bedenken als der Frage, ob Sie und ich in der Lage sind, das beste Apfel-Crisp-Rezept der Welt zu finden. Sie wollen Unternehmensmächte dabei helfen, das Deep Web auf neuartige und wertvolle Weise zu finden und zu nutzen.

Beispielsweise könnten Bauingenieure möglicherweise Forschungsarbeiten an mehreren Universitäten durchsuchen, um die neuesten und besten Materialien für den Brückenbau zu finden. Ärzte konnten schnell die neuesten Forschungsergebnisse zu einer bestimmten Krankheit finden.

Das Potenzial ist unbegrenzt. Die technischen Herausforderungen sind gewaltig. Das ist der Reiz des Deep Web. Doch das Deep Web hat auch eine düsterere Seite – eine, die viele Menschen aus vielen Gründen beunruhigt.

Das Deep Web mag ein Schattenland ungenutzten Potenzials sein, aber mit ein wenig Geschick und etwas Glück können Sie viele wertvolle Informationen ans Licht bringen, an deren Archivierung viele Menschen gearbeitet haben. Im Dark Web, wo die Leute Informationen absichtlich verstecken, würden sie es vorziehen, wenn Sie das Licht auslassen würden.

Das dunkle Web ist ein bisschen wie die ID des Webs. Es ist privat. Es ist anonym . Es ist mächtig. Es entfesselt die menschliche Natur in all ihren Formen, sowohl gut als auch schlecht.

Die schlechten Sachen bekommen wie immer die meisten Schlagzeilen. Im Dark Web finden Sie illegale Waren und Aktivitäten aller Art. Dazu gehören illegale Drogen, Kinderpornografie, gestohlene Kreditkartennummern, Menschenhandel , Waffen, exotische Tiere, urheberrechtlich geschützte Medien und alles andere, was Ihnen einfällt. Theoretisch könnten Sie sogar einen Killer anheuern, um jemanden zu töten, den Sie nicht mögen.

Aber Sie werden diese Informationen nicht mit einer Google-Suche finden. Für diese Art von Websites müssen Sie spezielle Software verwenden, wie z. B. The Onion Router , besser bekannt als Tor .

Tor ist eine Software, die in Ihrem Browser installiert wird und die spezifischen Verbindungen herstellt, die Sie für den Zugriff auf dunkle Websites benötigen. Entscheidend ist, dass Tor eine verschlüsselte Technologie ist, die Menschen dabei hilft, online anonym zu bleiben. Dies geschieht teilweise, indem Verbindungen über Server auf der ganzen Welt geleitet werden, wodurch sie viel schwieriger zu verfolgen sind.

Tor ermöglicht auch den Zugriff auf sogenannte versteckte Dienste – unterirdische Websites, für die das Dark Web berüchtigt ist. Anstatt Domains zu sehen, die auf .com oder .org enden, enden diese versteckten Seiten auf .onion. Auf der nächsten Seite werden wir die Schichten einiger dieser Zwiebeln abziehen.

Die berüchtigtste dieser Onion-Sites war die heute nicht mehr existierende Silk Road, ein Online-Marktplatz, auf dem Benutzer Drogen, Waffen und alle möglichen anderen illegalen Artikel kaufen konnten. Das FBI hat schließlich Ross Ulbricht gefangen genommen, der Silk Road betrieb, aber Nachahmerseiten wie Black Market Reloaded sind immer noch leicht verfügbar.

Seltsamerweise ist Tor das Ergebnis von Forschungen des US Naval Research Laboratory, das Tor für politische Dissidenten und Whistleblower entwickelt hat, damit sie ohne Angst vor Repressalien kommunizieren können.

Tor war so effektiv bei der Bereitstellung von Anonymität für diese Gruppen, dass es nicht lange dauerte, bis auch Kriminelle anfingen, es zu nutzen.

Das versetzt die US-Strafverfolgungsbehörden in die ironische Position, Kriminelle aufzuspüren, die von der Regierung gesponserte Software verwenden, um ihre Spuren zu verbergen. Tor, so scheint es, ist ein zweischneidiges Schwert.

Anonymität ist ein wesentlicher Bestandteil des Dark Web, aber Sie fragen sich vielleicht, wie geldbezogene Transaktionen stattfinden können, wenn Verkäufer und Käufer sich nicht identifizieren können. Hier kommt Bitcoin ins Spiel.

Wenn Sie noch nie von Bitcoin gehört haben, handelt es sich im Grunde genommen um eine verschlüsselte digitale Währung. Sie können alles darüber auf How Bitcoin Works lesen . Wie normales Bargeld eignet sich Bitcoin gut für Transaktionen aller Art und ermöglicht insbesondere auch Anonymität; Niemand kann einen illegalen oder anderweitigen Kauf nachverfolgen.

Bitcoin könnte die Währung der Zukunft sein – eine dezentrale und unregulierte Art von Geld, das frei von den Zügeln einer Regierung ist. Aber weil Bitcoin von keiner Regierung unterstützt wird, schwankt sein Wert oft stark. Es ist alles andere als ein sicherer Ort, um Ihre Ersparnisse aufzubewahren. Aber wenn es richtig mit Tor gekoppelt ist, kommt es einer narrensicheren Art, im Internet zu kaufen und zu verkaufen, vielleicht am nächsten.

Das dunkle Web hat seine ominösen Obertöne. Aber nicht alles auf der dunklen Seite ist schlecht. Es gibt alle Arten von Diensten, die nicht unbedingt gegen das Gesetz verstoßen.

Das Dark Web beherbergt alternative Suchmaschinen, E-Mail- Dienste, Dateispeicherung, Dateifreigabe, soziale Medien, Chat-Sites, Nachrichtenagenturen und Whistleblowing-Sites sowie Sites, die einen sichereren Treffpunkt für politische Dissidenten und alle anderen bieten können sich am Rande der Gesellschaft wiederfinden.

In einer Zeit, in der die NSA-Überwachung allgegenwärtig ist und die Privatsphäre der Vergangenheit anzugehören scheint, bietet das Dark Web Menschen, die ihre Anonymität schätzen, eine gewisse Erleichterung . Dark-Web-Suchmaschinen bieten möglicherweise keine personalisierten Suchergebnisse, aber sie verfolgen Ihr Online-Verhalten nicht und bieten auch keinen endlosen Strom von Werbung. Bitcoin ist vielleicht nicht ganz stabil, aber es bietet Privatsphäre, was Ihr Kreditkartenunternehmen mit Sicherheit nicht tut.

Für Bürger, die in Ländern mit gewalttätigen oder unterdrückerischen Führern leben, bietet das Dark Web eine sicherere Möglichkeit, mit Gleichgesinnten zu kommunizieren. Im Gegensatz zu Facebook oder Twitter, die von entschlossenen Behörden leicht zu überwachen sind, bietet das Dark Web eine tiefere Deckung und ein gewisses Maß an Sicherheit für diejenigen, die schlecht reden oder planen würden, Politiker oder Unternehmensoberherren zu untergraben.

Ein von Forschern der Universität Luxemburg verfasstes Papier versuchte, die am häufigsten aufgerufenen Materialien im Dark Web zu ordnen. Sie fanden heraus, dass Websites, die mit illegalen Aktivitäten und nicht jugendfreien Inhalten handeln, sehr beliebt sind, aber auch diejenigen, die sich mit Menschenrechten und Informationsfreiheit befassen [Quelle: ArXiv ].

Obwohl das Dark Web definitiv seine hässlichen Seiten hat, hat es auch ein großes Potenzial.

Das Deep Web wird immer tiefer. Sein Vorrat an menschlichem Wissen und Trivialitäten wird jeden Tag gewaltiger und erschwert unsere Bemühungen, dem Ganzen einen Sinn zu geben. Am Ende ist das vielleicht die größte Herausforderung hinter dem Internet, die wir geschaffen haben.

Programmierer werden die Algorithmen von Suchmaschinen weiter verbessern , wodurch sie besser in tiefere Schichten des Webs vordringen können. Auf diese Weise werden sie Forschern und Unternehmen helfen, Informationen auf eine Weise zu verknüpfen und mit Querverweisen zu versehen, die zuvor nie möglich war.

Gleichzeitig besteht die Hauptaufgabe einer intelligenten Suchmaschine nicht darin, nur Informationen zu finden. Was Sie wirklich wollen, ist, die relevantesten Informationen zu finden. Andernfalls werden Sie in einem Meer von überladenen Daten überschwemmt, die Sie wünschen lassen, Sie hätten nie auf diese Suchschaltfläche geklickt.

Das ist das Problem der sogenannten Big Data . Big Data ist die Bezeichnung für Datensätze, die so groß sind, dass sie unüberschaubar und zusammenhangslos werden. Weil das Internet so schnell wächst, ist unsere ganze Welt mit Daten überschwemmt, und es ist für jeden schwierig, einen Sinn daraus zu machen – selbst all diese leistungsstarken, allwissenden Computer in den Zentralen von Bing und Google.

Mit dem Wachstum des Internets gibt jedes große Unternehmen immer mehr Geld für Datenmanagement und -analyse aus, sowohl um die eigene Organisation am Laufen zu halten als auch um Wettbewerbsvorteile gegenüber anderen zu erlangen. Das Schürfen und Organisieren des Deep Web ist ein wesentlicher Bestandteil dieser Strategien. Diejenigen Unternehmen, die lernen, diese Daten für ihre eigenen Zwecke zu nutzen, werden überleben und vielleicht die Welt mit neuen Technologien verändern. Diejenigen, die sich nur auf das Oberflächenweb verlassen, werden nicht konkurrieren können.

In der Zwischenzeit wird das Deep Web jeden, der das Internet nutzt, weiterhin verblüffen und faszinieren. Es enthält eine faszinierende Menge an Wissen, das uns helfen könnte, uns technologisch und als Spezies weiterzuentwickeln, wenn es mit anderen Informationen verbunden ist. Und natürlich wird auch seine dunklere Seite immer lauern, so wie es immer in der menschlichen Natur der Fall ist. Das Deep Web spricht das unergründliche, verstreute Potenzial nicht nur des Internets, sondern auch der Menschheit an.

Anmerkung des Autors: Wie das Deep Web funktioniert

Das Deep Web ist ein vager, mehrdeutiger Ort. Aber bei der Recherche zu dieser Geschichte war es einfach, zumindest eines mit Sicherheit zu schließen – die meisten Nachrichtenschlagzeilen tendieren dazu, das Dark Web und seine zwielichtigeren Seiten sensationell zu machen, und erwähnen selten das ungenutzte Potenzial des Deep Web. Artikel über illegale Drogen und Waffen ziehen offensichtlich mehr Leser an als solche, die die technischen Herausforderungen beim Sammeln von Daten aus dem Deep Web beschreiben. Lesen Sie die negativen, atemlosen Artikel mit Vorsicht. Es lohnt sich, sich daran zu erinnern, dass das Deep Web viel mehr zu bieten hat als das offensichtliche kriminelle Element. Wenn Ingenieure bessere und schnellere Wege finden, die Datenspeicher des Webs zu katalogisieren, könnte das Internet als Ganzes unsere Gesellschaft auf erstaunliche Weise verändern.

Zum Thema passende Artikel