Come funziona il Deep Web

Che rete intricata che tessiamo, davvero. Circa il 40 per cento della popolazione mondiale utilizza il Web per notizie, intrattenimento, comunicazione e una miriade di altri scopi [fonte: Internet World Stats ]. Tuttavia, anche se sempre più persone accedono, in realtà trovano meno dati archiviati online. Questo perché solo un frammento di ciò che conosciamo come World Wide Web è facilmente accessibile.

Il cosiddetto Web di superficie , che tutti noi utilizziamo abitualmente, è costituito da dati che i motori di ricerca possono trovare e quindi offrire in risposta alle vostre domande. Ma allo stesso modo in cui solo la punta di un iceberg è visibile agli osservatori, un motore di ricerca tradizionale vede solo una piccola quantità delle informazioni disponibili: un misero 0,03 percento [fonte: OEDB ].

Per quanto riguarda il resto? Ebbene, gran parte di essa è sepolta in quello che viene chiamato deep Web . Il deep Web (noto anche come undernet, Web invisibile e Web nascosto, tra gli altri moniker) è costituito da dati che non troverai con una semplice ricerca su Google.

Nessuno sa davvero quanto sia grande il deep Web, ma è centinaia (o forse anche migliaia) di volte più grande del Web di superficie. Questi dati non sono necessariamente nascosti di proposito. È solo difficile per l'attuale tecnologia dei motori di ricerca trovarlo e dargli un senso.

C'è un rovescio della medaglia del deep Web che è molto più oscuro - e, a volte, più oscuro - ed è per questo che è anche conosciuto come il dark web . Nel Dark Web, gli utenti seppelliscono intenzionalmente i dati. Spesso, queste parti del Web sono accessibili solo se si utilizza un software browser speciale che aiuta a rimuovere gli strati a cipolla del Web oscuro.

Questo software mantiene la privacy sia della fonte che della destinazione dei dati e delle persone che vi accedono. Sia per i dissidenti politici che per i criminali, questo tipo di anonimato mostra l'immenso potere del Dark Web, che consente il trasferimento di informazioni, beni e servizi, legalmente o illegalmente, con disappunto dei poteri forti in tutto il mondo.

Proprio come un motore di ricerca sta semplicemente grattando la superficie del Web, siamo solo all'inizio. Continua a leggere per scoprire come diventa davvero intricato il nostro Web.

1. Nascosto in Plain Site
2. Appena sotto la superficie
3. Potenziale profondo
4. Cala l'oscurità
5. Titillante Tor
6. Il lato più luminoso dell'oscurità
7. Ancora più profondo

Il deep web è enorme rispetto al web di superficie. Il Web di oggi ha più di 555 milioni di domini registrati. Ciascuno di questi domini può avere dozzine, centinaia o addirittura migliaia di sottopagine, molte delle quali non sono catalogate, e quindi rientrare nella categoria del deep Web.

Anche se nessuno lo sa con certezza, il deep Web potrebbe essere da 400 a 500 volte più grande del Web di superficie [fonte: BrightPlanet ]. E sia il Web di superficie che quello profondo crescono ogni giorno di più.

Per capire perché così tante informazioni sono fuori dalla vista dei motori di ricerca, è utile avere un po' di background sulle tecnologie di ricerca. Puoi leggere tutto su Come funzionano i motori di ricerca su Internet, ma ti daremo un rapido riassunto qui.

I motori di ricerca generalmente creano un indice di dati trovando informazioni archiviate su siti Web e altre risorse online. Questo processo implica l'utilizzo di spider o crawler automatizzati , che individuano i domini e quindi seguono collegamenti ipertestuali ad altri domini, come un aracnide che segue i viticci setosi di una rete, in un certo senso creando una mappa tentacolare del Web.

Questo indice o mappa è la chiave per trovare dati specifici pertinenti alle tue esigenze. Ogni volta che inserisci una ricerca per parola chiave, i risultati appaiono quasi istantaneamente grazie a quell'indice. Senza di essa, il motore di ricerca dovrebbe letteralmente iniziare a cercare miliardi di pagine da zero ogni volta che qualcuno desidera informazioni, un processo che sarebbe allo stesso tempo ingombrante ed esasperante.

Ma i motori di ricerca non possono vedere i dati archiviati nel deep Web. Esistono incompatibilità dei dati e ostacoli tecnici che complicano gli sforzi di indicizzazione. Esistono siti Web privati ​​che richiedono password di accesso prima di poter accedere ai contenuti. I crawler non possono penetrare dati che richiedono ricerche di parole chiave su un singolo sito Web specifico. Esistono siti ad accesso a tempo che non consentono più visualizzazioni pubbliche una volta trascorso un determinato limite di tempo.

Tutte queste sfide, e molte altre, rendono i dati molto più difficili da trovare e indicizzare per i motori di ricerca. Continua a leggere per saperne di più su ciò che separa la superficie e il deep Web.

Come abbiamo già notato, ci sono milioni e milioni di sottopagine sparse in milioni di domini. Esistono pagine interne senza collegamenti esterni, come internal.howstuffworks.com, che vengono utilizzate per scopi di manutenzione del sito. Ci sono post di blog non pubblicati o non elencati, gallerie di immagini, directory di file e quantità incalcolabili di contenuti che i motori di ricerca semplicemente non riescono a vedere.

Ecco solo un esempio. Esistono molti siti Web di giornali indipendenti online e, talvolta, i motori di ricerca indicizzano alcuni degli articoli su quei siti. Ciò è particolarmente vero per le notizie importanti che ricevono molta attenzione da parte dei media. Una rapida ricerca su Google rivelerà senza dubbio molte dozzine di articoli su, ad esempio, squadre di calcio della Coppa del Mondo .

Ma se stai cercando una storia più oscura, potresti dover andare direttamente al sito di un giornale specifico e quindi sfogliare o cercare contenuti per trovare quello che stai cercando. Ciò è particolarmente vero quando una notizia invecchia. Più la storia è vecchia, più è probabile che sia archiviata solo nell'archivio del giornale, che non è visibile sul Web di superficie. Successivamente, quella storia potrebbe non apparire prontamente nei motori di ricerca, quindi conta come parte del deep Web.

Data in the Deep Web is hard for search engines to see, but unseen doesn't equal unimportant. As you can see just from our newspaper example, there's immense value in the information tucked away in the deep Web.

The deep Web is an endless repository for a mind-reeling amount of information. There are engineering databases, financial information of all kinds, medical papers, pictures, illustrations ... the list goes on, basically, forever.

And the deep Web is only getting deeper and more complicated. For search engines to increase their usefulness, their programmers must figure out how to dive into the deep Web and bring data to the surface. Somehow they must not only find valid information, but they must find a way to present it without overwhelming the end users.

Come per tutte le cose commerciali, i motori di ricerca hanno a che fare con preoccupazioni più gravi rispetto al fatto che tu e io siamo in grado di trovare la migliore ricetta di patatine fritte al mondo. Vogliono aiutare i poteri aziendali a trovare e utilizzare il deep Web in modi nuovi e preziosi.

Ad esempio, gli ingegneri edili potrebbero potenzialmente cercare documenti di ricerca in più università per trovare i materiali più recenti e migliori per la costruzione di ponti. I medici potrebbero individuare rapidamente le ultime ricerche su una malattia specifica.

Il potenziale è illimitato. Le sfide tecniche sono scoraggianti. Questo è il richiamo del deep Web. Eppure c'è anche un lato più oscuro del deep Web, uno che preoccupa molte persone per molte ragioni.

Il deep Web può essere una terra d'ombra di potenziale non sfruttato, ma con un po' di abilità e un po' di fortuna, puoi illuminare molte informazioni preziose che molte persone hanno lavorato per archiviare. Sul Dark Web, dove le persone nascondono di proposito le informazioni, preferirebbero che lasciassi le luci spente.

Il dark web è un po' come l'id del web. È privato. È anonimo . È potente. Libera la natura umana in tutte le sue forme, buone e cattive.

Le cose brutte, come sempre, ottengono la maggior parte dei titoli. Puoi trovare beni e attività illegali di ogni tipo attraverso il Dark Web. Ciò include droghe illecite, pedopornografia, numeri di carte di credito rubati, traffico di esseri umani , armi, animali esotici, media protetti da copyright e qualsiasi altra cosa ti venga in mente. In teoria, potresti anche, diciamo, assumere un sicario per uccidere qualcuno che non ti piace.

Ma non troverai queste informazioni con una ricerca su Google. Questi tipi di siti Web richiedono l'utilizzo di software speciali, come The Onion Router , più comunemente noto come Tor .

Tor è un software che si installa nel tuo browser e imposta le connessioni specifiche di cui hai bisogno per accedere ai siti Web oscuri. Fondamentalmente, Tor è una tecnologia crittografata che aiuta le persone a mantenere l'anonimato online. Lo fa in parte instradando le connessioni attraverso server in tutto il mondo, rendendole molto più difficili da tracciare.

Tor consente inoltre alle persone di accedere ai cosiddetti servizi nascosti: siti Web sotterranei per i quali il Web oscuro è noto. Invece di vedere i domini che terminano con .com o .org, questi siti nascosti terminano con .onion. Nella pagina successiva toglieremo gli strati di alcune di quelle cipolle.

Il più famigerato di questi siti di cipolle era l'ormai defunto Silk Road, un mercato online in cui gli utenti potevano acquistare droga, armi e ogni tipo di altro articolo illegale. L' FBI alla fine ha catturato Ross Ulbricht, che gestiva Silk Road, ma siti imitatori come Black Market Reloaded sono ancora prontamente disponibili.

Stranamente, Tor è il risultato di una ricerca condotta dal US Naval Research Laboratory, che ha creato Tor per dissidenti politici e informatori, consentendo loro di comunicare senza timore di rappresaglie.

Tor è stato così efficace nel fornire l'anonimato a questi gruppi che non ci è voluto molto perché anche i criminali iniziassero a usarlo.

Ciò lascia le forze dell'ordine statunitensi nella posizione ironica di tentare di rintracciare i criminali che utilizzano software sponsorizzato dal governo per nascondere le loro tracce. Tor, a quanto pare, è un'arma a doppio taglio.

L'anonimato è parte integrante del Web oscuro, ma potresti chiederti come possono verificarsi transazioni relative al denaro quando venditori e acquirenti non possono identificarsi a vicenda. È qui che entra in gioco Bitcoin .

Se non hai sentito parlare di Bitcoin, è fondamentalmente una valuta digitale crittografata. Puoi leggere tutto su Come funziona Bitcoin . Come il normale denaro contante, Bitcoin è buono per transazioni di ogni tipo e, in particolare, consente anche l'anonimato; nessuno può risalire a un acquisto, illegale o meno.

Il bitcoin potrebbe essere la valuta del futuro: un tipo di denaro decentralizzato e non regolamentato, libero dalle redini di qualsiasi governo. Ma poiché Bitcoin non è sostenuto da alcun governo, il suo valore oscilla, spesso selvaggiamente. È tutt'altro che un posto sicuro dove riporre i risparmi di una vita. Ma se abbinato correttamente a Tor, è forse la cosa più vicina a un modo infallibile per comprare e vendere sul Web.

Il dark web ha le sue sfumature minacciose. Ma non tutto sul lato oscuro è negativo. Ci sono tutti i tipi di servizi che non sono necessariamente contrari alla legge.

Il Dark Web ospita motori di ricerca alternativi, servizi di posta elettronica, archiviazione di file, condivisione di file, social media, siti di chat, organi di informazione e siti di denuncia di irregolarità, nonché siti che forniscono un luogo di incontro più sicuro per i dissidenti politici e chiunque altro possono trovarsi ai margini della società.

In un'epoca in cui la sorveglianza di tipo NSA è onnipresente e la privacy sembra un ricordo del passato, il Dark Web offre un po' di sollievo alle persone che apprezzano il proprio anonimato . I motori di ricerca del Dark Web potrebbero non offrire risultati di ricerca personalizzati, ma non tengono traccia del tuo comportamento online né offrono un flusso infinito di pubblicità. Bitcoin potrebbe non essere del tutto stabile, ma offre privacy, cosa che la società della tua carta di credito sicuramente non offre.

Per i cittadini che vivono in paesi con leader violenti o oppressivi, il Dark Web offre un modo più sicuro per comunicare con individui che la pensano allo stesso modo. A differenza di Facebook o Twitter, che sono facili da monitorare per le autorità determinate, il Web oscuro offre una copertura più profonda e un certo grado di sicurezza per coloro che parlerebbero male o complotterebbero per indebolire i politici oi capi delle aziende.

Un articolo scritto da ricercatori dell'Università del Lussemburgo ha tentato di classificare i materiali a cui si accede più comunemente sul Dark Web. Ciò che hanno scoperto è che, sebbene i siti che commerciano attività illegali e contenuti per adulti siano molto popolari, lo sono anche quelli che si occupano di diritti umani e libertà di informazione [Fonte: ArXiv ].

Quindi, sebbene il Web oscuro abbia sicuramente il suo lato brutto, ha anche un grande potenziale.

The deep Web is only getting deeper. Its store of human knowledge and trivialities grows more massive every day, complicating our efforts to make sense of it all. In the end, that's perhaps the biggest challenge behind the Internet that we've created.

Programmers will continue to improve search engine algorithms , making them better at delving into deeper layers of the Web. In doing so, they'll help researchers and businesses connect and cross-reference information in ways that were never possible before.

Allo stesso tempo, il compito principale di un motore di ricerca intelligente non è semplicemente trovare informazioni. Quello che vuoi davvero che faccia è trovare le informazioni più rilevanti. Altrimenti, rimani immerso in un mare di dati disordinati che ti fa desiderare di non aver mai cliccato su quel pulsante di ricerca.

Questo è il problema dei cosiddetti big data . Big data è il nome di insiemi di dati così grandi da diventare ingestibili e incoerenti. Poiché Internet sta crescendo così rapidamente, il nostro intero mondo è invaso di dati ed è difficile per chiunque dare un senso a tutto ciò, anche a tutti quei computer potenti e onniscienti che si trovano nelle sedi centrali di Bing e Google.

Con la crescita di Internet, ogni grande azienda spende sempre più soldi per la gestione e l'analisi dei dati, sia per mantenere in funzione le proprie organizzazioni, sia per ottenere vantaggi competitivi rispetto ad altre. L'estrazione e l'organizzazione del deep Web è una parte vitale di queste strategie. Quelle aziende che impareranno a sfruttare questi dati per i propri usi sopravviveranno e forse cambieranno il mondo con le nuove tecnologie. Chi si affida solo al Web di superficie non potrà competere.

Nel frattempo, il deep Web continuerà a lasciare perplessi e ad affascinare tutti coloro che utilizzano Internet. Contiene una quantità avvincente di conoscenza che potrebbe aiutarci a evolverci tecnologicamente e come specie quando collegati ad altre informazioni. E, naturalmente, anche il suo lato più oscuro sarà sempre in agguato, proprio come fa sempre nella natura umana. Il deep Web parla del potenziale insondabile e disperso non solo di Internet, ma anche della razza umana.

Nota dell'autore: come funziona il Deep Web

Il Deep Web è un luogo vago e ambiguo. Ma durante la ricerca su questa storia, è stato facile concludere almeno una cosa con certezza: la maggior parte dei titoli delle notizie tende a sensazionalizzare il Dark Web e il suo lato più squallido e raramente menziona il potenziale non sfruttato del deep Web. Gli articoli su droghe e armi illegali attirano ovviamente più lettori di quelli che descrivono in dettaglio le sfide tecniche della raccolta di dati dal deep web. Leggi gli articoli negativi e senza fiato con le pinze. Vale la pena ricordare che c'è molto di più nel deep Web dell'evidente elemento criminale. Man mano che gli ingegneri trovano modi migliori e più veloci per catalogare gli archivi di dati del Web, Internet nel suo insieme potrebbe trasformare la nostra società in modi sorprendenti.

articoli Correlati