Como funciona a Deep Web

Que teia emaranhada nós tecemos, de fato. Cerca de 40% da população mundial usa a Web para notícias, entretenimento, comunicação e diversos outros propósitos [fonte: Internet World Stats ]. No entanto, à medida que mais e mais pessoas se conectam, na verdade estão encontrando menos dados armazenados on-line. Isso porque apenas uma parte do que conhecemos como World Wide Web é facilmente acessível.

A chamada Web de superfície , que todos nós usamos rotineiramente, consiste em dados que os mecanismos de pesquisa podem encontrar e oferecer em resposta às suas consultas. Mas da mesma forma que apenas a ponta de um iceberg é visível para os observadores, um mecanismo de busca tradicional vê apenas uma pequena quantidade da informação disponível – apenas 0,03% [fonte: OEDB ].

Quanto ao resto? Bem, muito disso está enterrado no que é chamado de Deep Web . A Deep Web (também conhecida como undernet, Web invisível e Web oculta, entre outros nomes) consiste em dados que você não localizará com uma simples pesquisa no Google.

Ninguém sabe realmente o quão grande é a Deep Web, mas é centenas (ou talvez milhares) de vezes maior que a Surface Web. Esses dados não são necessariamente ocultos de propósito. É apenas difícil para a tecnologia atual do mecanismo de pesquisa encontrar e entender isso.

Há um outro lado da deep web que é muito mais obscuro - e, às vezes, mais sombrio - e é por isso que também é conhecida como dark web . Na dark web, os usuários realmente enterram dados intencionalmente. Muitas vezes, essas partes da Web são acessíveis apenas se você usar um software de navegador especial que ajuda a remover as camadas semelhantes a cebolas da dark Web.

Este software mantém a privacidade tanto da origem quanto do destino dos dados e das pessoas que os acessam. Tanto para dissidentes políticos quanto para criminosos, esse tipo de anonimato mostra o imenso poder da dark Web, permitindo transferências de informações, bens e serviços, legal ou ilegalmente, para desgosto dos poderes constituídos em todo o mundo.

Assim como um mecanismo de busca está simplesmente arranhando a superfície da Web, estamos apenas começando. Continue lendo para descobrir como nossa Web realmente se torna emaranhada.

1. Escondido no Site Simples
2. Logo abaixo da superfície
3. Potencial Profundo
4. As trevas caem
5. Tor Titilante
6. O lado bom da escuridão
7. Ainda mais profundo

A Deep Web é enorme em comparação com a Surface Web. A Web de hoje tem mais de 555 milhões de domínios registrados. Cada um desses domínios pode ter dezenas, centenas ou mesmo milhares de subpáginas, muitas das quais não estão catalogadas e, portanto, se enquadram na categoria de deep web.

Embora ninguém saiba ao certo, a Deep Web pode ser de 400 a 500 vezes maior que a Surface Web [fonte: BrightPlanet ]. E tanto a superfície quanto a Deep Web crescem cada vez mais a cada dia.

Para entender por que tanta informação está fora da vista dos mecanismos de busca, é útil ter um pouco de experiência em tecnologias de busca. Você pode ler tudo sobre como funcionam os mecanismos de busca na Internet, mas nós lhe daremos um breve resumo aqui.

Os mecanismos de pesquisa geralmente criam um índice de dados localizando informações armazenadas em sites da Web e outros recursos online. Esse processo significa usar aranhas ou rastreadores automatizados , que localizam domínios e seguem hiperlinks para outros domínios, como um aracnídeo seguindo os tentáculos sedosos de uma teia, criando um mapa extenso da web.

Esse índice ou mapa é a chave para encontrar dados específicos relevantes para suas necessidades. Cada vez que você insere uma pesquisa por palavra-chave, os resultados aparecem quase instantaneamente graças a esse índice. Sem ele, o mecanismo de busca teria literalmente que começar a pesquisar bilhões de páginas do zero toda vez que alguém quisesse informações, um processo que seria pesado e exasperante.

Mas os mecanismos de busca não podem ver os dados armazenados na Deep Web. Existem incompatibilidades de dados e obstáculos técnicos que complicam os esforços de indexação. Existem sites privados que exigem senhas de login antes que você possa acessar o conteúdo. Os rastreadores não podem penetrar em dados que exijam pesquisas de palavras-chave em um único site específico. Existem sites de acesso cronometrado que não permitem mais visualizações públicas após um determinado limite de tempo.

Todos esses desafios, e muitos outros, tornam os dados muito mais difíceis para os mecanismos de pesquisa encontrarem e indexarem. Continue lendo para saber mais sobre o que separa a Surface e a Deep Web.

Como já observamos, existem milhões e milhões de subpáginas espalhadas por milhões de domínios. Existem páginas internas sem links externos, como internal.howstuffworks.com, que são usadas para fins de manutenção do site. Existem postagens de blog não publicadas ou não listadas, galerias de fotos, diretórios de arquivos e quantidades incalculáveis ​​de conteúdo que os mecanismos de pesquisa simplesmente não conseguem ver.

Aqui está apenas um exemplo. Existem muitos sites de jornais independentes on-line e, às vezes, os mecanismos de pesquisa indexam alguns dos artigos nesses sites. Isso é particularmente verdadeiro para grandes notícias que recebem muita atenção da mídia. Uma rápida pesquisa no Google sem dúvida revelará muitas dezenas de artigos sobre, por exemplo, times de futebol da Copa do Mundo.

Mas se você estiver procurando por uma história mais obscura, talvez seja necessário ir diretamente a um site de jornal específico e navegar ou pesquisar o conteúdo para encontrar o que está procurando. Isso é especialmente verdadeiro à medida que uma notícia envelhece. Quanto mais antiga a história, maior a probabilidade de ela ser armazenada apenas no arquivo do jornal, que não é visível na superfície da Web. Subsequentemente, essa história pode não aparecer prontamente nos mecanismos de busca – por isso conta como parte da deep web.

Os dados na Deep Web são difíceis de serem vistos pelos mecanismos de pesquisa, mas não vistos não significam pouco. Como você pode ver pelo exemplo do nosso jornal, há um imenso valor nas informações escondidas na deep web.

A Deep Web é um repositório sem fim para uma quantidade de informações impressionante. Existem bancos de dados de engenharia, informações financeiras de todos os tipos, documentos médicos, fotos, ilustrações... a lista continua, basicamente, para sempre.

E a Deep Web está ficando cada vez mais profunda e complicada. Para que os mecanismos de busca aumentem sua utilidade, seus programadores devem descobrir como mergulhar na Deep Web e trazer os dados à superfície. De alguma forma, eles devem não apenas encontrar informações válidas, mas também encontrar uma maneira de apresentá-las sem sobrecarregar os usuários finais.

Tal como acontece com todas as coisas de negócios, os motores de busca estão lidando com preocupações mais pesadas do que se você e eu somos capazes de encontrar a melhor receita de batata frita de maçã do mundo. Eles querem ajudar os poderes corporativos a encontrar e usar a Deep Web de maneiras novas e valiosas.

Por exemplo, engenheiros de construção podem pesquisar trabalhos de pesquisa em várias universidades para encontrar os melhores e mais recentes materiais de construção de pontes. Os médicos podem localizar rapidamente as pesquisas mais recentes sobre uma doença específica.

O potencial é ilimitado. Os desafios técnicos são assustadores. Essa é a atração da Deep Web. No entanto, também há um lado obscuro na deep web - um que é preocupante para muitas pessoas por muitas razões.

A Deep Web pode ser uma terra sombria de potencial inexplorado, mas com um pouco de habilidade e um pouco de sorte, você pode iluminar muitas informações valiosas que muitas pessoas trabalharam para arquivar. Na dark web, onde as pessoas escondem informações propositalmente, elas prefeririam que você deixasse as luzes apagadas.

A dark Web é um pouco como o id da Web. É privado. É anônimo . É poderoso. Ela desencadeia a natureza humana em todas as suas formas, boas e más.

As coisas ruins, como sempre, ganham a maioria das manchetes. Você pode encontrar produtos e atividades ilegais de todos os tipos na dark web. Isso inclui drogas ilícitas, pornografia infantil, números de cartão de crédito roubados, tráfico de seres humanos , armas, animais exóticos, mídia protegida por direitos autorais e qualquer outra coisa que você possa imaginar. Teoricamente, você poderia até, digamos, contratar um assassino para matar alguém que você não gosta.

Mas você não encontrará essas informações com uma pesquisa no Google. Esses tipos de sites exigem que você use um software especial, como The Onion Router , mais conhecido como Tor .

Tor é um software que se instala em seu navegador e configura as conexões específicas que você precisa para acessar sites obscuros. Criticamente, o Tor é uma tecnologia criptografada que ajuda as pessoas a manter o anonimato online. Ele faz isso em parte roteando conexões por meio de servidores em todo o mundo, tornando-os muito mais difíceis de rastrear.

O Tor também permite que as pessoas acessem os chamados serviços ocultos – sites subterrâneos pelos quais a dark web é notória. Em vez de ver domínios que terminam em .com ou .org, esses sites ocultos terminam em .onion. Na próxima página, vamos descascar as camadas de algumas dessas cebolas.

O mais infame desses sites de cebola era o agora extinto Silk Road, um mercado online onde os usuários podiam comprar drogas, armas e todos os tipos de outros itens ilegais. O FBI acabou capturando Ross Ulbricht, que operava o Silk Road, mas sites imitadores como o Black Market Reloaded ainda estão prontamente disponíveis.

Curiosamente, o Tor é o resultado de uma pesquisa feita pelo Laboratório de Pesquisa Naval dos EUA, que criou o Tor para dissidentes políticos e denunciantes, permitindo que eles se comuniquem sem medo de represálias.

O Tor foi tão eficaz em fornecer anonimato para esses grupos que não demorou muito para que os criminosos começassem a usá-lo também.

Isso deixa a polícia dos EUA na posição irônica de tentar rastrear criminosos que estão usando software patrocinado pelo governo para esconder seus rastros. Tor, ao que parece, é uma faca de dois gumes.

O anonimato é parte integrante da dark Web, mas você pode se perguntar como qualquer transação relacionada a dinheiro pode acontecer quando vendedores e compradores não conseguem se identificar. É aí que entra o Bitcoin .

Se você ainda não ouviu falar do Bitcoin, é basicamente uma moeda digital criptografada. Você pode ler tudo sobre isso em Como funciona o Bitcoin . Como o dinheiro normal, o Bitcoin é bom para transações de todos os tipos e, principalmente, também permite o anonimato; ninguém pode rastrear uma compra, ilegal ou não.

Bitcoin pode ser a moeda do futuro – um tipo de dinheiro descentralizado e não regulamentado, livre das rédeas de qualquer governo. Mas como o Bitcoin não é apoiado por nenhum governo, seu valor flutua, muitas vezes descontroladamente. É tudo menos um lugar seguro para guardar suas economias. Mas quando emparelhado corretamente com o Tor, talvez seja a coisa mais próxima de uma maneira infalível de comprar e vender na Web.

A dark Web tem suas conotações sinistras. Mas nem tudo no lado escuro é ruim. Existem todos os tipos de serviços que não necessariamente infringem a lei.

A dark Web é o lar de mecanismos de busca alternativos, serviços de e-mail , armazenamento de arquivos, compartilhamento de arquivos, mídia social, sites de bate-papo, agências de notícias e sites de denúncias, bem como sites que fornecem um ponto de encontro mais seguro para dissidentes políticos e qualquer outra pessoa que podem encontrar-se à margem da sociedade.

Em uma época em que a vigilância do tipo NSA é onipresente e a privacidade parece coisa do passado, a dark web oferece algum alívio para as pessoas que valorizam seu anonimato . Os mecanismos de pesquisa da Dark Web podem não oferecer resultados de pesquisa personalizados, mas também não rastreiam seu comportamento online nem oferecem um fluxo interminável de anúncios. O Bitcoin pode não ser totalmente estável, mas oferece privacidade, algo que sua empresa de cartão de crédito certamente não oferece.

Para os cidadãos que vivem em países com líderes violentos ou opressores, a dark Web oferece uma maneira mais segura de se comunicar com indivíduos que pensam da mesma forma. Ao contrário do Facebook ou do Twitter, que são fáceis de serem monitorados por autoridades determinadas, a dark Web oferece cobertura mais profunda e um grau de segurança para aqueles que falam mal ou planejam minar políticos ou senhores corporativos.

Um artigo escrito por pesquisadores da Universidade de Luxemburgo tentou classificar os materiais mais acessados ​​na dark web. O que eles descobriram foi que, embora os sites que comercializam atividades ilegais e conteúdo adulto sejam muito populares, também são aqueles preocupados com direitos humanos e liberdade de informação [Fonte: ArXiv ].

Portanto, embora a dark Web definitivamente tenha seu lado feio, ela também tem um grande potencial.

A Deep Web está cada vez mais profunda. Seu estoque de conhecimento humano e trivialidades cresce a cada dia, complicando nossos esforços para dar sentido a tudo isso. No final, esse talvez seja o maior desafio por trás da Internet que criamos.

Os programadores continuarão a melhorar os algoritmos dos mecanismos de busca , tornando-os melhores para mergulhar nas camadas mais profundas da Web. Ao fazer isso, eles ajudarão pesquisadores e empresas a conectar e cruzar informações de maneiras que nunca foram possíveis antes.

Ao mesmo tempo, o principal trabalho de um mecanismo de busca inteligente não é simplesmente encontrar informações. O que você realmente quer fazer é encontrar as informações mais relevantes. Caso contrário, você ficará inundado em um mar de dados confusos que o deixarão desejando nunca ter clicado naquele botão de pesquisa.

Esse é o problema dos chamados big data . Big data é o nome para conjuntos de dados que são tão grandes que se tornam incontroláveis ​​e incoerentes. Como a Internet está crescendo tão rapidamente, nosso mundo inteiro está invadido por dados, e é difícil para qualquer um entender tudo isso – mesmo todos aqueles computadores poderosos e oniscientes na sede do Bing e do Google.

À medida que a Internet cresce, cada grande empresa gasta cada vez mais dinheiro em gerenciamento e análise de dados, tanto para manter suas próprias organizações funcionando quanto para obter vantagens competitivas sobre outras. A mineração e a organização da Deep Web são uma parte vital dessas estratégias. As empresas que aprenderem a aproveitar esses dados para seus próprios usos sobreviverão e talvez mudarão o mundo com novas tecnologias. Aqueles que dependem apenas da superfície da Web não serão capazes de competir.

Enquanto isso, a Deep Web continuará a deixar perplexo e fascinar todos que usam a Internet. Ele contém uma quantidade fascinante de conhecimento que pode nos ajudar a evoluir tecnologicamente e como espécie quando conectados a outros bits de informação. E, claro, seu lado mais sombrio sempre estará à espreita também, assim como sempre acontece na natureza humana. A Deep Web fala do potencial insondável e disperso não apenas da Internet, mas também da raça humana.

Nota do autor: como funciona a Deep Web

A Deep Web é um lugar vago e ambíguo. Mas ao pesquisar esta história, foi fácil concluir pelo menos uma coisa com certeza - a maioria das manchetes de notícias tendem a sensacionalizar a dark web e seu lado mais decadente, e raramente mencionam o potencial inexplorado da deep web. Artigos sobre drogas e armas ilegais obviamente atraem mais leitores do que aqueles que detalham os desafios técnicos da coleta de dados da deep web. Leia os artigos negativos e sem fôlego com um grão de sal. Vale lembrar que há muito mais na deep web do que o elemento criminoso óbvio. À medida que os engenheiros encontram maneiras melhores e mais rápidas de catalogar os estoques de dados da Web, a Internet como um todo pode transformar nossa sociedade de maneiras surpreendentes.

Artigos relacionados