Derin Ağ Nasıl Çalışır?

Gerçekten ne kadar karışık bir ağ örüyoruz. Dünya nüfusunun yaklaşık yüzde 40'ı Web'i haber, eğlence, iletişim ve sayısız başka amaçlarla kullanıyor [kaynak: İnternet Dünya İstatistikleri ]. Yine de, daha fazla insan oturum açsa bile, aslında çevrimiçi olarak depolanan verinin daha azını buluyor. Bunun nedeni, World Wide Web olarak bildiğimizin yalnızca bir şeridine kolayca erişilebilmesidir.

Hepimizin rutin olarak kullandığı sözde yüzey Web , arama motorlarının bulabileceği ve daha sonra sorgularınıza yanıt olarak sunabileceği verilerden oluşur. Ancak tıpkı bir buzdağının sadece ucunun gözlemciler tarafından görülebilmesi gibi, geleneksel bir arama motoru da mevcut olan bilginin yalnızca küçük bir miktarını görür - sadece yüzde 0,03 [kaynak: OEDB ].

Geri kalanına gelince? Pek çoğu derin Web denen şeyin içine gömülüdür . Derin Web (diğer adların yanı sıra undernet, görünmez Web ve gizli Web olarak da bilinir), basit bir Google aramasıyla bulamayacağınız verilerden oluşur.

Derin Web'in gerçekte ne kadar büyük olduğunu kimse bilmiyor, ancak Web'in yüzeyinden yüzlerce (hatta belki binlerce) kat daha büyük. Bu verilerin mutlaka kasıtlı olarak gizlenmesi gerekmez. Mevcut arama motoru teknolojisinin onu bulması ve anlamlandırması çok zor.

Derin Web'in çok daha karanlık ve bazen daha koyu olan bir diğer yüzü vardır, bu yüzden karanlık ağ olarak da bilinir . Karanlık Web'de, kullanıcılar gerçekten kasıtlı olarak verileri gömüyorlar. Genellikle, Web'in bu bölümlerine, yalnızca karanlık Web'in soğan benzeri katmanlarını soymaya yardımcı olan özel tarayıcı yazılımı kullanıyorsanız erişilebilir.

Bu yazılım , verilerin hem kaynağının hem de hedefinin ve bunlara erişen kişilerin gizliliğini korur. Siyasi muhalifler ve benzer şekilde suçlular için, bu tür bir anonimlik, karanlık Web'in muazzam gücünü gösterir ve dünyanın her yerindeki güçlerin üzüntüsüne yasal veya yasadışı olarak bilgi, mal ve hizmet aktarımını mümkün kılar.

Tıpkı bir arama motorunun Web'in yüzeyini çizmesi gibi, biz de daha yeni başlıyoruz. Web’imizin gerçekte ne kadar karmaşık hale geldiğini öğrenmek için okumaya devam edin.

1. Düz Sitede Gizli
2. Yüzeyin Hemen Altında
3. Derin Potansiyel
4. Karanlık düşer
5. Seksi Tor
6. Karanlığın Daha Parlak Tarafı
7. Daha da Derin

Derin Web, yüzey Web'e kıyasla çok büyüktür. Today's Web, 555 milyondan fazla kayıtlı alan adına sahiptir. Bu alanların her biri düzinelerce, yüzlerce hatta binlerce alt sayfaya sahip olabilir, bunların çoğu kataloglanmamıştır ve bu nedenle derin Web kategorisine girer.

Hiç kimse kesin olarak bilmese de, derin Web, yüzeydeki Web'den [kaynak: BrightPlanet ] 400 ila 500 kat daha büyük olabilir . Ve hem yüzey hem de derin Web her geçen gün daha da büyüyor.

Neden bu kadar çok bilginin arama motorlarının gözünden uzak olduğunu anlamak, arama teknolojileri hakkında biraz bilgi birikimine sahip olmak yardımcı olur. İnternet Arama Motorları Nasıl Çalışır kitabıyla ilgili her şeyi okuyabilirsiniz , ancak burada size hızlı bir özet vereceğiz.

Arama motorları genellikle Web sitelerinde ve diğer çevrimiçi kaynaklarda depolanan bilgileri bularak bir veri dizini oluşturur . Bu süreç , etki alanlarını bulan ve ardından diğer etki alanlarına giden köprüleri izleyen otomatik örümcekler veya tarayıcıların kullanılması anlamına gelir , örneğin bir ağın ipeksi kıvrımlarını izleyen bir örümcek gibi, bir anlamda genişleyen bir Web haritası oluşturur.

Bu dizin veya harita, ihtiyaçlarınızla ilgili belirli verileri bulmanız için anahtarınızdır. Bir anahtar kelime araması girdiğiniz her seferde, bu dizin sayesinde sonuçlar neredeyse anında görünür. O olmasaydı, arama motoru, birileri her bilgi istediğinde, kelimenin tam anlamıyla milyarlarca sayfayı sıfırdan aramaya başlamak zorunda kalacaktı; bu, hem hantal hem de sinir bozucu bir süreç olurdu.

Ancak arama motorları, derin Web'de depolanan verileri göremez. Dizin oluşturma çabalarını zorlaştıran veri uyumsuzlukları ve teknik engeller vardır. İçeriğe erişebilmeniz için oturum açma parolası gerektiren özel Web siteleri vardır . Tarayıcılar, belirli tek bir Web sitesinde anahtar kelime aramaları gerektiren verilere nüfuz edemezler. Belirli bir zaman sınırı geçtikten sonra artık genel görüntülemeye izin vermeyen zamanlı erişim siteleri vardır.

Tüm bu zorluklar ve daha pek çoğu, arama motorlarının verileri bulmasını ve dizine eklemesini çok daha zor hale getirir. Yüzey ile derin Web'i neyin ayırdığı hakkında daha fazlasını görmek için okumaya devam edin.

Daha önce de belirttiğimiz gibi, milyonlarca etki alanına dağılmış milyonlarca alt sayfa vardır. Site bakımı amacıyla kullanılan internal.howstuffworks.com gibi harici bağlantı içermeyen dahili sayfalar vardır. Yayınlanmamış veya listelenmemiş blog yazıları, resim galerileri, dosya dizinleri ve arama motorlarının göremediği anlatılmamış miktarlarda içerik var.

İşte sadece bir örnek. Çevrimiçi olarak birçok bağımsız gazete Web sitesi vardır ve bazen arama motorları bu sitelerdeki makalelerden birkaçını indeksler. Bu, özellikle medyanın büyük ilgisini çeken büyük haberler için geçerlidir. Hızlı bir Google araması şüphesiz Dünya Kupası futbol takımları hakkında düzinelerce makaleyi ortaya çıkaracaktır .

Ancak daha belirsiz bir hikaye arıyorsanız, doğrudan belirli bir gazete sitesine gitmeniz ve ardından aradığınızı bulmak için içeriğe göz atmanız veya arama yapmanız gerekebilir. Bu, özellikle bir haber hikayesi yaşlandıkça doğrudur. Hikaye ne kadar eski olursa, yalnızca gazetenin arşivinde depolanma olasılığı o kadar artar ve bu, yüzeysel Web'de görünmez. Daha sonra, bu hikaye arama motorlarında hemen görünmeyebilir - bu nedenle derin Web'in bir parçası olarak sayılır.

Derin Web'deki verileri arama motorlarının görmesi zordur, ancak görünmeyen önemsiz değildir. Sadece gazete örneğimizden de görebileceğiniz gibi, derin Web'de saklanan bilginin muazzam bir değeri var.

Derin Web, akıllara durgunluk veren miktarda bilgi için sonsuz bir depodur. Mühendislik veritabanları, her türden finansal bilgi, tıbbi belgeler, resimler, resimler var ... liste temelde sonsuza kadar devam ediyor.

Ve derin Web yalnızca derinleşiyor ve daha karmaşık hale geliyor. Arama motorlarının kullanışlılıklarını artırması için, programcılarının derin Web'e nasıl dalacaklarını ve verileri yüzeye nasıl getireceklerini bulmaları gerekir. Her nasılsa sadece geçerli bilgiyi bulmamalılar, aynı zamanda son kullanıcıları bunaltmadan sunmanın bir yolunu bulmalılar.

İşle ilgili her şeyde olduğu gibi, arama motorları, senin ve benim dünyadaki en iyi elma gevrek tarifini bulup bulamayacağımızdan daha ağır endişelerle uğraşıyor. Kurumsal güçlerin derin Web'i yeni ve değerli şekillerde bulmasına ve kullanmasına yardımcı olmak istiyorlar.

Örneğin, inşaat mühendisleri, köprü kurma malzemelerindeki en son ve en iyiyi bulmak için potansiyel olarak birden fazla üniversitede araştırma makalelerini arayabilirler. Doktorlar, belirli bir hastalıkla ilgili en son araştırmaları hızla bulabilirler.

Potansiyel sınırsızdır. Teknik zorluklar göz korkutucu. Derin Web'in çekiciliği budur. Yine de, derin Web'in daha karanlık bir tarafı da var - birçok nedenden ötürü birçok insanı rahatsız eden bir yanı var.

Derin Web, keşfedilmemiş potansiyele sahip bir gölge ülkesi olabilir, ancak biraz beceri ve biraz şansla, birçok insanın arşivlemek için çalıştığı birçok değerli bilgiyi aydınlatabilirsiniz. İnsanların kasıtlı olarak bilgileri sakladığı karanlık Web'de, ışıkları kapalı bıraksanız bunu tercih ederlerdi.

Karanlık Web biraz Web'in kimliği gibidir. Gizlidir. Bu var anonim . Güçlüdür. Hem iyi hem de kötü tüm biçimleriyle insan doğasını açığa çıkarır.

Kötü şeyler, her zaman olduğu gibi manşetlerin çoğunu alır. Dark Web'de her türlü yasadışı mal ve faaliyeti bulabilirsiniz. Bu, yasadışı uyuşturucular, çocuk pornografisi, çalınan kredi kartı numaraları, insan kaçakçılığı , silahlar, egzotik hayvanlar, telif hakkıyla korunan medya ve aklınıza gelebilecek diğer her şeyi içerir. Teorik olarak, sevmediğin birini öldürmesi için kiralık katil bile tutabilirsin.

Ancak bu bilgiyi bir Google aramasıyla bulamazsınız. Bu tür Web siteleri , daha yaygın olarak Tor olarak bilinen The Onion Router gibi özel bir yazılım kullanmanızı gerektirir .

Tor, tarayıcınıza yüklenen ve karanlık Web sitelerine erişmek için ihtiyaç duyduğunuz belirli bağlantıları kuran bir yazılımdır. Tor kritik olarak, insanların çevrimiçinde anonimliğini korumalarına yardımcı olan şifreli bir teknolojidir. Bunu kısmen, bağlantıları dünyanın dört bir yanındaki sunucular üzerinden yönlendirerek, izlenmelerini çok daha zor hale getirerek yapar.

Tor ayrıca insanların sözde gizli hizmetlere - karanlık Web'in kötü şöhretli olduğu yeraltı Web sitelerine - erişmesine izin verir. .Com veya .org ile biten alan adlarını görmek yerine, bu gizli siteler .onion ile biter. Bir sonraki sayfada bu soğanların bazılarının katmanlarını soyacağız.

Bu soğan sitelerinin en kötü şöhreti, kullanıcıların uyuşturucu, silah ve diğer her türlü yasadışı ürünü satın alabilecekleri bir çevrimiçi pazar yeri olan ve artık feshedilmiş olan Silk Road'du. FBI sonunda İpek Yolu işletilen Ross Ulbricht, yakalanan, ancak Karaborsa Reloaded gibi taklitçi siteleri hala hazır.

İşin garibi, Tor, siyasi muhalifler ve ihbarcılar için Tor'u yaratan ve misilleme korkusu olmadan iletişim kurmalarını sağlayan ABD Deniz Araştırma Laboratuvarı tarafından yapılan araştırmanın sonucudur.

Tor, bu gruplar için anonimlik sağlamada o kadar etkiliydi ki, suçluların da kullanmaya başlaması uzun sürmedi.

Bu, ABD kolluk kuvvetlerini, izlerini gizlemek için devlet destekli yazılım kullanan suçluları izleme girişiminde bulunma ironik konumunda bırakıyor. Görünüşe göre Tor iki ucu keskin bir kılıç.

Anonimlik, karanlık Web'in bir parçasıdır, ancak satıcılar ve alıcılar birbirlerini tanımlayamadığında parayla ilgili herhangi bir işlemin nasıl olabileceğini merak edebilirsiniz. Bitcoin'in devreye girdiği yer burasıdır .

Bitcoin'i duymadıysanız, temelde şifrelenmiş bir dijital para birimidir. Bitcoin Nasıl Çalışır hakkında her şeyi okuyabilirsiniz . Normal nakit gibi, Bitcoin de her türlü işlem için iyidir ve özellikle anonimlik sağlar; hiç kimse yasa dışı veya başka bir satın alma işlemini izleyemez.

Bitcoin geleceğin para birimi olabilir - herhangi bir hükümetin dizginlerinden bağımsız, merkezi olmayan ve düzenlenmemiş bir para türü. Ancak Bitcoin herhangi bir hükümet tarafından desteklenmediğinden, değeri genellikle çılgınca dalgalanır. Hayat birikimlerinizi saklamak için güvenli bir yer dışında her şey. Ancak Tor ile doğru şekilde eşleştirildiğinde, Web üzerinden alım satım yapmanın kusursuz bir yoluna belki de en yakın şey budur.

Karanlık Ağ'ın uğursuz imaları var. Ama karanlık taraftaki her şey kötü değil. Yasalara aykırı olması gerekmeyen her türlü hizmet vardır.

Karanlık Web, alternatif arama motorlarına, e-posta hizmetlerine, dosya depolamaya, dosya paylaşımına, sosyal medyaya, sohbet sitelerine, haber kaynaklarına ve ihbar sitelerine ve ayrıca siyasi muhalifler ve diğer herkes için daha güvenli bir buluşma alanı sağlayan sitelere ev sahipliği yapmaktadır. kendilerini toplumun kenarında bulabilirler.

NSA tipi gözetlemenin her yerde olduğu ve mahremiyetin geçmişte kaldığı bir çağda, karanlık Web, anonimliğini ödüllendiren insanlara biraz rahatlama sunuyor . Dark Web arama motorları kişiselleştirilmiş arama sonuçları sunmayabilir, ancak çevrimiçi davranışınızı izlemez veya sonsuz bir reklam akışı sunmazlar. Bitcoin tamamen istikrarlı olmayabilir, ancak gizlilik sunar, bu da kredi kartı şirketinizin kesinlikle sunmadığı bir şeydir.

Şiddet yanlısı veya baskıcı liderlerin olduğu ülkelerde yaşayan vatandaşlar için karanlık Web, benzer düşünen kişilerle iletişim kurmanın daha güvenli bir yolunu sunuyor. Kararlı otoritelerin izlemesi kolay olan Facebook veya Twitter'ın aksine, karanlık Web, politikacıları veya şirket efendilerini zayıflatmak için kötü niyetli veya komplo kuranlar için daha derin bir koruma ve bir dereceye kadar güvenlik sağlar.

Lüksemburg Üniversitesi'ndeki araştırmacılar tarafından yazılan bir makale, karanlık Web'de en çok erişilen materyalleri sıralamaya çalıştı. Buldukları şey, yasadışı faaliyetler ve yetişkinlere yönelik içerik ticareti yapan sitelerin çok popüler olmasına rağmen, insan hakları ve bilgi özgürlüğü ile ilgilenenler de çok popülerdi [Kaynak: ArXiv ].

Dolayısıyla, karanlık Web kesinlikle çirkin tarafına sahip olsa da, aynı zamanda büyük bir potansiyele sahiptir.

Derin Web sadece derinleşiyor. İnsan bilgisinin ve önemsizliklerinin deposu her geçen gün daha da büyüyor ve her şeyi anlamlandırma çabalarımızı zorlaştırıyor. Sonunda, yarattığımız İnternetin arkasındaki belki de en büyük zorluk budur.

Programcılar, arama motoru algoritmalarını geliştirmeye devam ederek , onları Web'in daha derin katmanlarına inme konusunda daha iyi hale getirecek. Bunu yaparken, araştırmacıların ve işletmelerin bilgileri daha önce hiç mümkün olmayan yollarla birbirine bağlamasına ve çapraz referans vermesine yardımcı olacaklar.

Aynı zamanda, akıllı bir arama motorunun birincil işi sadece bilgiyi bulmak değildir. Gerçekten yapmasını istediğiniz şey, en alakalı bilgiyi bulmaktır. Aksi takdirde, o arama düğmesine hiç tıklamamış olmayı dilemenize neden olan dağınık bir veri denizinde kalırsınız.

Sözde büyük veri sorunu budur . Büyük veri, yönetilemez ve tutarsız hale gelebilecek kadar büyük veri kümelerinin adıdır. İnternet çok hızlı büyüdüğü için, tüm dünyamız verilerle dolup taşıyor ve Bing ve Google genel merkezlerindeki tüm o güçlü, her şeyi bilen bilgisayarlar bile dahil olmak üzere, herkesin hepsini anlamlandırması zor.

İnternet büyüdükçe, her büyük şirket hem kendi organizasyonlarının işleyişini sürdürmek hem de diğerlerine göre rekabet avantajı elde etmek için veri yönetimi ve analizine gittikçe daha fazla para harcıyor. Derin Web'i madencilik ve organize etmek, bu stratejilerin hayati bir parçasıdır. Bu verilerden kendi kullanımları için yararlanmayı öğrenen şirketler hayatta kalacak ve belki de dünyayı yeni teknolojilerle değiştirecek. Yalnızca yüzey Web'e güvenenler rekabet edemez.

Bu arada, derin Web, interneti kullanan herkesi şaşırtmaya ve büyülemeye devam edecek. Teknolojik olarak ve diğer bilgi parçalarına bağlandığında bir tür olarak evrimleşmemize yardımcı olabilecek büyüleyici miktarda bilgi içerir. Ve tabii ki, insan doğasında her zaman olduğu gibi karanlık tarafı da her zaman pusuda olacak. Derin Web, yalnızca İnternetin değil, insan ırkının da derinliksiz, dağınık potansiyeline hitap ediyor.

Yazarın Notu: Derin Web Nasıl Çalışır?

Derin Ağ belirsiz, belirsiz bir yerdir. Ancak bu hikayeyi araştırırken, kesin olarak en az bir şeyi sonuçlandırmak kolaydı - çoğu haber başlığı, karanlık Web'i ve onun gözü kara tarafını sansasyonelleştirmeye meyillidir ve nadiren derin Web'in keşfedilmemiş potansiyelinden söz eder. Yasadışı uyuşturucular ve silahlarla ilgili makaleler, açık bir şekilde derin Web'den veri toplamanın teknik zorluklarını detaylandıranlardan daha fazla okuyucu çekiyor. Bir tuz tanesi ile negatif, nefes aldırmayan makaleleri okuyun. Deep Web'de bariz suç unsurundan çok daha fazlası olduğunu hatırlamakta fayda var. Mühendisler Web'in veri depolarını kataloglamanın daha iyi ve daha hızlı yollarını buldukça, bir bütün olarak İnternet toplumumuzu şaşırtıcı şekillerde dönüştürebilir.

İlgili Makaleler