Cara Kerja Deep Web

Sungguh jaring kusut yang kami jalin. Sekitar 40 persen populasi dunia menggunakan Web untuk berita, hiburan, komunikasi, dan berbagai keperluan lainnya [sumber: Internet World Stats ]. Namun, bahkan ketika semakin banyak orang masuk, mereka sebenarnya menemukan lebih sedikit data yang disimpan secara online. Itu karena hanya sebagian kecil dari apa yang kita kenal sebagai World Wide Web yang mudah diakses.

Apa yang disebut Web permukaan , yang kita semua gunakan secara rutin, terdiri dari data yang dapat ditemukan oleh mesin telusur dan kemudian ditawarkan sebagai tanggapan atas pertanyaan Anda. Tetapi dengan cara yang sama seperti hanya puncak gunung es yang terlihat oleh pengamat, mesin pencari tradisional hanya melihat sedikit informasi yang tersedia -- sangat sedikit 0,03 persen [sumber: OEDB ].

Adapun sisanya? Yah, sebagian besar terkubur dalam apa yang disebut Deep Web . Deep Web (juga dikenal sebagai undernet, Web tak terlihat dan Web tersembunyi, di antara moniker lainnya) terdiri dari data yang tidak akan Anda temukan dengan pencarian Google sederhana.

Tidak ada yang benar-benar tahu seberapa besar Deep Web sebenarnya, tetapi ratusan (atau bahkan mungkin ribuan) kali lebih besar dari Web permukaan. Data ini tidak selalu disembunyikan dengan sengaja. Hanya saja sulit bagi teknologi mesin pencari saat ini untuk menemukan dan memahaminya.

Ada sisi lain dari Deep Web yang jauh lebih suram -- dan, terkadang, lebih gelap -- itulah sebabnya ia juga dikenal sebagai dark web . Di Web yang gelap, pengguna benar-benar sengaja mengubur data. Seringkali, bagian-bagian Web ini hanya dapat diakses jika Anda menggunakan perangkat lunak browser khusus yang membantu mengupas lapisan-lapisan seperti bawang di Web yang gelap.

Perangkat lunak ini menjaga privasi sumber dan tujuan data serta orang-orang yang mengaksesnya. Untuk pembangkang politik dan penjahat, jenis anonimitas ini menunjukkan kekuatan besar dari Web gelap, memungkinkan transfer informasi, barang dan jasa, secara legal atau ilegal, ke kekecewaan dari kekuatan-yang-ada di seluruh dunia.

Sama seperti mesin pencari yang hanya menggores permukaan Web, kami baru memulai. Teruslah membaca untuk mengetahui betapa kusutnya Web kita.

1. Tersembunyi di Situs Biasa
2. Tepat di Bawah Permukaan
3. Potensi Dalam
4. Air Terjun Kegelapan
5. Menggairahkan Tor
6. Sisi Terang dari Kegelapan
7. Bahkan Lebih Dalam

Deep Web sangat besar dibandingkan dengan Web permukaan. Web saat ini memiliki lebih dari 555 juta domain terdaftar. Masing-masing domain tersebut dapat memiliki lusinan, ratusan atau bahkan ribuan sub-halaman, banyak di antaranya tidak dikatalogkan, dan dengan demikian termasuk dalam kategori Deep Web.

Meskipun tidak ada yang benar-benar tahu pasti, Web dalam mungkin 400 hingga 500 kali lebih besar dari Web permukaan [sumber: BrightPlanet ]. Dan baik permukaan maupun Web dalam tumbuh lebih besar dan lebih besar setiap hari.

Untuk memahami mengapa begitu banyak informasi tidak terlihat oleh mesin pencari, ada baiknya memiliki sedikit latar belakang tentang teknologi pencarian. Anda dapat membaca semua tentang itu dengan Cara Kerja Mesin Pencari Internet, tetapi kami akan memberikan ringkasan singkat di sini.

Mesin pencari umumnya membuat indeks data dengan mencari informasi yang disimpan di situs Web dan sumber daya online lainnya. Proses ini berarti menggunakan spider atau crawler otomatis , yang menemukan domain dan kemudian mengikuti hyperlink ke domain lain, seperti arakhnida yang mengikuti sulur halus web, dalam arti menciptakan peta Web yang luas.

Indeks atau peta ini adalah kunci Anda untuk menemukan data spesifik yang relevan dengan kebutuhan Anda. Setiap kali Anda memasukkan pencarian kata kunci, hasil muncul hampir seketika berkat indeks itu. Tanpa itu, mesin pencari benar-benar harus mulai mencari miliaran halaman dari awal setiap kali seseorang menginginkan informasi, sebuah proses yang akan melelahkan dan menjengkelkan.

Tetapi mesin pencari tidak dapat melihat data yang disimpan ke Deep Web. Ada ketidakcocokan data dan rintangan teknis yang mempersulit upaya pengindeksan. Ada situs Web pribadi yang memerlukan kata sandi login sebelum Anda dapat mengakses kontennya. Crawler tidak dapat menembus data yang memerlukan pencarian kata kunci pada satu situs Web tertentu. Ada situs akses berwaktu yang tidak lagi mengizinkan tampilan publik setelah batas waktu tertentu telah berlalu.

Semua tantangan itu, dan banyak lagi lainnya, membuat data lebih sulit ditemukan dan diindeks oleh mesin pencari. Teruslah membaca untuk melihat lebih banyak tentang apa yang memisahkan permukaan dan Web dalam.

Seperti yang telah kami catat, ada jutaan demi jutaan sub-halaman bertebaran di jutaan domain. Ada halaman internal tanpa tautan eksternal, seperti internal.howstuffworks.com, yang digunakan untuk tujuan pemeliharaan situs. Ada posting blog yang tidak dipublikasikan atau tidak terdaftar, galeri gambar, direktori file, dan jumlah konten yang tidak dapat dilihat oleh mesin pencari.

Berikut ini hanya satu contoh. Ada banyak situs web surat kabar independen online, dan terkadang, mesin pencari mengindeks beberapa artikel di situs tersebut. Itu terutama berlaku untuk berita utama yang menerima banyak perhatian media. Pencarian Google yang cepat pasti akan mengungkap banyak lusinan artikel tentang, misalnya, tim sepak bola Piala Dunia .

Tetapi jika Anda mencari cerita yang lebih tidak jelas, Anda mungkin harus langsung membuka situs surat kabar tertentu, lalu menelusuri atau mencari konten untuk menemukan apa yang Anda cari. Hal ini terutama berlaku sebagai usia berita. Semakin tua ceritanya, semakin besar kemungkinannya hanya disimpan di arsip surat kabar, yang tidak terlihat di Web permukaan. Selanjutnya, cerita itu mungkin tidak langsung muncul di mesin pencari -- jadi ini dianggap sebagai bagian dari Deep Web.

Data di Deep Web sulit untuk dilihat oleh mesin pencari, tetapi tidak terlihat bukan berarti tidak penting. Seperti yang dapat Anda lihat hanya dari contoh surat kabar kami, ada nilai besar dalam informasi yang tersimpan di Deep Web.

Deep Web adalah gudang tanpa akhir untuk sejumlah informasi yang mencengangkan. Ada database teknik, semua jenis informasi keuangan, dokumen medis, gambar, ilustrasi ... daftarnya terus berlanjut, pada dasarnya, selamanya.

Dan Deep Web semakin dalam dan semakin rumit. Agar mesin pencari dapat meningkatkan kegunaannya, pemrogram mereka harus mencari cara untuk menyelami Web yang dalam dan membawa data ke permukaan. Entah bagaimana mereka tidak hanya harus menemukan informasi yang valid, tetapi mereka harus menemukan cara untuk menyajikannya tanpa membebani pengguna akhir.

Seperti halnya semua hal bisnis, mesin pencari berurusan dengan masalah yang lebih berat daripada apakah Anda dan saya dapat menemukan resep keripik apel terbaik di dunia. Mereka ingin membantu kekuatan perusahaan menemukan dan menggunakan Deep Web dengan cara yang baru dan berharga.

Misalnya, insinyur konstruksi berpotensi mencari makalah penelitian di beberapa universitas untuk menemukan bahan bangunan jembatan terbaru dan terbaik. Dokter dapat dengan cepat menemukan penelitian terbaru tentang penyakit tertentu.

Potensinya tidak terbatas. Tantangan teknisnya menakutkan. Itulah yang menarik dari Deep Web. Namun ada sisi kelam dari Deep Web juga -- yang meresahkan banyak orang karena banyak alasan.

Deep Web mungkin merupakan tanah bayangan dengan potensi yang belum dimanfaatkan, tetapi dengan sedikit keterampilan dan sedikit keberuntungan, Anda dapat menjelaskan banyak informasi berharga yang telah diarsipkan oleh banyak orang. Di Web yang gelap, tempat orang dengan sengaja menyembunyikan informasi, mereka lebih suka jika Anda mematikan lampu.

Dark Web agak mirip dengan id Web. Ini pribadi. Itu anonim . Ini sangat kuat. Ini melepaskan sifat manusia dalam segala bentuknya, baik dan buruk.

Hal-hal buruk, seperti biasa, mendapat sebagian besar berita utama. Anda dapat menemukan semua jenis barang dan aktivitas ilegal melalui Web gelap. Itu termasuk obat-obatan terlarang, pornografi anak, nomor kartu kredit curian, perdagangan manusia , senjata, binatang eksotis, media berhak cipta, dan apa pun yang dapat Anda pikirkan. Secara teoritis, Anda bahkan bisa, katakanlah, menyewa pembunuh bayaran untuk membunuh seseorang yang tidak Anda sukai.

Tetapi Anda tidak akan menemukan informasi ini dengan pencarian Google. Situs Web semacam ini mengharuskan Anda untuk menggunakan perangkat lunak khusus, seperti The Onion Router , yang lebih dikenal sebagai Tor .

Tor adalah perangkat lunak yang diinstal ke browser Anda dan mengatur koneksi spesifik yang Anda perlukan untuk mengakses situs Web gelap. Secara kritis, Tor adalah teknologi terenkripsi yang membantu orang menjaga anonimitas online. Ini dilakukan sebagian dengan merutekan koneksi melalui server di seluruh dunia, membuatnya lebih sulit untuk dilacak.

Tor juga memungkinkan orang mengakses apa yang disebut layanan tersembunyi -- situs Web bawah tanah yang terkenal dengan Web gelapnya. Alih-alih melihat domain yang berakhiran .com atau .org, situs tersembunyi ini berakhiran .onion. Pada halaman berikutnya kita akan mengupas lapisan dari beberapa bawang tersebut.

Yang paling terkenal dari situs bawang ini adalah Silk Road yang sekarang sudah tidak berfungsi, pasar online di mana pengguna dapat membeli obat-obatan, senjata, dan segala macam barang ilegal lainnya. The FBI akhirnya ditangkap Ross Ulbricht, yang dioperasikan Silk Road, tapi situs peniru seperti Black Market Reloaded masih tersedia.

Anehnya, Tor adalah hasil penelitian yang dilakukan oleh US Naval Research Laboratory, yang menciptakan Tor untuk pembangkang politik dan pelapor, yang memungkinkan mereka berkomunikasi tanpa takut akan pembalasan.

Tor sangat efektif dalam memberikan anonimitas untuk kelompok-kelompok ini sehingga tidak butuh waktu lama bagi para penjahat untuk mulai menggunakannya juga.

Itu membuat penegak hukum AS berada dalam posisi ironis dalam mencoba melacak penjahat yang menggunakan perangkat lunak yang disponsori pemerintah untuk menyembunyikan jejak mereka. Tor, tampaknya, adalah pedang bermata dua.

Anonimitas adalah bagian tak terpisahkan di Web gelap, tetapi Anda mungkin bertanya-tanya bagaimana transaksi terkait uang dapat terjadi ketika penjual dan pembeli tidak dapat mengidentifikasi satu sama lain. Di situlah Bitcoin masuk.

Jika Anda belum pernah mendengar tentang Bitcoin, pada dasarnya ini adalah mata uang digital terenkripsi. Anda dapat membaca semuanya tentang Cara Kerja Bitcoin . Seperti uang tunai biasa, Bitcoin bagus untuk semua jenis transaksi, dan terutama, ini juga memungkinkan anonimitas; tidak ada yang bisa melacak pembelian, ilegal atau sebaliknya.

Bitcoin mungkin merupakan mata uang masa depan -- jenis uang yang terdesentralisasi dan tidak diatur, bebas dari kendali pemerintah mana pun. Tetapi karena Bitcoin tidak didukung oleh pemerintah mana pun, nilainya berfluktuasi, seringkali sangat liar. Ini sama sekali bukan tempat yang aman untuk menyimpan tabungan hidup Anda. Tetapi ketika dipasangkan dengan benar dengan Tor, itu mungkin hal yang paling dekat dengan cara yang sangat mudah untuk membeli dan menjual di Web.

Dark Web memiliki nuansa yang tidak menyenangkan. Tapi tidak semua sisi gelap itu buruk. Ada segala macam layanan yang tidak selalu bertentangan dengan hukum.

Dark Web adalah rumah bagi mesin pencari alternatif, layanan email , penyimpanan file, berbagi file, media sosial, situs obrolan, outlet berita dan situs whistleblowing, serta situs yang menyediakan tempat pertemuan yang lebih aman bagi para pembangkang politik dan siapa pun yang mungkin menemukan diri mereka di pinggiran masyarakat.

Di zaman di mana pengawasan jenis NSA ada di mana-mana dan privasi tampak seperti sesuatu dari masa lalu, Web gelap menawarkan sedikit kelegaan kepada orang-orang yang menghargai anonimitas mereka . Mesin pencari Dark Web mungkin tidak menawarkan hasil pencarian yang dipersonalisasi, tetapi mereka juga tidak melacak perilaku online Anda atau menawarkan aliran iklan yang tak ada habisnya. Bitcoin mungkin tidak sepenuhnya stabil, tetapi ia menawarkan privasi, yang tentunya tidak dimiliki oleh perusahaan kartu kredit Anda.

Untuk warga yang tinggal di negara dengan pemimpin yang kejam atau menindas, Web gelap menawarkan cara yang lebih aman untuk berkomunikasi dengan individu yang berpikiran sama. Tidak seperti Facebook atau Twitter, yang mudah dipantau oleh pihak berwenang, Dark Web menyediakan perlindungan yang lebih dalam dan tingkat keamanan bagi mereka yang akan menjelek-jelekkan atau berencana untuk melemahkan politisi atau penguasa perusahaan.

Sebuah makalah yang ditulis oleh para peneliti di University of Luxembourg berusaha untuk menentukan peringkat materi yang paling sering diakses di Dark Web. Apa yang mereka temukan adalah bahwa meskipun situs yang memperdagangkan aktivitas ilegal dan konten dewasa sangat populer, begitu juga mereka yang peduli dengan hak asasi manusia dan kebebasan informasi [Sumber: ArXiv ].

Jadi, meskipun Dark Web pasti memiliki sisi buruknya, ia juga memiliki potensi besar.

Deep Web semakin dalam. Penyimpanan pengetahuan manusia dan hal-hal sepele tumbuh lebih besar setiap hari, memperumit upaya kita untuk memahami semuanya. Pada akhirnya, itulah mungkin tantangan terbesar di balik Internet yang kami buat.

Pemrogram akan terus meningkatkan algoritme mesin telusur , membuatnya lebih baik dalam menggali lapisan Web yang lebih dalam. Dengan melakukan itu, mereka akan membantu peneliti dan bisnis terhubung dan referensi silang informasi dengan cara yang tidak pernah mungkin dilakukan sebelumnya.

Pada saat yang sama, tugas utama mesin pencari pintar bukanlah sekadar mencari informasi. Apa yang Anda benar-benar ingin lakukan adalah menemukan informasi yang paling relevan. Jika tidak, Anda akan tenggelam dalam lautan data yang berantakan yang membuat Anda berharap tidak pernah mengklik tombol pencarian itu.

Itulah masalah yang disebut big data . Data besar adalah nama untuk kumpulan data yang sangat besar sehingga menjadi tidak dapat dikelola dan tidak koheren. Karena Internet berkembang begitu cepat, seluruh dunia kita dibanjiri data, dan sulit bagi siapa pun untuk memahami semuanya -- bahkan semua komputer canggih dan serba tahu di kantor pusat Bing dan Google.

Seiring pertumbuhan Internet, setiap perusahaan besar menghabiskan lebih banyak uang untuk manajemen dan analisis data, baik untuk menjaga agar organisasi mereka tetap berfungsi dan juga untuk mendapatkan keunggulan kompetitif dibandingkan yang lain. Menambang dan mengatur Deep Web adalah bagian penting dari strategi tersebut. Perusahaan-perusahaan yang belajar memanfaatkan data ini untuk penggunaan mereka sendiri akan bertahan dan mungkin mengubah dunia dengan teknologi baru. Mereka yang hanya mengandalkan Web permukaan tidak akan mampu bersaing.

Sementara itu, Deep Web akan terus membingungkan dan mempesona semua orang yang menggunakan Internet. Ini berisi sejumlah pengetahuan yang memikat yang dapat membantu kita berkembang secara teknologi dan sebagai spesies ketika terhubung ke bit informasi lainnya. Dan tentu saja, sisi gelapnya juga akan selalu mengintai, seperti yang selalu terjadi pada sifat manusia. Deep Web berbicara kepada potensi yang tak terukur dan tersebar tidak hanya dari Internet, tetapi juga umat manusia.

Catatan Penulis: Cara Kerja Deep Web

Deep Web adalah tempat yang samar dan ambigu. Tetapi saat meneliti cerita ini, mudah untuk menyimpulkan setidaknya satu hal yang pasti -- sebagian besar berita utama cenderung membuat sensasi Web gelap dan sisi yang lebih kumuh, dan jarang menyebutkan potensi Web dalam yang belum dimanfaatkan. Artikel tentang obat-obatan terlarang dan senjata jelas menarik lebih banyak pembaca daripada yang merinci tantangan teknis mengumpulkan data dari Deep Web. Baca artikel negatif dan terengah-engah dengan sebutir garam. Perlu diingat bahwa ada lebih banyak hal di Deep Web daripada elemen kriminal yang jelas. Saat para insinyur menemukan cara yang lebih baik dan lebih cepat untuk membuat katalog penyimpanan data di Web, Internet secara keseluruhan dapat mengubah masyarakat kita dengan cara yang menakjubkan.

Artikel Terkait