Robots.txt और TOS के बीच विसंगति
इस सवाल ने मुझे एक स्थिति के बारे में सोचा:
- ऐलिस बॉब को वेब साइट realestate.example.com को क्रॉल करने और नियमित अभिव्यक्ति के परिणाम वापस करने के लिए कहता है
"Price:([0-9]*).*Size:([0-9]*)" - Bob एक प्रमुख ओपन सोर्स वेब क्रॉलर को बताता है जो realestate.example.com पर googles robots.txt रीडिंग कार्यान्वयन (और यह पूरी तरह से उद्योग मानक प्रथाओं के अनुरूप है) को लागू करता है, परिणाम को greps, ऐलिस को डेटा भेजता है। वह कभी भी मैन्युअल रूप से साइट पर नहीं जाता है, उसने पूरी नौकरी पर लगभग 2 मिनट का मानव समय बिताया और इसकी कोई आवश्यकता नहीं थी।
- realestate.example.com के पास एक robots.txt है जो कहता है कि "सब कुछ ले लो" और एक साइटमैप। xml ब्याज के पृष्ठों का वर्णन करता है क्योंकि वे एसईओ के बारे में परवाह करते हैं । इसमें एक मानव पठनीय टीओएस है जो कहता है कि "स्क्रैपिंग की अनुमति नहीं है"।
क्या बॉब ने कुछ गलत किया है?
जवाब
शायद नहीं
कानून के इस क्षेत्र में कई मामले नहीं आए हैं, और ज्यादातर ने "गहरी लिंकिंग" के साथ निपटा है, विशेष रूप से ऐसे मामले जहां एक व्यक्ति जानबूझकर एक लॉगिन या परिचयात्मक पृष्ठ को दरकिनार कर रहा है, जब साइट इतनी डिजाइन की गई थी कि आमतौर पर आगंतुक केवल ऐसे लॉग-इन या इंट्रो पेज से होकर ही अन्य पेजों पर पहुँच सकता है। ऐसे मामलों में जहां यह साइट के मालिक को आय से वंचित करता है, या अस्वीकरण को दरकिनार करके साइट की प्रतिष्ठा को नुकसान पहुंचाता है, इसे कार्रवाई योग्य माना गया है। लिंकिंग, फ्रेमन और इनलाइनिंग और डीप लिंकिंग पर विकिपीडिया लेख पर नोलो का पेज देखें
में बौद्धिक रिजर्व, Inc वी। यूटा प्रकाशस्तंभ मंत्रालय , इंक, 75 एफ Supp। 2 डी 1290 (डी। यूटा 1999) गहरी लिंकिंग को योगदानकर्ता कॉपीराइट उल्लंघन के लिए आयोजित किया गया था। मामले पर विकिपीडिया लेख देखें उस स्थिति में, जो सामग्री कॉपीराइट धारक के प्राधिकरण के बिना पोस्ट की गई थी, और रक्षा द्वारा कोई उचित उपयोग मुद्दा नहीं उठाया गया था।
सामान्य तौर पर, अदालतों ने पाया है कि वेब पर एक पृष्ठ प्रकाशित करना दूसरों को इसे देखने और इसे लिंक करने के लिए आमंत्रित करता है। "डीप लिंकिंग" (ऊपर लिंक) पर विकिपीडिया लेख में कहा गया है कि:
फरवरी 2006 के एक फैसले में, डेनिश मैरीटाइम एंड कमर्शियल कोर्ट (कोपेनहेगन) ने रियल एस्टेट साइट के पोर्टल साइट ofir.dk द्वारा व्यवस्थित क्रॉलिंग, इंडेक्सिंग और डीप लिंकिंग पाया। डेनिश कानून या यूरोपीय संघ के डेटाबेस के साथ संघर्ष करने के लिए नहीं। । न्यायालय ने कहा कि खोज इंजन इंटरनेट के कामकाज के लिए वांछनीय हैं, और यह कि, इंटरनेट पर जानकारी प्रकाशित करते समय, किसी को मान लेना चाहिए और स्वीकार करना चाहिए - यह खोज इंजन किसी की वेबसाइट के अलग-अलग पृष्ठों के लिए गहरा-लिंक है।
में परफेक्ट 10, Inc वी। Amazon.com, Inc. 508 F.3d 1146 (9 Cir। 2007) एक अमेरिकी अदालत कि किसी चित्र खोज के हिस्से के रूप कॉपीराइट छवियों के लिए लिंक आयोजित कॉपीराइट का उल्लंघन नहीं थे। निन्थ सर्किट कोर्ट ऑफ़ अपील्स ने कहा कि Google का प्रदर्शन और थंबनेल का कैशिंग उचित उपयोग था, मुख्यतः क्योंकि वे "अत्यधिक" थे।
में क्रेगलिस्ट बनाम 3Taps (देखें Jaxenter लेख ) क्रेगलिस्ट PadMapper द्वारा scraping दोहराया पर आपत्ति PadMapper करने के लिए एक बंद करो और रुको आदेश भेजा है, और उसके IP पते अवरुद्ध कर दिया। PadMapper ने प्रॉक्सी के साथ इस ब्लॉक को बायपास करने के लिए 3Taps की सेवाओं का उपयोग किया। क्रेगलिस्ट ने मुकदमा किया और जीता। अदालत ने कहा कि अमेरिकी कंप्यूटर धोखाधड़ी और दुर्व्यवहार अधिनियम (सीएफएए) के तहत, संघर्ष और गिरफ्तारी आदेश और आईपी ब्लॉक पहुंच से इनकार करने के लिए पर्याप्त नोटिस थे, और यह कि आगे की पहुंच अनधिकृत और अधिनियम का उल्लंघन था। व्यक्तिगत नोटिस को इस होल्डिंग के लिए आवश्यक माना गया था।
रयानेयर बनाम पीआर एविएशन का मामला यूरोपीय न्यायालय में लाया गया था। वहां, रयानएयर ने तर्क दिया था कि लगातार स्क्रैप करना उसके टीओएस और कॉपीराइट उल्लंघन का उल्लंघन था। अदालत ने माना कि सार्वजनिक रूप से उपलब्ध डेटाबेस के मालिक एक्सेस प्रतिबंध लगाने के हकदार थे। यह आगे कहा गया कि टीओएस की प्रयोज्यता राष्ट्रीय अदालतों के लिए निर्धारित करने के लिए एक मामला था।
इस लेख को "वेब स्क्रैपिंग से जुड़े आवश्यक कानूनी मुद्दे" पर भी देखें । वहां इस बात पर जोर दिया जाता है कि कॉपीराइट के उल्लंघन होने पर, या जब यूएस CFAA (या इसी तरह के कानूनों) के तहत विशिष्ट पहुंच प्रतिबंधों को छोड़कर बहुत अधिक स्क्रैपिंग कानूनी है, का उल्लंघन किया गया।
व्यक्तिगत तथ्य, जैसे घर की कीमतें और आकार, कॉपीराइट सुरक्षा के अधीन नहीं हैं, हालांकि ऐसे तथ्यों का चयन और संगठन हो सकता है, और ऐसे तथ्यों से युक्त डेटाबेस की रक्षा की जा सकती है। वेब पर पोस्ट किए गए पृष्ठों को तब तक सार्वजनिक रूप से सुलभ बनाया जा सकता है जब तक कि उन्हें सुरक्षित बनाने के लिए विशिष्ट कदम नहीं उठाए जाते हैं, जैसे कि पासवर्ड सुरक्षा, लॉगिन की आवश्यकता, या व्यक्तिगत नोटिस का उपयोग न करना। ROBOTS.TXT फ़ाइल, जबकि तकनीकी रूप से लागू नहीं की जाती है, एक व्यापक रूप से स्वीकृत मानक है, और एक आगंतुक शायद यह मानने का हकदार है कि स्थानीय रोबोट फ़ाइल के साथ एक्सेस अधिकृत है, साइट के मालिक से इसके विपरीत विशेष नोटिस के अभाव में । बार-बार पहुंच जो साइट के बैंडविड्थ या प्रदर्शन को नकारात्मक रूप से प्रभावित करती है वह एक अलग मामला हो सकता है।