Несоответствие между robots.txt и TOS
Этот вопрос заставил меня задуматься о ситуации:
- Алиса просит Боба просканировать веб-сайт realestate.example.com и вернуть результаты регулярного выражения.
"Price:([0-9]*).*Size:([0-9]*)" - Боб указывает на крупный поисковый робот с открытым исходным кодом, который реализует реализацию чтения googles robots.txt (и, следовательно, полностью соответствует отраслевым стандартам) на realestate.example.com, находит результат и отправляет данные Алисе. Он никогда не заходит на сайт вручную, он потратил около 2 минут человеческого времени на всю работу, и в этом не было необходимости.
- На сайте realestate.example.com есть файл robots.txt с надписью «Взять все» и файл sitemap.xml с описанием интересующих страниц, поскольку они заботятся о SEO . У него есть удобочитаемые TOS, в которых говорится: «Очистка запрещена».
Боб сделал что-нибудь не так?
Ответы
Возможно нет
В этой области закона было не так много дел, и они в основном касались "глубинных ссылок", особенно случаев, когда человек сознательно ссылался на страницу, минуя страницу входа или вводную страницу, когда сайт был разработан таким образом, что обычно посетитель мог попасть на другие страницы, только пройдя такую страницу входа или вступительную страницу. В случаях, когда это лишает владельца сайта дохода или наносит вред репутации сайта в обход заявлений об отказе от ответственности, это считается подлежащим судебному преследованию. См . Страницу Ноло о связывании, фрейминге и встраивании, а также статью в Википедии о глубоких ссылках.
В Intellectual Reserve, Inc. v. Юта Министерство Маяка , Inc, 75 F. Supp. 2d 1290 (D. Utah 1999) добавление прямых ссылок было признано соучастником нарушения авторских прав. См . Статью в Википедии по этому делу. В этом случае контент, на который делается ссылка, был размещен без разрешения правообладателя, и защита не подняла вопрос о добросовестном использовании.
Как правило, суды установили, что публикация страницы в Интернете приглашает других посетить ее и дать ссылку на нее. В статье Википедии о «Глубоких ссылках» (ссылка выше) говорится, что:
В своем постановлении от февраля 2006 года Датский морской и коммерческий суд (Копенгаген) установил, что систематическое сканирование, индексирование и глубокие ссылки на сайте портала ofir.dk сайта недвижимости Home.dk не противоречит датскому законодательству или директиве Европейского Союза о базах данных. . Суд заявил, что поисковые системы желательны для функционирования Интернета и что при публикации информации в Интернете нужно исходить из предположения - и принимать - что поисковые системы ссылаются на отдельные страницы своего веб-сайта.
В деле Perfect 10, Inc. против Amazon.com, Inc. 508 F.3d 1146 (9 округа 2007 г.) суд США постановил, что ссылки на изображения, защищенные авторским правом, в рамках поиска изображений не являются нарушением авторских прав. Апелляционный суд Девятого округа постановил, что отображение и кэширование миниатюр в Google было добросовестным использованием, главным образом потому, что они «сильно преобразуют».
В Craigslist против 3Taps (см. Статью Jaxenter ) Cragslist возражал против повторного сканирования PadMapper, отправил PadMapper приказ о прекращении и воздержании и заблокировал его IP-адреса. PadMapper воспользовался услугами 3Taps, чтобы обойти этот блок с помощью прокси. Craigslist подал в суд и выиграл. Суд постановил, что в соответствии с Законом США о компьютерном мошенничестве и злоупотреблениях (CFAA) приказ о прекращении и прекращении действия и блокировка IP-адресов являются достаточным уведомлением об отказе в доступе, а дальнейший доступ является несанкционированным и нарушением закона. Индивидуальное уведомление было сочтено важным для этого холдинга.
Дело Ryanair против PR Aviation было передано в Европейский суд. Там Ryanair утверждала, что продолжение скрапинга является нарушением ее УО и нарушением авторских прав. Суд постановил, что владельцы общедоступных баз данных имеют право налагать ограничения на доступ. Кроме того, он постановил, что вопрос о применимости TOS должен определяться национальными судами.
См. Также эту статью «Основные юридические вопросы, связанные с парсингом веб-страниц» . Здесь подчеркивается, что скрапинг в большинстве случаев является законным, за исключением случаев нарушения авторских прав или определенных ограничений доступа согласно CFAA США (или аналогичным законам).
Отдельные факты, такие как цены и размеры домов, не подлежат защите авторских прав, хотя выбор и систематизация таких фактов могут быть защищены, а база данных, состоящая из таких фактов, может быть защищена. Страницы, размещенные в Интернете, становятся общедоступными, если не предприняты конкретные шаги для их конфиденциальности, например защита паролем, требование входа в систему или индивидуальное уведомление о запрете доступа. Файл ROBOTS.TXT, хотя технически и не применяется, является широко принятым стандартом, и посетитель, вероятно, имеет право предположить, что доступ в соответствии с локальным файлом robots разрешен, в отсутствие специального уведомления от владельца сайта об обратном. . Другое дело - повторный доступ, который негативно влияет на пропускную способность или производительность сайта.