Scrapy - Окружающая среда

В этой главе мы обсудим, как установить и настроить Scrapy. Scrapy должен быть установлен с Python.

Scrapy можно установить с помощью pip. Для установки выполните следующую команду -

pip install Scrapy

Windows

Note - Python 3 не поддерживается в ОС Windows.

Step 1- Установить Python 2.7 из Python

Установите переменные среды, добавив следующие пути в PATH -

C:\Python27\;C:\Python27\Scripts\;

Вы можете проверить версию Python, используя следующую команду -

python --version

Step 2- Установите OpenSSL .

Добавьте C: \ OpenSSL-Win32 \ bin в переменные среды.

Note - OpenSSL предустановлен во всех операционных системах, кроме Windows.

Step 3- Установите распространяемые файлы Visual C ++ 2008 .

Step 4- Установите pywin32 .

Step 5- Установите pip для версий Python старше 2.7.9.

Вы можете проверить версию pip, используя следующую команду -

pip --version

Step 6 - Чтобы установить scrapy, выполните следующую команду -

pip install Scrapy

Если на вашем компьютере установлена anaconda или miniconda , выполните следующую команду, чтобы установить Scrapy с помощью conda -

conda install -c scrapinghub scrapy

Компания Scrapinghub поддерживает официальные пакеты conda для Linux, Windows и OS X.

Note - Рекомендуется установить Scrapy с помощью указанной выше команды, если у вас есть проблемы с установкой через pip.

Последняя версия Python предустановлена в ОС Ubuntu. Используйте пакеты Ubuntu aptgettable, предоставленные Scrapinghub. Чтобы использовать пакеты -

Step 1 - Вам необходимо импортировать ключ GPG, используемый для подписи пакетов Scrapy, в связку ключей APT -

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

Step 2 - Затем используйте следующую команду для создания файла /etc/apt/sources.list.d/scrapy.list -

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee 
/etc/apt/sources.list.d/scrapy.list

Step 3 - Обновить список пакетов и установить scrapy -

sudo apt-get update && sudo apt-get install scrapy

Вы можете установить Scrapy из пакета AUR Scrapy, используя следующую команду -

yaourt -S scrapy

Используйте следующую команду для установки инструментов командной строки Xcode -

xcode-select --install

Вместо использования системного Python установите новую обновленную версию, которая не конфликтует с остальной частью вашей системы.

Step 1- Установить homebrew .

Step 2 - Установите переменную среды PATH, чтобы указать, что пакеты homebrew должны использоваться до системных пакетов -

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

Step 3 - Чтобы убедиться, что изменения внесены, перезагрузите .bashrc используя следующую команду -

source ~/.bashrc

Step 4 - Затем установите Python, используя следующую команду -

brew install python

Step 5 - Установите Scrapy, используя следующую команду -

pip install Scrapy