Scrapy - Lingkungan

Pada bab ini, kita akan membahas cara memasang dan mengatur Scrapy. Scrapy harus diinstal dengan Python.

Scrapy dapat diinstal dengan menggunakan pip. Untuk menginstal, jalankan perintah berikut -

pip install Scrapy

Windows

Note - Python 3 tidak didukung di OS Windows.

Step 1- Instal Python 2.7 dari Python

Tetapkan variabel lingkungan dengan menambahkan jalur berikut ke PATH -

C:\Python27\;C:\Python27\Scripts\;

Anda dapat memeriksa versi Python menggunakan perintah berikut -

python --version

Step 2- Instal OpenSSL .

Tambahkan C: \ OpenSSL-Win32 \ bin di variabel lingkungan Anda.

Note - OpenSSL sudah diinstal sebelumnya di semua sistem operasi kecuali Windows.

Step 3- Instal Visual C ++ 2008 redistributables.

Step 4- Instal pywin32 .

Step 5- Instal pip untuk versi Python yang lebih lama dari 2.7.9.

Anda dapat memeriksa versi pip menggunakan perintah berikut -

pip --version

Step 6 - Untuk menginstal scrapy, jalankan perintah berikut -

pip install Scrapy

Jika Anda memiliki anaconda atau miniconda yang diinstal di komputer Anda, jalankan perintah di bawah ini untuk menginstal Scrapy menggunakan conda -

conda install -c scrapinghub scrapy

Perusahaan Scrapinghub mendukung paket conda resmi untuk Linux, Windows, dan OS X.

Note - Direkomendasikan untuk menginstal Scrapy menggunakan perintah di atas jika Anda mengalami masalah dalam menginstal melalui pip.

Versi terbaru Python sudah diinstal sebelumnya di OS Ubuntu. Gunakan paket Ubuntu yang disediakan oleh Scrapinghub. Untuk menggunakan paket -

Step 1 - Anda perlu mengimpor kunci GPG yang digunakan untuk menandatangani paket Scrapy ke dalam APT keyring -

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

Step 2 - Selanjutnya, gunakan perintah berikut untuk membuat file /etc/apt/sources.list.d/scrapy.list -

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee 
/etc/apt/sources.list.d/scrapy.list

Step 3 - Perbarui daftar paket dan instal scrapy -

sudo apt-get update && sudo apt-get install scrapy

Anda dapat menginstal Scrapy dari paket AUR Scrapy menggunakan perintah berikut -

yaourt -S scrapy

Gunakan perintah berikut untuk menginstal alat baris perintah Xcode -

xcode-select --install

Alih-alih menggunakan sistem Python, instal versi baru yang diperbarui yang tidak bertentangan dengan sistem Anda yang lain.

Step 1- Instal homebrew .

Step 2 - Tetapkan variabel PATH lingkungan untuk menentukan bahwa paket homebrew harus digunakan sebelum paket sistem -

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

Step 3 - Untuk memastikan perubahan selesai, muat ulang .bashrc menggunakan perintah berikut -

source ~/.bashrc

Step 4 - Selanjutnya, instal Python menggunakan perintah berikut -

brew install python

Step 5 - Instal Scrapy menggunakan perintah berikut -

pip install Scrapy