Sup Indah - Instalasi
Karena BeautifulSoup bukan pustaka python standar, kita perlu menginstalnya terlebih dahulu. Kami akan menginstal pustaka BeautifulSoup 4 (juga dikenal sebagai BS4), yang merupakan yang terbaru.
Untuk mengisolasi lingkungan kerja kita agar tidak mengganggu setup yang ada, mari kita buat dulu lingkungan virtual.
Membuat lingkungan virtual (opsional)
Lingkungan virtual memungkinkan kita membuat copy pekerjaan python yang terisolasi untuk proyek tertentu tanpa mempengaruhi pengaturan luar.
Cara terbaik untuk menginstal mesin paket python adalah menggunakan pip, namun, jika pip belum diinstal (Anda dapat memeriksanya menggunakan - "pip –version" di perintah atau prompt shell Anda), Anda dapat menginstal dengan memberikan perintah di bawah ini -
Lingkungan Linux
$sudo apt-get install python-pipLingkungan Windows
Untuk menginstal pip di windows, lakukan hal berikut -
Unduh get-pip.py dari https://bootstrap.pypa.io/get-pip.py atau dari github ke komputer Anda.
Buka command prompt dan arahkan ke folder yang berisi file get-pip.py.
Jalankan perintah berikut -
>python get-pip.pyItu saja, pip sekarang diinstal di mesin windows Anda.
Anda dapat memverifikasi pip Anda yang diinstal dengan menjalankan perintah di bawah ini -
>pip --version
pip 19.2.3 from c:\users\yadur\appdata\local\programs\python\python37\lib\site-packages\pip (python 3.7)Menginstal lingkungan virtual
Jalankan perintah di bawah ini di command prompt Anda -
>pip install virtualenvSetelah berjalan, Anda akan melihat tangkapan layar di bawah ini -
Perintah di bawah ini akan membuat lingkungan virtual ("myEnv") di direktori Anda saat ini -
>virtualenv myEnvScreenshot
Untuk mengaktifkan lingkungan virtual Anda, jalankan perintah berikut -
>myEnv\Scripts\activate
Pada gambar di atas, Anda dapat melihat kami memiliki "myEnv" sebagai awalan yang memberitahu kita bahwa kita berada di bawah lingkungan virtual "myEnv".
Untuk keluar dari lingkungan virtual, jalankan deactivate.
(myEnv) C:\Users\yadur>deactivate
C:\Users\yadur>Karena lingkungan virtual kita sudah siap, sekarang mari kita instal beautifulsoup.
Menginstal BeautifulSoup
Karena BeautifulSoup bukan pustaka standar, kita perlu menginstalnya. Kami akan menggunakan paket BeautifulSoup 4 (dikenal sebagai bs4).
Mesin Linux
Untuk menginstal bs4 di Debian atau Ubuntu linux menggunakan manajer paket sistem, jalankan perintah di bawah ini -
$sudo apt-get install python-bs4 (for python 2.x)
$sudo apt-get install python3-bs4 (for python 3.x)Anda dapat menginstal bs4 menggunakan easy_install atau pip (jika Anda menemukan masalah dalam menginstal menggunakan system packager).
$easy_install beautifulsoup4
$pip install beautifulsoup4(Anda mungkin perlu menggunakan easy_install3 atau pip3 masing-masing jika Anda menggunakan python3)
Mesin Windows
Untuk menginstal beautifulsoup4 di windows sangatlah mudah, terutama jika Anda telah menginstal pip.
>pip install beautifulsoup4
Jadi sekarang beautifulsoup4 telah terinstal di mesin kami. Mari kita bicara tentang beberapa masalah yang dihadapi setelah instalasi.
Masalah setelah instalasi
Pada mesin windows Anda mungkin mengalami, versi yang salah diinstal kesalahan terutama melalui -
kesalahan: ImportError “No module named HTMLParser”, maka Anda harus menjalankan kode versi python 2 di bawah Python 3.
kesalahan: ImportError “No module named html.parser” error, maka Anda harus menjalankan kode versi Python 3 di bawah Python 2.
Cara terbaik untuk keluar dari dua situasi di atas adalah dengan menginstal ulang BeautifulSoup lagi, menghapus sepenuhnya instalasi yang ada.
Jika Anda mendapatkan SyntaxError “Invalid syntax” pada baris ROOT_TAG_NAME = u '[dokumen]', maka Anda perlu mengonversi kode python 2 menjadi python 3, hanya dengan menginstal paket -
$ python3 setup.py installatau dengan menjalankan skrip konversi 2 ke 3 python secara manual di direktori bs4 -
$ 2to3-3.2 -w bs4Menginstal Parser
Secara default, Beautiful Soup mendukung parser HTML yang termasuk dalam pustaka standar Python, namun juga mendukung banyak parser python pihak ketiga eksternal seperti lxml parser atau html5lib parser.
Untuk menginstal parser lxml atau html5lib, gunakan perintah -
Mesin Linux
$apt-get install python-lxml
$apt-get insall python-html5libMesin Windows
$pip install lxml
$pip install html5lib
Umumnya, pengguna menggunakan lxml untuk kecepatan dan disarankan untuk menggunakan parser lxml atau html5lib jika Anda menggunakan versi lama python 2 (sebelum versi 2.7.3) atau python 3 (sebelum 3.2.2) karena parser HTML bawaan python adalah tidak terlalu bagus dalam menangani versi lama.
Menjalankan Beautiful Soup
Saatnya untuk menguji paket Beautiful Soup kami di salah satu halaman html (mengambil halaman web - https://www.tutorialspoint.com/index.htm, Anda dapat memilih halaman web lain yang Anda inginkan) dan mengekstrak beberapa informasi darinya.
Pada kode di bawah ini, kami mencoba mengekstrak judul dari halaman web -
from bs4 import BeautifulSoup
import requests
url = "https://www.tutorialspoint.com/index.htm"
req = requests.get(url)
soup = BeautifulSoup(req.text, "html.parser")
print(soup.title)Keluaran
<title>H2O, Colab, Theano, Flutter, KNime, Mean.js, Weka, Solidity, Org.Json, AWS QuickSight, JSON.Simple, Jackson Annotations, Passay, Boon, MuleSoft, Nagios, Matplotlib, Java NIO, PyTorch, SLF4J, Parallax Scrolling, Java Cryptography</title>Satu tugas umum adalah mengekstrak semua URL dalam halaman web. Untuk itu kita hanya perlu menambahkan baris kode di bawah ini -
for link in soup.find_all('a'):
print(link.get('href'))Keluaran
https://www.tutorialspoint.com/index.htm
https://www.tutorialspoint.com/about/about_careers.htm
https://www.tutorialspoint.com/questions/index.php
https://www.tutorialspoint.com/online_dev_tools.htm
https://www.tutorialspoint.com/codingground.htm
https://www.tutorialspoint.com/current_affairs.htm
https://www.tutorialspoint.com/upsc_ias_exams.htm
https://www.tutorialspoint.com/tutor_connect/index.php
https://www.tutorialspoint.com/whiteboard.htm
https://www.tutorialspoint.com/netmeeting.php
https://www.tutorialspoint.com/index.htm
https://www.tutorialspoint.com/tutorialslibrary.htm
https://www.tutorialspoint.com/videotutorials/index.php
https://store.tutorialspoint.com
https://www.tutorialspoint.com/gate_exams_tutorials.htm
https://www.tutorialspoint.com/html_online_training/index.asp
https://www.tutorialspoint.com/css_online_training/index.asp
https://www.tutorialspoint.com/3d_animation_online_training/index.asp
https://www.tutorialspoint.com/swift_4_online_training/index.asp
https://www.tutorialspoint.com/blockchain_online_training/index.asp
https://www.tutorialspoint.com/reactjs_online_training/index.asp
https://www.tutorix.com
https://www.tutorialspoint.com/videotutorials/top-courses.php
https://www.tutorialspoint.com/the_full_stack_web_development/index.asp
….
….
https://www.tutorialspoint.com/online_dev_tools.htm
https://www.tutorialspoint.com/free_web_graphics.htm
https://www.tutorialspoint.com/online_file_conversion.htm
https://www.tutorialspoint.com/netmeeting.php
https://www.tutorialspoint.com/free_online_whiteboard.htm
http://www.tutorialspoint.com
https://www.facebook.com/tutorialspointindia
https://plus.google.com/u/0/+tutorialspoint
http://www.twitter.com/tutorialspoint
http://www.linkedin.com/company/tutorialspoint
https://www.youtube.com/channel/UCVLbzhxVTiTLiVKeGV7WEBg
https://www.tutorialspoint.com/index.htm
/about/about_privacy.htm#cookies
/about/faq.htm
/about/about_helping.htm
/about/contact_us.htmDemikian pula, kami dapat mengekstrak informasi yang berguna menggunakan beautifulsoup4.
Sekarang mari kita lebih memahami tentang "sup" pada contoh di atas.