Красивый суп - Поиск на дереве
Существует множество методов Beautifulsoup, которые позволяют нам искать в дереве синтаксического анализа. Два наиболее распространенных и используемых метода - это find () и find_all ().
Прежде чем говорить о find () и find_all (), давайте посмотрим несколько примеров различных фильтров, которые вы можете передать в эти методы.
Виды фильтров
У нас есть разные фильтры, которые мы можем передать в эти методы, и понимание этих фильтров имеет решающее значение, поскольку эти фильтры используются снова и снова в API поиска. Мы можем использовать эти фильтры на основе имени тега, его атрибутов, текста строки или их сочетания.
Строка
Один из самых простых типов фильтров - это строка. Передав строку в метод поиска, Beautifulsoup выполнит сопоставление с этой точной строкой.
Код ниже найдет все теги <p> в документе -
>>> markup = BeautifulSoup('<p>Top Three</p><p><pre>Programming Languages are:</pre></p><p><b>Java, Python, Cplusplus</b></p>')
>>> markup.find_all('p')
[<p>Top Three</p>, <p></p>, <p><b>Java, Python, Cplusplus</b></p>]Регулярное выражение
Вы можете найти все теги, начинающиеся с заданной строки / тега. Перед этим нам нужно импортировать модуль re, чтобы использовать регулярное выражение.
>>> import re
>>> markup = BeautifulSoup('<p>Top Three</p><p><pre>Programming Languages are:</pre></p><p><b>Java, Python, Cplusplus</b></p>')
>>>
>>> markup.find_all(re.compile('^p'))
[<p>Top Three</p>, <p></p>, <pre>Programming Languages are:</pre>, <p><b>Java, Python, Cplusplus</b></p>]Список
Вы можете передать несколько тегов для поиска, предоставив список. Код ниже находит все теги <b> и <pre> -
>>> markup.find_all(['pre', 'b'])
[<pre>Programming Languages are:</pre>, <b>Java, Python, Cplusplus</b>]Правда
True вернет все теги, которые может найти, но не строки сами по себе -
>>> markup.find_all(True)
[<html><body><p>Top Three</p><p></p><pre>Programming Languages are:</pre>
<p><b>Java, Python, Cplusplus</b> </p> </body></html>,
<body><p>Top Three</p><p></p><pre> Programming Languages are:</pre><p><b>Java, Python, Cplusplus</b></p>
</body>,
<p>Top Three</p>, <p></p>, <pre>Programming Languages are:</pre>, <p><b>Java, Python, Cplusplus</b></p>, <b>Java, Python, Cplusplus</b>]Чтобы вернуть только теги из вышеуказанного супа -
>>> for tag in markup.find_all(True):
(tag.name)
'html'
'body'
'p'
'p'
'pre'
'p'
'b'найти все()
Вы можете использовать find_all для извлечения всех вхождений определенного тега из ответа страницы как -
Синтаксис
find_all(name, attrs, recursive, string, limit, **kwargs)Давайте извлечем некоторые интересные данные из IMDB- «Лучшие фильмы за все время».
>>> url="https://www.imdb.com/chart/top/?ref_=nv_mv_250"
>>> content = requests.get(url)
>>> soup = BeautifulSoup(content.text, 'html.parser')
#Extract title Page
>>> print(soup.find('title'))
<title>IMDb Top 250 - IMDb</title>
#Extracting main heading
>>> for heading in soup.find_all('h1'):
print(heading.text)
Top Rated Movies
#Extracting sub-heading
>>> for heading in soup.find_all('h3'):
print(heading.text)
IMDb Charts
You Have Seen
IMDb Charts
Top India Charts
Top Rated Movies by Genre
Recently ViewedСверху видно, что find_all предоставит нам все элементы, соответствующие определенным нами критериям поиска. Все фильтры, которые мы можем использовать с find_all (), могут использоваться с find () и другими методами поиска, такими как find_parents () или find_siblings ().
находить()
Мы видели выше, find_all () используется для сканирования всего документа, чтобы найти все содержимое, кроме чего-то, требуется найти только один результат. Если вы знаете, что документ содержит только один тег <body>, поиск по всему документу будет пустой тратой времени. Один из способов - каждый раз вызывать find_all () с limit = 1, иначе мы можем использовать метод find (), чтобы сделать то же самое -
Синтаксис
find(name, attrs, recursive, string, **kwargs)Итак, ниже два разных метода дают один и тот же результат -
>>> soup.find_all('title',limit=1)
[<title>IMDb Top 250 - IMDb</title>]
>>>
>>> soup.find('title')
<title>IMDb Top 250 - IMDb</title>В приведенных выше выходных данных мы видим, что метод find_all () возвращает список, содержащий один элемент, тогда как метод find () возвращает единственный результат.
Еще одно различие между методами find () и find_all () -
>>> soup.find_all('h2')
[]
>>>
>>> soup.find('h2')Если метод soup.find_all () ничего не может найти, он возвращает пустой список, тогда как find () возвращает None.
find_parents () и find_parent ()
В отличие от методов find_all () и find (), которые проходят по дереву, глядя на потомков тегов, методы find_parents () и find_parents () делают противоположное, они перемещаются по дереву вверх и смотрят на родителей тега (или строки).
Синтаксис
find_parents(name, attrs, string, limit, **kwargs)
find_parent(name, attrs, string, **kwargs)
>>> a_string = soup.find(string="The Godfather")
>>> a_string
'The Godfather'
>>> a_string.find_parents('a')
[<a href="/title/tt0068646/" title="Francis Ford Coppola (dir.), Marlon Brando, Al Pacino">The Godfather</a>]
>>> a_string.find_parent('a')
<a href="/title/tt0068646/" title="Francis Ford Coppola (dir.), Marlon Brando, Al Pacino">The Godfather</a>
>>> a_string.find_parent('tr')
<tr>
<td class="posterColumn">
<span data-value="2" name="rk"></span>
<span data-value="9.149038526210072" name="ir"></span>
<span data-value="6.93792E10" name="us"></span>
<span data-value="1485540" name="nv"></span>
<span data-value="-1.850961473789928" name="ur"></span>
<a href="/title/tt0068646/"> <img alt="The Godfather" height="67" src="https://m.media-amazon.com/images/M/MV5BM2MyNjYxNmUtYTAwNi00MTYxLWJmNWYtYzZlODY3ZTk3OTFlXkEyXkFqcGdeQXVyNzkwMjQ5NzM@._V1_UY67_CR1,0,45,67_AL_.jpg" width="45"/>
</a> </td>
<td class="titleColumn">
2.
<a href="/title/tt0068646/" title="Francis Ford Coppola (dir.), Marlon Brando, Al Pacino">The Godfather</a>
<span class="secondaryInfo">(1972)</span>
</td>
<td class="ratingColumn imdbRating">
<strong title="9.1 based on 1,485,540 user ratings">9.1</strong>
</td>
<td class="ratingColumn">
<div class="seen-widget seen-widget-tt0068646 pending" data-titleid="tt0068646">
<div class="boundary">
<div class="popover">
<span class="delete"> </span><ol><li>1<li>2<li>3<li>4<li>5<li>6<li>7<li>8<li>9<li>10</li>0</li></li></li></li&td;</li></li></li></li></li></ol> </div>
</div>
<div class="inline">
<div class="pending"></div>
<div class="unseeable">NOT YET RELEASED</div>
<div class="unseen"> </div>
<div class="rating"></div>
<div class="seen">Seen</div>
</div>
</div>
</td>
<td class="watchlistColumn">
<div class="wlb_ribbon" data-recordmetrics="true" data-tconst="tt0068646"></div>
</td>
</tr>
>>>
>>> a_string.find_parents('td')
[<td class="titleColumn">
2.
<a href="/title/tt0068646/" title="Francis Ford Coppola (dir.), Marlon Brando, Al Pacino">The Godfather</a>
<span class="secondaryInfo">(1972)</span>
</td>]Есть восемь других подобных методов -
find_next_siblings(name, attrs, string, limit, **kwargs)
find_next_sibling(name, attrs, string, **kwargs)
find_previous_siblings(name, attrs, string, limit, **kwargs)
find_previous_sibling(name, attrs, string, **kwargs)
find_all_next(name, attrs, string, limit, **kwargs)
find_next(name, attrs, string, **kwargs)
find_all_previous(name, attrs, string, limit, **kwargs)
find_previous(name, attrs, string, **kwargs)Где,
find_next_siblings() и find_next_sibling() методы будут перебирать всех братьев и сестер элемента, которые идут после текущего.
find_previous_siblings() и find_previous_sibling() методы будут перебирать всех братьев и сестер, предшествующих текущему элементу.
find_all_next() и find_next() методы будут перебирать все теги и строки, которые идут после текущего элемента.
find_all_previous и find_previous() методы будут перебирать все теги и строки, которые идут перед текущим элементом.
Селекторы CSS
Библиотека BeautifulSoup для поддержки наиболее часто используемых селекторов CSS. Вы можете искать элементы с помощью селекторов CSS с помощью метода select ().
Вот несколько примеров -
>>> soup.select('title')
[<title>IMDb Top 250 - IMDb</title>, <title>IMDb Top Rated Movies</title>]
>>>
>>> soup.select("p:nth-of-type(1)")
[<p>The Top Rated Movie list only includes theatrical features.</p>, <p> class="imdb-footer__copyright _2-iNNCFskmr4l2OFN2DRsf">© 1990-2019 by IMDb.com, Inc.</p>]
>>> len(soup.select("p:nth-of-type(1)"))
2
>>> len(soup.select("a"))
609
>>> len(soup.select("p"))
2
>>> soup.select("html head title")
[<title>IMDb Top 250 - IMDb</title>, <title>IMDb Top Rated Movies</title>]
>>> soup.select("head > title")
[<title>IMDb Top 250 - IMDb</title>]
#print HTML code of the tenth li elemnet
>>> soup.select("li:nth-of-type(10)")
[<li class="subnav_item_main">
<a href="/search/title?genres=film_noir&sort=user_rating,desc&title_type=feature&num_votes=25000,">Film-Noir
</a> </li>]