【Python网络爬虫】150讲轻松搞定Python网络爬虫付费课程笔记篇九——搜索文档树find_all和select方法

1.1 find和find_all方法

• find方法，找到第一个满足条件的标签后立即返回，只返回一个元素


• find_all方法，找到所有满足条件的标签都返回回去，以列表形式返回很多元素

a_list = soup.find_all('a')
for a in a_list:
# 1.
# href = a['href']
# print(href)
# 2.
href = a.attrs['href']
print(href)

1.2 使用find和find_all的过滤条件

• 关键字参数：将属性的名字作为关键字参数的名字，以及属性的值作为关键数参数的值进行过滤


• attrs参数：将属性条件放到字典中传给attrs参数

trs1 = soup.find_all('tr', class_='even') #attrs={'class': 'even}
for tr in trs1:
print(tr)

# 6.获取所有职位信息
trs2 = soup.find_all('tr')[1:]
lists = []
for tr in trs2:
# tds = tr.find_all('td')
# name = tds[0].string
# category = tds[1].string
# info = {}
# info['name'] = name
# info['category'] = category
# list.append(info)
infos = list(tr.stripped_strings)
print(infos)
# print(lists)

from bs4 import BeautifulSoup
html = """


使用css选择器的语法，使用select方法更加方便。

具体方法：

from bs4 import BeautifulSoup
html = """