selenium入门超详细教程——网页自动化操作

Selenium是广泛使用的模拟浏览器运行的库&＃xff0c;它是一个用于Web应用程序测试的工具。 Selenium测试直接运行在浏览器中&＃xff0c;就像真正的用户在操作一样&＃xff0c;并且支持大多数现代 Web 浏览器。下面就进入正式的学习阶段。

1.selenium安装

激活虚拟环境

activate nlptorch


通过pip安装

pip install selenium


2.安装浏览器驱动

针对不同的浏览器&＃xff0c;需要安装不同的驱动。
下面以安装 Chrome 驱动作为演示。

2.1 确定浏览器版本

点击chrome浏览器最右侧的“三个点”图标&＃xff0c;然后点击弹出的“帮助”中的“关于Google Chrome”&＃xff0c;查看自己的版本信息。这里我的版本是94&＃xff0c;这样在下载对应版本的 Chrome 驱动即可。

2.2 下载驱动

打开 下载Chrome驱动网页。单击对应的版本。

根据自己的操作系统&＃xff0c;选择下载。

下载完成后&＃xff0c;压缩包内只有一个 exe 文件。

将 chromedriver.exe 保存到任意位置&＃xff0c;并把当前路径保存到环境变量。&＃xff08;建议将其保存到anaconda的安装目录下&＃xff0c;这样不需要再添加环境变量了&＃xff09;
添加成功后使用下面代码进行测试。

from selenium import webdriver
# Chrome浏览器
driver &＃61; webdriver.Chrome()


如果能弹出Chrome浏览器&＃xff0c;则说明安装成功。

1.对页面进行操作

1.1 初始化浏览器对象

前期我们将Chrome驱动添加到环境变量了&＃xff0c;所以我们可以直接初始化界面。&＃xff08;或者也可以通过指定绝对路径的方式&＃xff09;

from selenium import webdriver
# 初始化浏览器为chrome浏览器
browser &＃61; webdriver.Chrome()
# 指定绝对路径的方式&＃xff08;可选&＃xff09;
path &＃61; r&＃39;C:\Users\Gdc\.wdm\drivers\chromedriver\win32\96.0.4664.45\chromedriver.exe&＃39;
browser &＃61; webdriver.Chrome(path)
# 关闭浏览器
browser.close()


1.2 访问页面

进行页面访问使用的是get方法&＃xff0c;传入参数为待访问页面的URL地址即可。

from selenium import webdriver
# 初始化浏览器为chrome浏览器
browser &＃61; webdriver.Chrome()
# 访问百度首页
browser.get(r&＃39;https://www.baidu.com/&＃39;)
# 关闭浏览器
browser.close()


1.3 设置浏览器大小

set_window_size()方法可以用来设置浏览器大小&＃xff08;就是分辨率&＃xff09;&＃xff0c;而maximize_window则是设置浏览器为全屏。

from selenium import webdriver
import time
browser &＃61; webdriver.Chrome()
# 设置浏览器大小&＃xff1a;全屏
browser.maximize_window()
browser.get(&＃39;https://www.baidu.com&＃39;)
time.sleep(2)
# 设置分辨率 500*500
browser.set_window_size(500,500)
time.sleep(2)
# 关闭浏览器
browser.close()


1.4 前进后退

前进后退也是我们在使用浏览器时非常常见的操作&＃xff0c;这里forward()方法可以用来实现前进&＃xff0c;back()可以用来实现后退。

from selenium import webdriver
import time
browser &＃61; webdriver.Chrome()
# 设置浏览器全屏
browser.maximize_window()
browser.get(&＃39;https://www.baidu.com&＃39;)
time.sleep(2)
# 打开淘宝页面
browser.get(&＃39;https://www.bilibili.com/&＃39;)
time.sleep(2)
# 后退到百度页面
browser.back()
time.sleep(2)
# 前进的淘宝页面
browser.forward()
time.sleep(2)
# 关闭浏览器
browser.close()


1.5 获取页面基础属性

当我们用selenium打开某个页面&＃xff0c;有一些基础属性如网页标题、网址、浏览器名称、页面源码等信息

from selenium import webdriver
browser &＃61; webdriver.Chrome()
browser.get(&＃39;https://www.baidu.com&＃39;)
# 网页标题
print(browser.title)
# 当前网址
print(browser.current_url)
# 浏览器名称
print(browser.name)
# 网页源码
print(browser.page_source)


2.定位页面元素

使用 selenium 定位页面元素的前提是你已经了解基本的页面布局及各种标签含义&＃xff0c;当然如果之前没有接触过&＃xff0c;现在我也可以带你简单的了解一下。
以我们熟知的 百度为例&＃xff0c;我们进入首页&＃xff0c;按 【F12】 进入开发者工具。红框中显示的就是页面的代码&＃xff0c;我们要做的就是从代码中定位获取我们需要的元素。

我们在实际使用浏览器的时候&＃xff0c;很重要的操作有输入文本、点击确定等等。对此&＃xff0c;Selenium提供了一系列的方法来方便我们实现以上操作。通过webdriver对象的 find_element(by&＃61;“属性名”, value&＃61;“属性值”)&＃xff0c;主要包括以下这八种。

还是以百度举例子

可以看到这个对应的class&＃xff0c;name以及id分别是这些&＃xff0c;通过以下语句都可以定位到这个元素。

from selenium import webdriver
from selenium.webdriver.common.by import By
driver &＃61; webdriver.Chrome()
driver.get(&＃39;https://www.baidu.com&＃39;)
element&＃61;browser.find_element(by&＃61;By.CLASS_NAME,value&＃61;&＃39;s_ipt&＃39;)
element&＃61;browser.find_element(by&＃61;By.ID,value&＃61;&＃39;kw&＃39;)


3.模拟鼠标操作

既然是模拟浏览器操作&＃xff0c;自然也就需要能模拟鼠标的一些操作了&＃xff0c;这里需要导入ActionChains 类。

from selenium.webdriver.common.action_chains import ActionChains


3.1 常用操作

这个其实就是页面交互操作中的点击click()操作。

4.模拟键盘操作

引入Keys类

from selenium.webdriver.common.keys import Keys


4.1 常用操作

5. 延时等待

如果遇到使用ajax加载的网页&＃xff0c;页面元素可能不是同时加载出来的&＃xff0c;这个时候尝试在get方法执行完成时获取网页源代码可能并非浏览器完全加载完成的页面。所以&＃xff0c;这种情况下需要设置延时等待一定时间&＃xff0c;确保全部节点都加载出来。
三种方式&＃xff1a;强制等待、隐式等待和显式等待

5.1 强制等待

就很简单了&＃xff0c;直接time.sleep(n)强制等待n秒&＃xff0c;在执行get方法之后执行。

5.2 隐式等待

implicitly_wait()设置等待时间&＃xff0c;如果到时间有元素节点没有加载出来&＃xff0c;就会抛出异常。

5.3 显式等待

设置一个等待时间和一个条件&＃xff0c;在规定时间内&＃xff0c;每隔一段时间查看下条件是否成立&＃xff0c;如果成立那么程序就继续执行&＃xff0c;否则就抛出一个超时异常。

WebDriverWait的参数说明&＃xff1a;WebDriverWait(driver,timeout,poll_frequency&＃61;0.5,ignored_exceptions&＃61;None)

driver: 浏览器驱动

timeout: 超时时间&＃xff0c;等待的最长时间&＃xff08;同时要考虑隐性等待时间&＃xff09;

poll_frequency: 每次检测的间隔时间&＃xff0c;默认是0.5秒

ignored_exceptions:超时后的异常信息&＃xff0c;默认情况下抛出NoSuchElementException异常

until(method,message&＃61;‘’)

method: 在等待期间&＃xff0c;每隔一段时间调用这个传入的方法&＃xff0c;直到返回值不是False

message: 如果超时&＃xff0c;抛出TimeoutException&＃xff0c;将message传入异常

until_not(method,message&＃61;‘’): 与until相反&＃xff0c;until是当某元素出现或什么条件成立则继续执行&＃xff0c;until_not是当某元素消失或什么条件不成立则继续执行&＃xff0c;参数也相同。

from selenium.webdriver.support import expected_conditions as EC
# 判断标题是否和预期的一致
title_is
# 判断标题中是否包含预期的字符串
title_contains
# 判断指定元素是否加载出来
presence_of_element_located
# 判断所有元素是否加载完成
presence_of_all_elements_located
# 判断某个元素是否可见. 可见代表元素非隐藏&＃xff0c;并且元素的宽和高都不等于0&＃xff0c;传入参数是元组类型的locator
visibility_of_element_located
# 判断元素是否可见&＃xff0c;传入参数是定位后的元素WebElement
visibility_of
# 判断某个元素是否不可见&＃xff0c;或是否不存在于DOM树
invisibility_of_element_located
# 判断元素的 text 是否包含预期字符串
text_to_be_present_in_element
# 判断元素的 value 是否包含预期字符串
text_to_be_present_in_element_value
#判断frame是否可切入&＃xff0c;可传入locator元组或者直接传入定位方式&＃xff1a;id、name、index或WebElement
frame_to_be_available_and_switch_to_it
#判断是否有alert出现
alert_is_present
#判断元素是否可点击
element_to_be_clickable
# 判断元素是否被选中,一般用在下拉列表&＃xff0c;传入WebElement对象
element_to_be_selected
# 判断元素是否被选中
element_located_to_be_selected
# 判断元素的选中状态是否和预期一致&＃xff0c;传入参数&＃xff1a;定位后的元素&＃xff0c;相等返回True&＃xff0c;否则返回False
element_selection_state_to_be
# 判断元素的选中状态是否和预期一致&＃xff0c;传入参数&＃xff1a;元素的定位&＃xff0c;相等返回True&＃xff0c;否则返回False
element_located_selection_state_to_be
#判断一个元素是否仍在DOM中&＃xff0c;传入WebElement对象&＃xff0c;可以判断页面是否刷新了
staleness_of


6.切换操作

6.1 窗口切换

在 selenium 操作页面的时候&＃xff0c;可能会因为点击某个链接而跳转到一个新的页面&＃xff08;打开了一个新标签页&＃xff09;&＃xff0c;这时候 selenium 实际还是处于上一个页面的&＃xff0c;需要我们进行切换才能够定位最新页面上的元素。

窗口切换需要使用 switch_to.windows() 方法。

首先我们先看看下面的代码。

上面代码在点击跳转后&＃xff0c;使用 switch_to 切换窗口&＃xff0c;window_handles 返回的 handle 列表是按照页面出现时间进行排序的&＃xff0c;最新打开的页面肯定是最后一个&＃xff0c;这样用 driver.window_handles[-1] &＃43; switch_to 即可跳转到最新打开的页面了。

那如果打开的窗口有多个&＃xff0c;如何跳转到之前打开的窗口&＃xff0c;如果确实有这个需求&＃xff0c;那么打开窗口是就需要记录每一个窗口的 key(别名) 与 value(handle)&＃xff0c;保存到字典中&＃xff0c;后续根据 key 来取 handle 。

6.2 表单切换

很多页面也会用带 frame/iframe 表单嵌套&＃xff0c;对于这种内嵌的页面 selenium 是无法直接定位的&＃xff0c;需要使用 switch_to.frame() 方法将当前操作的对象切换成 frame/iframe 内嵌的页面。

switch_to.frame() 默认可以用的 id 或 name 属性直接定位&＃xff0c;但如果 iframe 没有 id 或 name &＃xff0c;这时就需要使用 xpath 进行定位。下面先写一个包含 iframe 的页面做测试用。

7. 对COOKIE操作

COOKIEs 是识别用户登录与否的关键&＃xff0c;爬虫中常常使用 selenium &＃43; requests 实现 COOKIE持久化&＃xff0c;即先用 selenium 模拟登陆获取 COOKIE &＃xff0c;再通过 requests 携带 COOKIE 进行请求。

webdriver 提供 COOKIEs 的几种操作&＃xff1a;读取、添加删除。

get_COOKIEs&＃xff1a;以字典的形式返回当前会话中可见的 COOKIE 信息。
get_COOKIE(name)&＃xff1a;返回 COOKIE 字典中
key &＃61;&＃61; name 的 COOKIE 信息
add_COOKIE(COOKIE_dict)&＃xff1a;将 COOKIE 添加到当前会话中
delete_COOKIE(name)&＃xff1a;删除指定名称的单个 COOKIE
delete_all_COOKIEs()&＃xff1a;删除会话范围内的所有COOKIE

from selenium import webdriver
browser &＃61; webdriver.Chrome()
# 知乎发现页
browser.get(&＃39;https://www.zhihu.com/explore&＃39;)
# 获取COOKIE
print(f&＃39;COOKIEs的值&＃xff1a;{browser.get_COOKIEs()}&＃39;)
# 添加COOKIE
browser.add_COOKIE({&＃39;name&＃39;:&＃39;才哥&＃39;, &＃39;value&＃39;:&＃39;帅哥&＃39;})
print(f&＃39;添加后COOKIEs的值&＃xff1a;{browser.get_COOKIEs()}&＃39;)
# 删除COOKIE
browser.delete_all_COOKIEs()
print(f&＃39;删除后COOKIEs的值&＃xff1a;{browser.get_COOKIEs()}&＃39;)
# 总结

三、高级用法

1.execute_script方法

比如下拉进度条&＃xff0c;模拟Javascript&＃xff0c;使用execute_script方法来实现。

1.1 判断元素是否存在

def is_element_exist(browser,xpath):
try:
element&＃61;browser.find_element(by&＃61;By.XPATH,value&＃61;xpath)
flag&＃61;True
except:
flag&＃61;False
return flag


1.2 滑动滚轮到页面底端

temp_height&＃61;0
x&＃61;1000
y&＃61;1000
while True:
js&＃61;"var q&＃61;document.getElementsByClassName(&＃39;cdk-virtual-scroll-viewport&＃39;)[0].scrollTop&＃61;{}".format(x)
browser.excute_script(js)
time.sleep(0.5)
x&＃43;&＃61;y
check_height&＃61;browser.excute_script("return document.getElementsByClassName(&＃39;cdk-virtual-scroll-viewport&＃39;)[0].scrollTop;")
if check_height&＃61;temp_height:
break
temp_height&＃61;check_height


1.3 滑动滚轮至页面元素出现

将上面两者结合&＃xff0c;就可以实现。

temp_height&＃61;0
x&＃61;1000
y&＃61;1000
while True:
js&＃61;"var q&＃61;document.getElementsByClassName(&＃39;cdk-virtual-scroll-viewport&＃39;)[0].scrollTop&＃61;{}".format(x)
browser.excute_script(js)
time.sleep(0.5)
x&＃43;&＃61;y
check_height&＃61;browser.excute_script("return document.getElementsByClassName(&＃39;cdk-virtual-scroll-viewport&＃39;)[0].scrollTop;")
if check_height&＃61;temp_height:
break
temp_height&＃61;check_height


1.4 滑动至动态元素可见

当我们需要定位的元素是动态元素&＃xff0c;或者我们不确定它在哪时&＃xff0c;可以先找到这个元素然后再使用JS操作

target &＃61; driver.find_element_by_id(&＃39;id&＃39;)
driver.execute_script("arguments[0].scrollIntoView();", target)


2.xpath方法

XPath是一门在XML文档中查找信息的语言&＃xff0c;被用于在XML文档中通过元素和属性进行导航。有七种类型的节点&＃xff1a;元素、属性、文本、命名空间、处理指令、注释以及文档&＃xff08;根&＃xff09;节点。
XPath路径表达式

XPath语法通配符

2.1 文本定位

使用text()元素的text内容 如&＃xff1a;//button[text()&＃61;“登录”]

2.2 模糊定位

使用contains() 包含函数 如&＃xff1a;//button[contains(text(),“登录”)]、//button[contains(&＃64;class,“btn”)]
匹配以xx结尾的属性值 如&＃xff1a;//input[starts-with(&＃64;id,“login-”)]、//input[ends-with(&＃64;id,“ogin-email”)]

2.3 逻辑定位

使用逻辑运算符 – and、or&＃xff1b;如&＃xff1a;//input[&＃64;name&＃61;“phone” and &＃64;datatype&＃61;“m”] 可以根据一个元素的多个属性进行定位&＃xff0c;确保唯一性

2.4 轴定位

轴定位是根据父节点&＃xff0c;兄弟节点等节点来定位本节点&＃xff0c;使用语法&＃xff1a; 轴名称 :: 节点名称&＃xff0c;使用较多场景&＃xff1a;页面显示为一个表格样式的数据列

xpath&＃61;&＃39;//span[text()&＃61;&＃39;&＃39;/ancestor::div[3]/check-box]&＃39;
element&＃61;browser.find_element(by&＃61;By.XPATH,value&＃61;xpath)

总结

selenium的基础用法已经介绍完了&＃xff0c;让我们实际操作起来吧&＃xff0c;有什么问题欢迎在评论区留言&＃xff0c;希望大家能够点赞收藏&＃xff01;&＃xff01;&＃xff01;

selenium用法详解【从入门到实战】
selenium的基本操作——入门级&＃xff08;快速上手&＃xff09;
2 万字带你了解 Selenium 全攻略