selenium接管已经打开的页面_除了Selenium，介绍一款新的网页自动化工具来爬虫...

各种各样的网站在我们日常工作和学习中占据着举足轻重的地位&＃xff0c;学习、影音娱乐、查询资料、协同办公&＃xff0c;越来越多的任务都被迁移到浏览器。

因此&＃xff0c;网页也蕴含着很多有价值、我们能够用得到的资源。例如&＃xff0c;数据、歌曲、影视、文本、图片。所以&＃xff0c;这几年来爬虫这项技术也成了很多开发人员必备的技能之一。

以Python爬虫为例&＃xff0c;比较常用的爬虫手段是结合request、正则表达式等有一定门槛的工具来完成。而且&＃xff0c;还需要对HTML、web具有一定的基础。

这把很多开发同学拒之门外&＃xff0c;也让很多初学者花费很多功夫和时间来学习爬虫这些技能。

其实&＃xff0c;除了上述提到那些具有一定门槛的爬虫知识之外&＃xff0c;有一些另辟蹊径的同学会选择Selenium这款Web应用测试工具来完成爬虫任务&＃xff0c;它能够像真正的用户一样完成一系列的操作。

Selenium已经很好用&＃xff0c;但是&＃xff0c;它的大多数交互还是和Web元素之间进行的&＃xff0c;需要使用到HTML id、xpath、CSS选择器。虽然自动化程度高了一些&＃xff0c;但是还不算足够的容易使用。

而本文的主角Helium则是在Selenium的基础上封装的更加高级的Web自动化工具&＃xff0c;它能够通过网页端可见的标签、名称来和Web进行交互&＃xff0c;例如&＃xff0c;

• 点击键盘按键
• 右键点击
• 悬浮
• 滚动鼠标
• 拖动文件
• 刷新
• ......

通过Helium&＃xff0c;即便不在了解Html、CSS这些知识&＃xff0c;你依然可以轻松的完成Web自动化程序的开发&＃xff0c;轻松掌握爬虫技能&＃xff0c;同时能够辅助日常重复性劳动&＃xff0c;彻底解放你的双手。

Helium

为了方便大家理解和使用&＃xff0c;Helium作者把一些常用方法总结了一个清单。另外&＃xff0c;在Python文件列出了公共函数&＃xff0c;使用者可以通过阅读这个Python文件的代码来了解有哪些函数接口可以调用。

在前面GIF动图中给出了Helium与Github的交互过程&＃xff0c;其中涉及了我们常用的操作&＃xff0c;例如&＃xff0c;

• 输入账号密码
• 点击按钮
• 跳转网页

在这里&＃xff0c;我就不再重复这个过程&＃xff0c;下面以爬取网页图片链接的例子来讲解一下Helium的用法&＃xff0c;同时把Helium的常用操作串联起来。各位可以根据自己的需求&＃xff0c;举一反三&＃xff0c;来发挥Helium的价值。

首先&＃xff0c;来了解一下我们个人在下载图片的过程中的具体流程。

1. 打开百度搜索&＃xff1b;
2. 搜索相关图片&＃xff1b;
3. 跳转到图片页面&＃xff1b;
4. 打开图片&＃xff1b;
5. 点击下载按钮&＃xff1b;

下面&＃xff0c;就通过Helium来逐步完成上述5步。

打开百度搜索

Helium可以直接打开对应的网址&＃xff0c;目前支持Chrome和火狐浏览器&＃xff0c;只要用到start_chrome或者start_firefox函数&＃xff0c;下面以Chrome浏览器为例&＃xff0c;

from helium import *
start_chrome("www.baidu.com")


搜索图片&跳转到图片页面

搜索图片过程中&＃xff0c;首先需要在搜索框输出想要的目标图片&＃xff0c;然后点击百度一下或者按下ENTER键。

write("詹姆斯")

click("百度一下")
// 或者
press(ENTER)

click("图片")


打开图片

在前面Helium与Github交互的示例中&＃xff0c;我们发现&＃xff0c;Sign in、Username等都有标签名称。但是&＃xff0c;我们在这里跳转到图片页面时&＃xff0c;发现每幅图片并没有标签&＃xff0c;那么我们该怎么确定点击哪一幅图呢&＃xff1f;

好在Helium兼容了Selenium的接口&＃xff0c;我们可以通过Selenium来获取页面的元素&＃xff0c;然后结合Helium的点击就可以实现打开图片这一步骤。

// pn1是其中一幅图的名称&＃xff0c;通过名称来获取对应的元素&＃xff0c;然后调用Helium的click函数点击图片
img &＃61; driver.find_element_by_name("pn1") 
click(img)


点击下载按钮

最后一步就是点击下载按钮&＃xff0c;这一步和上一步类似&＃xff0c;我们先通过Selenium的接口来获取Web元素&＃xff0c;然后点击即可。

download &＃61; driver.find_element_by_class_name("btn-download")
click(download)


到这里&＃xff0c;就完成了整个自动化爬取图片的过程&＃xff0c;完成代码如下&＃xff0c;

from helium import *
start_chrome("www.baidu.com")
write("詹姆斯")
press(ENTER)
click("图片")
img &＃61; driver.find_element_by_name("pn1") 
click(img)
download &＃61; driver.find_element_by_class_name("btn-download")
click(download)


可以看出&＃xff0c;整条爬取图片的代码仅仅需要10行代码&＃xff0c;和人为手动操作步骤一样&＃xff0c;非常简单。

除了下载图片这项简单的任务&＃xff0c;我们也可以利用它开发一款自动化的工具&＃xff0c;例如文件的上传、编辑、下载影视音乐、B站视频等&＃xff0c;可以举一反三。

如何查询指定元素名称&＃xff1f;

在前面事例中&＃xff0c;涉及到pn1、btn-download这2个HTML层面的内容&＃xff0c;分别是元素名称和元素类别名称&＃xff0c;那么&＃xff0c;这是怎么获取的呢&＃xff1f;

其实&＃xff0c;非常简单&＃xff0c;我们只需要鼠标右键点击对应按钮&＃xff0c;然后选择检查即可。