Python网络爬虫演示1

       网络爬虫&＃xff08;又被称为网页蜘蛛&＃xff0c;网络机器人&＃xff09;&＃xff0c;是一种按照一定的规则&＃xff0c;自动地抓取万维网信息的程序或者脚本。常见的爬虫工具有&＃xff1a;正则表达式、Selenuim、Beautifulsoup等。本例将利用selenium库做一个很简单的例子-爬区百度首页、输出标题、截屏保存、输出百度新闻栏。本实验在LUbuntu16.10上运行。
1.安装selenium库&＃xff1a;

# pip install selenium

如果没有pip工具&＃xff0c;可先安装apt install pip。另外安装selenium&＃xff0c;pip需要的版本为9.0.1&＃xff0c;所以对pip进行升级。
2.安装相应浏览器&＃xff1a;
selenium库支持谷歌、Firefox、IE等。
3.例子代码如下&＃xff1a;

from selenium import webdriver
driver &＃61; webdriver.Firefox()
driver.get("http://www.baidu.com")
data &＃61; driver.title
print (data)
driver.save_screenshot(&＃39;baidu.png&＃39;)
word &＃61; driver.find_element_by_id("u1")
print word.text

4.运行程序&＃xff1a;

# Python *.py

如果系统没有安装geckodriver&＃xff0c;会报错&＃xff1a;Geckodriver executable needs to be in PATH。这是因为geckodriver是一原生态的第三方浏览器&＃xff0c;对于selenium3.x版本都会使用geckodriver来驱动firefox。Geckodirver的下载地址&＃xff1a;https://github.com/mozilla/geckodriver/releases&＃xff0c;根据系统选择相应的版本。解压完毕之后&＃xff0c;可将geckodriver拷贝至/usr/bin下&＃xff0c;或者在PATH环境变量中加入geckodriver的路径&＃xff1a;
export PATH&＃61;/your geckodriver’s path:$PATH
重新执行即可。