蝙蝠_Day536.Selenium自动化浏览器脚本爬虫python

篇首语：本文由编程笔记#小编为大家整理，主要介绍了Day536.Selenium自动化浏览器脚本爬虫 -python相关的知识，希望对你有一定的参考价值。

一、Selenium

1、什么是selenium

&＃xff08;1&＃xff09;Selenium是一个用于Web应用程序测试的工具。
&＃xff08;2&＃xff09;Selenium 测试直接运行在浏览器中&＃xff0c;就像真正的用户在操作一样。
&＃xff08;3&＃xff09;支持通过各种driver&＃xff08;FirfoxDriver&＃xff0c;IternetExplorerDriver&＃xff0c;OperaDriver&＃xff0c;ChromeDriver&＃xff09;驱动真实浏览器完成测试。
&＃xff08;4&＃xff09;selenium也是支持无界面浏览器操作的。

2、为什么使用selenium

*模拟浏览器功能&＃xff0c;自动执行网页中的js代码&＃xff0c;实现动态加载 *

3、如何安装selenium

• 操作谷歌浏览器驱动下载地址
• 谷歌驱动和谷歌浏览器版本之间的映射表
• 查看谷歌浏览器版本
  谷歌浏览器右上角‐‐>帮助‐‐>关于
• pip install selenium

4、selenium的使用步骤

• 基本使用

  from selenium import webdriver
# 指定浏览器启动地址
path &＃61; &＃39;chromedriver.exe&＃39;
browser &＃61; webdriver.Chrome(path)
# 访问网址
url &＃61; &＃39;http://www.jd.com&＃39;
browser.get(url)
# page_source获取网页源码数据
context &＃61; browser.page_source
print(context)


• selenium的元素定位

&＃96;&＃96;&＃96;python
from selenium import webdriver
driver_path &＃61; &＃39;chromedriver.exe&＃39;
browser &＃61; webdriver.Chrome(driver_path)
url &＃61; &＃39;http://www.baidu.com&＃39;
browser.get(url)
# 元素定位
# button &＃61; browser.find_element_by_id(&＃39;su&＃39;)
# print(button)
&＃96;&＃96;&＃96;


• 访问元素信息

from selenium import webdriver
path &＃61; &＃39;chromedriver.exe&＃39;
browser &＃61; webdriver.Chrome(path)
url &＃61; &＃39;http://www.baidu.com&＃39;
browser.get(url)
input &＃61; browser.find_element_by_id(&＃39;su&＃39;)
print(input.get_attribute(&＃39;class&＃39;))
print(input.tag_name)
print(input.text)


• 交互

from selenium import webdriver
import time
path &＃61; &＃39;chromedriver.exe&＃39;
browser &＃61; webdriver.Chrome(path)
url &＃61; &＃39;https://www.baidu.com&＃39;
browser.get(url)
time.sleep(2)
input &＃61; browser.find_element_by_id(&＃39;kw&＃39;)
input.send_keys(&＃39;蝙蝠侠&＃39;)
time.sleep(2)
button &＃61; browser.find_element_by_id(&＃39;su&＃39;)
button.click()
time.sleep(2)
js_bottom &＃61; &＃39;document.documentElement.scrollTop&＃61;100000&＃39;
browser.execute_script(js_bottom)
time.sleep(1)
next_button &＃61; browser.find_element_by_xpath(&＃39;//a[&＃64;class&＃61;"n"]&＃39;)
next_button.click()
time.sleep(1)
browser.back()
time.sleep(2)
browser.forward()
time.sleep(3)
browser.quit()


二、Phantomjs

from selenium import webdriver
path &＃61; &＃39;phantomjs.exe&＃39;
browser &＃61; webdriver.PhantomJS(path)
url &＃61; &＃39;https://www.baidu.com&＃39;
browser.get(url)
# browser.save_screenshot(&＃39;baidu.jpg&＃39;)


三、Chrome handless

Chrome-headless 模式&＃xff0c; Google 针对 Chrome 浏览器 59版 新增加的一种模式&＃xff0c;可以让你不打开UI界面的情况下使用 Chrome 浏览器&＃xff0c;所以运行效果与 Chrome 保持完美一致。

• 系统要求
  
• 基本使用配置

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options &＃61; Options()
chrome_options.add_argument(&＃39;--headless&＃39;)
chrome_options.add_argument(&＃39;--disable‐gpu&＃39;)
# 设置为自己chrome浏览器.exe的系统路径
path &＃61; r&＃39;C:\\Users\\99593\\AppData\\Local\\Google\\Chrome\\Application\\chrome.exe&＃39;
chrome_options.binary_location &＃61; path
browser &＃61; webdriver.Chrome(chrome_options&＃61;chrome_options)
browser.get(&＃39;https://www.baidu.com&＃39;)
# browser.save_screenshot(&＃39;baidu.jpg&＃39;)