selenium配置Firefox和chrome浏览器并模拟登陆豆瓣

最新版本的selenium已不再支持PhantomJS&＃xff0c;使用时会直接报错&＃xff1a;

UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead warnings.
warn(&＃39;Selenium support for PhantomJS has been deprecated, please use headless &＃39;


中文意思是&＃xff1a;selenium已经放弃PhantomJS&＃xff0c;请使用火狐浏览器或者Chrome浏览器的无头模式&＃xff08;headless&＃xff0c;即无界面模式&＃xff09;。

首先我们需要解决的selenium对火狐和Chrome浏览器的驱动支持问题&＃xff0c;事实上以前并不存在驱动问题&＃xff0c;随着浏览器版本的不断提高&＃xff0c;才发生驱动问题。

Firefox驱动

火狐需要安装geckodriver&＃xff0c;下载最新版geckodriver&＃xff0c;将geckodriver.exef放在C:\Program Files (x86)\Mozilla Firefox目录下&＃xff0c;并将其加入环境变量&＃xff0c;若不加入环境变量&＃xff0c;在运行时需要给出驱动所在目录。后面Chrome浏览器同样。代码demo如下&＃xff1a;

from selenium import webdriver def main(): profile&＃61;webdriver.FirefoxOptions()profile.add_argument(&＃39;-headless&＃39;) #设置无头模式driver &＃61; webdriver.Firefox(executable_path&＃61;&＃39;C:\Program Files (x86)\Mozilla Firefox\geckodriver&＃39;, firefox_options&＃61;profile) #前面给出路径driver.get("https://www.qiushibaike.com/8hr/page/1/") print(driver.page_source) driver.close() if __name__ &＃61;&＃61; &＃39;__main__&＃39;: main()


Chrome驱动

可直接在这个地址下载Chrome驱动&＃xff0c;下载时注意对应的版本号&＃xff0c;我的Chrome浏览器是V70&＃xff0c;选择2.45版本。

然后将chromedriver.exe文件放在谷歌浏览器安装目录C:\Program Files (x86)\Google\Chrome\Application下&＃xff08;其它路径也行&＃xff09;&＃xff0c;自行选择是否添加环境变量。Demo如下&＃xff1a;

from selenium import webdriver
from selenium.webdriver.chrome.options import Optionsdef main():chrome_options &＃61; Options()chrome_options.add_argument(&＃39;--headless&＃39;)chrome_options.add_argument(&＃39;--disable-gpu&＃39;)driver &＃61; webdriver.Chrome(executable_path&＃61;&＃39;C:\Program Files (x86)\Google\Chrome\chromedriver&＃39;, chrome_options&＃61;chrome_options)driver.get("https://www.baidu.com")print(driver.page_source)driver.close()if __name__ &＃61;&＃61; &＃39;__main__&＃39;: main()


模拟登陆豆瓣

下面我们就用配置好的selenium和浏览器来自动登陆豆瓣&＃xff0c;该代码2019.2.12检验有效&＃xff0c;如失效说明豆瓣已更改网页代码。
豆瓣首页如下&＃xff1a;

首选项是手机验证码登录&＃xff0c;我们使用帐号密码登陆&＃xff0c;因此需要首先点击密码登陆&＃xff0c;需用Xpath定位位置

帐号&＃xff0c;密码&＃xff0c;登陆按钮的位置也用同样方式确定

注意点&＃xff1a;
这样定位后&＃xff0c;模拟登陆豆瓣&＃xff0c;会直接失败&＃xff0c;显示
unable to lacote username
这是因为豆瓣登陆界面使用了框架&＃xff0c;下图

我也是检测了好久才看到页面使用了框架&＃xff08;被自己菜到&＃xff09;&＃xff0c;因此需要先跳转到框架&＃xff0c;否则会定位失败&＃xff0c;这个故事告诉我们&＃xff0c;动手之前最后先分析一下网页使用的技术。

最终代码如下&＃xff1a;

from selenium import webdriver
from selenium.webdriver import ActionChains
import time
from selenium.webdriver.support.ui import WebDriverWaitpath &＃61; &＃39;C:\Program Files (x86)\Mozilla Firefox\geckodriver&＃39;
def main(): #profile&＃61;webdriver.FirefoxOptions()#profile.add_argument(&＃39;-headless&＃39;) #设置无头模式driver &＃61; webdriver.Firefox(executable_path&＃61; path) driver.get("https://www.douban.com")driver.switch_to.frame(driver.find_elements_by_tag_name(&＃39;iframe&＃39;)[0])action &＃61; driver.find_element_by_xpath("/html/body/div[1]/div[1]/ul[1]/li[2]")ActionChains(driver).move_to_element(action).click(action).perform()#WebDriverWait(driver,10).until(lambda the_driver: the_driver.find_element_by_xpath("//*[&＃64;id&＃61;&＃39;username&＃39;]").is_displayed())driver.find_element_by_xpath("//*[&＃64;id&＃61;&＃39;username&＃39;]").send_keys("帐号")driver.find_element_by_xpath("//*[&＃64;id&＃61;&＃39;password&＃39;]").send_keys("密码")driver.find_element_by_xpath("/html/body/div[1]/div[2]/div[1]/div[5]/a").click()time.sleep(10)driver.switch_to.default_content() # 退出frame&＃xff0c;没有这一句不能生成屏幕快照# 生成登陆后快照driver.save_screenshot(u"douban.png")driver.close() if __name__ &＃61;&＃61; &＃39;__main__&＃39;: main()

效果如下&＃xff1a;