pythonclick()打开新网页_网页自动化开发（第三章）

 Selenium常用功能

在前面的内容中&＃xff0c;大成带您已经学习Selenium的基本使用方法&＃xff0c;掌握了如何启动浏览器(ghrome浏览器&＃xff0c;当然也可用ie和firefox)、查找并定位网页元素以及网页元素的操控。本节中&＃xff0c;我们讲述Selenium的一些常用功能&＃xff0c;如设置浏览器的参数、浏览器多窗口切换、设置等待时间、文件的上传与下载、COOKIEs处理以及frame框架操作。设置浏览器的参数是在定义driver的时候设置chrome_options参数&＃xff0c;该参数是一个Options类所实例化的对象。其中常用的参数是设置浏览器是否可视化和浏览器的请求头等信息&＃xff0c;前者可以加快代码的运行速度&＃xff0c;后者可以有效地防止网站的反爬虫检测。具体的代码如下&＃xff1a;line(17-20)

#!/usr/bin/python# -*- coding: UTF-8 -*-import jsonimport timeimport seleniumfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byclass GetSessionAndToken(): def __init__(self): chrome_options &＃61; Options() chrome_options.add_argument(&＃39;accept&＃61;application/json, text/plain, */*&＃39;) chrome_options.add_argument(&＃39;accept-language&＃61;en-US,en;q&＃61;0.9&＃39;)        UserAgent &＃61; &＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36&＃39; chrome_options.add_argument(&＃39;User-Agent&＃61;&＃39; &＃43; UserAgent) self.driver &＃61; webdriver.Chrome(chrome_options&＃61;chrome_options)    #登录时候&＃xff0c;最好加上time.sleep(),本地网络比较差&＃xff0c;加上了延时 # 登录系统&＃xff0c;具体到自己系统时需要自行修改 def login_system(self): try: url &＃61; &＃39;https://portal.taobao-qa.com/&＃39; self.driver.maximize_window() # driver.minimize_window() self.driver.get(url) time.sleep(10) # &＃39;/html/body/div[3]/div/div/div/div[2]/div[2]/div/div/div[3]/button&＃39; self.driver.find_element_by_xpath( &＃39;/html/body/div[3]/div/div/div/div[2]/div[2]/div/div/div[3]/button&＃39;).click() time.sleep(10) # 输入邮箱            self.driver.find_element_by_xpath(&＃39;//*[&＃64;id&＃61;"i0116"]&＃39;).send_keys(&＃39;taobao&＃64;tianmao.com&＃39;) time.sleep(10) # Next self.driver.find_element_by_xpath(&＃39;//*[&＃64;id&＃61;"idSIButton9"]&＃39;).click() time.sleep(10) self.driver.find_element_by_xpath(&＃39;//*[&＃64;id&＃61;"i0118"]&＃39;).send_keys(&＃39;XXXXXXX&＃39;) time.sleep(10) # sign in self.driver.find_element_by_xpath(&＃39;//*[&＃64;id&＃61;"idSIButton9"]&＃39;).click() time.sleep(5) # yes self.driver.find_element_by_xpath(&＃39;//*[&＃64;id&＃61;"idSIButton9"]&＃39;).click() time.sleep(5) print(self.driver.get_COOKIEs()); # print(COOKIEs) # COOKIEs &＃61; driver.get_COOKIE(&＃39;AuthSessionId&＃39;) # print(COOKIEs) except selenium.common.exceptions.NoSuchElementException: print("Error Message: no such element: Unable to locate element") def get_sessionid(self): # 是要从localStorage中获取还是要从sessionStorage中获取&＃xff0c;具体看目标系统存到哪个中 # window.sessionStorage和直接写sessionStorage是等效的 # 一定要使用return&＃xff0c;不然获取到的一直是None # get的Item不一定就叫sessionId&＃xff0c;得具体看目标系统把sessionid存到哪个变量中 sessionid &＃61; self.driver.execute_script(&＃39;return Storage.COOKIEs("AuthSessionId");&＃39;) return sessionid # 获取token def get_token(self): # 是要从localStorage中获取还是要从sessionStorage中获取&＃xff0c;具体看目标系统存到哪个中 # window.sessionStorage和直接写sessionStorage是等效的 # 一定要使用return&＃xff0c;不然获取到的一直是None # get的Item不一定就叫token&＃xff0c;得具体看目标系统把token存到哪个变量中 token &＃61; self.driver.execute_script(&＃39;return sessionStorage.getItem("token");&＃39;) # print(f"{token}") return token def __del__(self): # 退出程序时关闭浏览器 self.driver.close()if __name__ &＃61;&＃61; "__main__": obj &＃61; GetSessionAndToken() obj.login_system()

上面代码基本都在一个界面下完成&＃xff0c;打开浏览器&＃xff0c;有时候会有多个新的页面打开&＃xff0c;那么就需要通过Selenium的切换不同的页面来完成

例如&＃xff1a;分别打开2个窗口&＃xff0c;中间进行切换

def changepage(self): url &＃61; "https://www.iqiyi.com/" # 爱奇艺首页 self.driver.get(url) #百度窗口首页 js &＃61; &＃39;window.open("http://www.baidu.com")&＃39; self.driver.execute_script(js)        # 获取当前显示的窗口信息        current_windows &＃61; self.driver.current_window_handle # 获取浏览器的全部窗口信息 self.handles &＃61; self.driver.window_handles # 设置延时 time.sleep(3) self.driver.switch_to_window(self.handles[0]) time.sleep(3) self.driver.switch_to_window(self.handles[1])

6和7行&＃xff0c;定义了js的定义&＃xff0c;execute_script的方法&＃xff0c;浏览器很多是用到Javascript来实现&＃xff0c;功能是很强大的。selenium的运行速度往往比网页快&＃xff0c;这里加上了sleep()等待时间&＃xff0c;让Selenium与网页响应尽量的达到同步。延时用Python中的time库的sleep实现。也可以设置隐形等待&＃xff0c;

driver.implicitly_wait(30)上面设置30秒等待时间&＃xff0c;网页只要在30秒内完成加载就会执行下一步&＃xff0c;如果超过30秒&＃xff0c;就会抛出异常&＃xff0c;隐形设置时间&＃xff0c;设置这个driver周期来作用的&＃xff0c;只要设置一次就可以。

显性等待能够根据判断条件而进行灵活地等待&＃xff0c;程序每隔一段时间检测一次&＃xff0c;如果检测结果与条件成立了&＃xff0c;则执行下一步&＃xff0c;否则继续等待&＃xff0c;直到超过设置的最长时间为止&＃xff0c;然后抛出TimeoutException异常。显性等待的使用涉及到多个模块&＃xff0c;包括By、expected_conditions和WebDriverWait&＃xff0c;各个模块说明如下。

•  By&＃xff1a;设置元素定位方式

定位方式共8种&＃xff1a;

ID、XPATH、LINK_TEXT、PARTIAL_LINK_TEXT、NAME、TAG_NAME、CLASS_NAME、CSS_SELECTOR。

expected_conditions&＃xff1a;验证网页元素是否存在&＃xff0c;提供了多种验证方式。

• WebDriverWait的参数说明如下。

• driver&＃xff1a;浏览器对象driver。

• timeout&＃xff1a;超时时间&＃xff0c;等待的最长时间。

• poll_frequency&＃xff1a;检测时间的间隔。

• ignored_exceptions&＃xff1a;忽略的异常&＃xff0c;如果在调用until或until_not的过程中抛出的异常在这个参数里&＃xff0c;则不中断代码&＃xff0c;继续等待&＃xff0c;如果抛出的异常在这个参数之外&＃xff0c;则中断代码并抛出异常。默认值为NoSuchElementException。

• until&＃xff1a;条件判断&＃xff0c;参数必须为expected_conditions对象。如果网页里某个元素与条件符合&＃xff0c;则中断等待并执行下一个步骤。

• until_not&＃xff1a;与until的逻辑相反。

隐性等待和显性等待相比于time.sleep这种强制等待更为灵活和智能&＃xff0c;可解决各种网络延误的问题&＃xff0c;隐性等待和显性等待可以同时使用&＃xff0c;但最长的等待时间取决于两者之间的最大数&＃xff0c;如上述代码的隐性等待时间为30&＃xff0c;显性等待时间为20&＃xff0c;则该代码的最长等待时间为隐性等待时间。