Selenium
自动化测试工具&＃xff0c;支持多种浏览器&＃xff0c;在爬虫中主要解决JS的渲染问题
1.基本使用
from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait
browser &＃61; webdriver.chrome() #声明浏览器对象try: browser.get(&＃39;http://www.baidu.com&＃39;) #访问页面input&＃61;browser.find_element_by_id(&＃39;kw&＃39;) #查找元素input.send_keys(&＃39;Python&＃39;) #输入Pythoninput.send_key(Keys.ENTER) #输入enterwait&＃61;WebDriverWait(browser,10)wait.until(EC.presence_of_element_located(By.ID,&＃39;content_left&＃39;)) #找到对应的元素print(browser.current_url)print(browser.get_COOKIEs())print(browser.page_source)finally:browser.close()
2.查找方式
单个元素&＃xff1a;
browser.find_element_by_id(&＃39;q&＃39;) &＃61;&＃61; browser.find_element_by_css_selector(&＃39;#q&＃39;) &＃61;&＃61; browser.find_element_by_css_xpath(&＃39;//*[&＃64;id&＃61;&＃39;1&＃39;]&＃39;)
多个元素&＃xff1a;
browser.find_element(By.ID,&＃39;q&＃39;)
3. 元素交互操作&＃xff1a; https://selenium-python-zh.readthedocs.io/en/latest/
input.send_key(&＃39;ssss&＃39;)time.sleep(1)input.clearinput.send_key(&＃39;cccc&＃39;)button&＃61;browser.find_element_by_class_name(&＃39;tttt&＃39;)button.click
4. 交互动作&＃xff0c;区别于元素操作
from selenium import webdriverfrom selenium.webdriver import ActionChainsbrowser &＃61; webdriver.chrome()url &＃61; &＃39;www.ddddsdsdsds.com&＃39; browser.get(url)browser.switch_to.frame(&＃39;模块名&＃39;)source&＃61;browser.find_element_by_css_selector(&＃39;#draggable&＃39;) #找到两个模块target&＃61;browser.find_element_by_css_selector(&＃39;droppable&＃39;)actions&＃61;ActionChains(browser)actions.drag_and_drop(source,target) #执行操作actions.perform()
5. 执行Javascript
from selenium import webdriverbrowser &＃61; webdriver.chrome() browser.get(&＃39;http://www.baidu.com&＃39;) browser.execute_script(&＃39;具体的js的操作&＃39;) browser.execute_script(&＃39;可以添加提示&＃39;)
6. 获取元素信息
from selenium import webdriverfrom selenium.webdriver import ActionChainsbrowser &＃61; webdriver.chrome()url &＃61; &＃39;www.ddddsdsdsds.com&＃39; browser.get(url) logo&＃61;browser.find_element_by_id(&＃39;模块名&＃39;)print(logo.get-attributes(&＃39;class&＃39;)) #获取属性print(logo.text) #获取文本值
7. Frame
browser.switch_to.frame(&＃39;fram_id&＃39;) #切换到指定的framebrowser.switch_to.parent_frame() #切换到父frame
9. 前进后退&＃xff1a;
browser.back()browser.sleep()browser.forward()print(browser.get_COOKIEs) #获取COOKIEs
10. 选项卡管理
browser.execute_script(&＃39;windows.open&＃39;) #新开一个选项卡browser.switch_to_window(browser.windo_handles[1]) #切换到第一个选项卡
8. 异常处理&＃xff1a;
有异常问题&＃xff0c;直接打印
例子&＃xff1a; except TimeoutException:
print(&＃39;Timeout&＃39;)
京公网安备 11010802041100号