[Python应用：爬虫]Selenium之等待

本文内容参考&＃xff1a;https://selenium-python.readthedocs.io/waits.html

为什么要使用等待&＃xff1f;

现在大部分网页都是用AJAX技术&＃xff0c;但一个网页被浏览器加载后&＃xff0c;其中的元素可能会在不同的时间间隔被加载。这样使得定外元素变得困难&＃xff0c;因为元素不是一次性全部加载出来的。这样的话&＃xff0c;如果元素没有在当前的DOM中出现&＃xff0c;定位元素的时候就会返回ElementNotVisibleException。这种情况下&＃xff0c;使用等待可以解决这个问题。

都有什么等待方式&＃xff1f;

Selenium 提供两种方式的等待&＃xff1a; 显式等待和隐式等待。

显式等待是指要满足特定情况才会进行一步。

隐式等待是指让浏览器等待一定的时间后再去定位元素。

怎么用&＃xff1f;

显式等待

显示等待其实就是满足某一特定的情况下才进行一步。粗暴用法&＃xff0c;或者说简单的用法就是 time.sleep(), 这种方式就是让浏览器等待几秒钟再去进行后续步骤。当然还有更为方便的方式来进行这种操作。WebDriverWait 和 ExpectedCondition 的联合使用可能很好的完成这个工作。看下面的代码&＃xff1a;

from selenium import webdriver
from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver &＃61; webdriver.Firefox() driver.get("http://somedomain/url_that_delays_loading") try: element &＃61; WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "myDynamicElement")) ) finally: driver.quit()

这样的话&＃xff0c;10秒之内如果找到元素的话就返回元素&＃xff0c;10秒后还没有找到元素的则会返回TimeoutException. 默认的话WebDriverWait每500毫秒就会去执行一遍ExpectedCondition。

Expected Conditions

selenium 中一些常用的conditions如下&＃xff1a;

• title_is
• title_contains
• presence_of_element_located
• visibility_of_element_located
• visibility_of
• presence_of_all_elements_located
• text_to_be_present_in_element
• text_to_be_present_in_element_value
• frame_to_be_available_and_switch_to_it
• invisibility_of_element_located
• element_to_be_clickable
• staleness_of
• element_to_be_selected
• element_located_to_be_selected
• element_selection_state_to_be
• element_located_selection_state_to_be
• alert_is_present

例如&＃xff1a;

　　from selenium.webdriver.support import expected_conditions as EC

 　　wait &＃61; WebDriverWait(driver, 10)

　　element &＃61; wait.until(EC.element_to_be_clickable((By.ID, &＃39;someid&＃39;)))

隐式等待
隐式等待是让浏览器在寻找不是立即可得的元素时在一定时间内去搜索DOM.如下面例子&＃xff1a;

from selenium import webdriverdriver &＃61; webdriver.Firefox() driver.implicitly_wait(10) # seconds driver.get("http://somedomain/url_that_delays_loading") myDynamicElement &＃61; driver.find_element_by_id("myDynamicElement")