python爬虫之动态渲染页面抓取（Selenium）的使用

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
    # 找到输入框，根据id获取
    input = browser.find_element_by_id('kw')
    #输入搜索关键字“python”
    input.send_keys('Python')
    #点击搜索
    input.send_keys(Keys.ENTER)
    #等待十秒
    wait = WebDriverWait(browser, 10)
    # presence_of_element_located判断某个元素是否被加到了 dom 树里，并不代表该元素一定可见。
    # 里面要是一个元祖
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
    #输出当前url
    print('输出当前url：\n',browser.current_url)
    #输出页面COOKIE
    print('输出页面COOKIE：\n',browser.get_COOKIEs())
    #输出页面内容
    #print(browser.page_source)
except:
    print('Fail')
finally:
    #关闭浏览器
    browser.close()

输出当前url：
 https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=Python&fenlei=256&rsv_pq=cb2816e900015d95&rsv_t=b787r%2BVzA0qjW4QKdzHIo7fcG4iLmC6iSRyKMpiaMrmd7hA5tADIT4yrLIw&rqlang=cn&rsv_enter=1&rsv_dl=tb&rsv_sug3=6&rsv_sug2=0&rsv_btype=i&inputT=213&rsv_sug4=213
输出页面COOKIE：
 [{'domain': 'www.baidu.com', 'httpOnly': False, 'name': 'BDSVRTM', 'path': '/', 'secure': False, 'value': '174'}, {'domain': '.baidu.com', 'httpOnly': False, 'name': 'H_PS_PSSID', 'path': '/', 'secure': False, 'value': '32292_1441_32355_31253_32348_32045_32116_31321_32297_26350_22158'}, {'domain': '.baidu.com', 'httpOnly': False, 'name': 'PSINO', 'path': '/', 'secure': False, 'value': '2'}, {'domain': 'www.baidu.com', 'httpOnly': False, 'name': 'BD_CK_SAM', 'path': '/', 'secure': False, 'value': '1'}, {'domain': '.baidu.com', 'expiry': 1627052281, 'httpOnly': False, 'name': 'BAIDUID', 'path': '/', 'secure': False, 'value': '6C9B8822C3C4362FD97A588E493398C8:FG=1'}, {'domain': '.baidu.com', 'httpOnly': False, 'name': 'delPer', 'path': '/', 'secure': False, 'value': '0'}, {'domain': '.baidu.com', 'expiry': 3742999928, 'httpOnly': False, 'name': 'BIDUPSID', 'path': '/', 'secure': False, 'value': '6C9B8822C3C4362F3E16CA0A76797398'}, {'domain': '.baidu.com', 'expiry': 3742999928, 'httpOnly': False, 'name': 'PSTM', 'path': '/', 'secure': False, 'value': '1595516283'}, {'domain': 'www.baidu.com', 'expiry': 1595518875, 'httpOnly': False, 'name': 'H_PS_645EC', 'path': '/', 'secure': False, 'value': 'a511pVLQtJh0hvfLuFVtXamctKD8jDLY2Z%2F0BAk49CMoxm8HDM01bvGqCLk'}, {'domain': 'www.baidu.com', 'expiry': 1596380281, 'httpOnly': False, 'name': 'BD_UPN', 'path': '/', 'secure': False, 'value': '12314753'}, {'domain': 'www.baidu.com', 'httpOnly': False, 'name': 'BD_HOME', 'path': '/', 'secure': False, 'value': '1'}]

from selenium import webdriver

browser = webdriver.Chrome()  # google
browser = webdriver.Firefox()  # 火狐
browser = webdriver.Edge() #edge
browser = webdriver.PhantomJS()  # ***面
browser = webdriver.Safari()  # mac自带浏览器

from selenium import webdriver
browser = webdriver.Chrome()
# 通过get(url)
browser.get('https://www.taobao.com')
#打印淘宝首页页面内容
print(browser.page_source)
#关闭谷歌浏览器
browser.close()

………………（省略一万字）
  "utf-8">
  "X-UA-Compatible" cOntent="IE=edge,chrome=1">
  "renderer" cOntent="webkit">
  
………………（省略一万字）