爬虫学习笔记爬B站评论

由于松爱协会的小伙伴邀请&＃xff0c;我研究了一下爬取b站上协会的一些精彩评论

由于评论是动态的&＃xff0c;所以要用到 selenium 之前的博文里已经有关于selenium的安装注意事项

还要用到Firefox的firebug  去获取xpath信息 

target &＃61; app.find_element_by_xpath(".//*[&＃64;id&＃61;&＃39;recommend_report&＃39;]/div[1]/span")
app.execute_script("arguments[0].scrollIntoView();", target)#定位到特定的元素
time.sleep(3)

这里注意一下 由于有些信息要 下拉滚动条才可以 获取到 那么这里有一个下拉滚动条 定位到某一元素的方法

贴上代码 

#coding&＃61;utf-8
from selenium import webdriver
import sys
import time
from selenium.webdriver.common.keys import Keys
reload(sys)
sys.setdefaultencoding("utf-8")# fp &＃61; webdriver.PhantomJS()
# fp.set_preference("permissions.default.stylesheet",2)
# fp.set_preference("permissions.default.image",2)
app &＃61; webdriver.Firefox()
app.get("https://www.bilibili.com/video/av3553625/?from&＃61;search&seid&＃61;10292605247919873793")target &＃61; app.find_element_by_xpath(".//*[&＃64;id&＃61;&＃39;recommend_report&＃39;]/div[1]/span")
app.execute_script("arguments[0].scrollIntoView();", target)#定位到特定的元素
time.sleep(3)target2 &＃61; app.find_element_by_xpath(".//*[&＃64;id&＃61;&＃39;bbComment&＃39;]/div[1]/div[4]/div[4]/span/a");
app.execute_script("arguments[0].scrollIntoView();", target2)
time.sleep(3)
target2.click()
# js&＃61;"var q&＃61;document.documentElement.scrollTop&＃61;100000"
# app.execute_script(js)
# time.sleep(3)for i in range(20):if(i&＃61;&＃61;7):continuename &＃61; app.find_element_by_xpath(".//*[&＃64;id&＃61;&＃39;bbComment&＃39;]/div[1]/div[4]/div["&＃43;str(i&＃43;1)&＃43;"]/div[2]/div[1]/a[1]")test &＃61; app.find_element_by_xpath(".//*[&＃64;id&＃61;&＃39;bbComment&＃39;]/div[1]/div[4]/div["&＃43;str(i&＃43;1)&＃43;"]/div[2]/p")if (i !&＃61; 13 and i !&＃61; 17):pinglun1 &＃61; app.find_element_by_xpath(".//*[&＃64;id&＃61;&＃39;bbComment&＃39;]/div[1]/div[4]/div["&＃43;str(i&＃43;1)&＃43;"]/div[2]/div[3]/div[1]/div/div[1]/span")if (i !&＃61; 13 and i !&＃61; 17):pinglun2 &＃61; app.find_element_by_xpath(".//*[&＃64;id&＃61;&＃39;bbComment&＃39;]/div[1]/div[4]/div["&＃43;str(i&＃43;1)&＃43;"]/div[2]/div[3]/div[2]/div/div[1]/span")if(i !&＃61;12 and i !&＃61;13 and i !&＃61; 17):pinglun3 &＃61; app.find_element_by_xpath(".//*[&＃64;id&＃61;&＃39;bbComment&＃39;]/div[1]/div[4]/div["&＃43;str(i&＃43;1)&＃43;"]/div[2]/div[3]/div[3]/div/div[1]/span")print ("作者&＃xff1a;")print (name.text.strip())print ("内容&＃xff1a;")print test.text.strip()print ("后续&＃xff1a;")if (i !&＃61; 13 and i !&＃61; 17):print pinglun1.text.strip()if (i !&＃61; 13 and i !&＃61; 17):print pinglun2.text.strip()if (i !&＃61; 12 and i !&＃61; 13 and i !&＃61; 17):print pinglun3.text.strip()print ("\n")time.sleep(3)
#
# tests &＃61; app.find_elements_by_css_selector("p.text")
# for i in range(len(tests)):
# test &＃61; tests[i].text.strip()
# print test
app.quit()

这里只抓取了一页的评论 还可以再完善抓更多页面