Scrapy爬虫实战：百度搜索找到自己

怎么才能拿到百度搜索标题

如下图，我们利用浏览器的检查功能，利用选择工具，选中标题，我们就可以看到当前页面的内容

这里我们可以知道我们的标题内容在'//div[@class="result c-container "]/h3/a'标签里面，那么我们需要获取这类标签的内容。

这里我们修改之前的baidu_search.py

# -*- coding: utf-8 -*-
import scrapy
from tutorial.items import BaiDuSearchItem
class BaiduSearchSpider(scrapy.Spider):
name = 'baidu_search'
allowed_domains = ['www.baidu.com']
start_urls = ['http://www.baidu.com/s?wd=灵动的艺术']
def parse(self, response):
# 拿到当前页码
current_page = int(response.xpath('//div[@id="page"]/strong/span[@class="pc"]/text()').extract_first())
#当前页面查找内容
for i,a in enumerate(response.xpath('//div[@class="result c-container "]/h3/a')):
#拿到标题文本
title = ''.join(a.xpath('./em/text() | ./text()').extract())
# 精确找到自己
if title.find('灵动的艺术的博客') > -1:
item = BaiDuSearchItem()
item['visit_url'] = a.xpath('@href').extract() # 提取链接
item['page'] = current_page
item['rank'] = i+1
item['title'] = title
yield item
#依次访问百度下面的更多页面，再次分别查找
for p in response.xpath('//div[@id="page"]/a'):
p_url = 'http://www.baidu.com' + str(p.xpath('./@href').extract_first())
yield scrapy.Request(p_url, callback=self.parse_other_page)
def parse_other_page(self, response):
#拿到当前页码
current_page = int(response.xpath('//div[@id="page"]/strong/span[@class="pc"]/text()').extract_first())
#当前页面查找内容
for i,a in enumerate(response.xpath('//div[@class="result c-container "]/h3/a')):
# 拿到标题文本
title = ''.join(a.xpath('./em/text() | ./text()').extract())
# 精确找到自己
if title.find('灵动的艺术的博客') > -1:
item = BaiDuSearchItem()
item['visit_url'] = a.xpath('@href').extract() # 提取链接
item['page'] = current_page
item['rank'] = i+1
item['title'] = title
yield item


代码比较简单，简单明了

• 清理HTML数据


• 验证爬取的数据(检查item包含某些字段)


• 查重(并丢弃)


• 将爬取结果保存到数据库中