python链家网高并发异步爬虫asyncio+aiohttp+aiomysql异步存入数据

python链家网二手房异步IO爬虫&＃xff0c;使用asyncio、aiohttp和aiomysql

很多小伙伴初学python时都会学习到爬虫&＃xff0c;刚入门时会使用requests、urllib这些同步的库进行单线程爬虫&＃xff0c;速度是比较慢的&＃xff0c;后学会用scrapy框架进行爬虫&＃xff0c;速度很快&＃xff0c;原因是scrapy是基于twisted多线程异步IO框架。
本例使用的asyncio也是一个异步IO框架&＃xff0c;在python3.5以后加入了协程的关键字async&＃xff0c;能够将协程和生成器区分开来&＃xff0c;更加方便使用协程。
经过测试&＃xff0c;平均1秒可以爬取30个详情页信息
可以使用asyncio.Semaphore来控制并发数&＃xff0c;达到限速的效果

# -*- coding: utf-8 -*-
""":author: KK:url: http://github.com/PythonerKK:copyright: © 2019 KK <705555262&＃64;qq.com.com>
"""
import asyncio
import re
import aiohttp
from pyquery import PyQuery
import aiomysql
from lxml import etreepool &＃61; &＃39;&＃39;
#sem &＃61; asyncio.Semaphore(4) 用来控制并发数&＃xff0c;不指定会全速运行
stop &＃61; False
headers &＃61; {&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36&＃39;
}
MAX_PAGE &＃61; 10
TABLE_NAME &＃61; &＃39;data&＃39; #数据表名
city &＃61; &＃39;zh&＃39; #城市简写
url &＃61; &＃39;https://{}.lianjia.com/ershoufang/pg{}/&＃39; #url地址拼接
urls &＃61; [] #所有页的url列表
links_detail &＃61; set() #爬取中的详情页链接的集合
crawled_links_detail &＃61; set() #爬取完成的链接集合&＃xff0c;方便去重async def fetch(url, session):&＃39;&＃39;&＃39;aiohttp获取网页源码&＃39;&＃39;&＃39;# async with sem:try:async with session.get(url, headers&＃61;headers, verify_ssl&＃61;False) as resp:if resp.status in [200, 201]:data &＃61; await resp.text()return dataexcept Exception as e:print(e)def extract_links(source):&＃39;&＃39;&＃39;提取出详情页的链接&＃39;&＃39;&＃39;pq &＃61; PyQuery(source)for link in pq.items("a"):_url &＃61; link.attr("href")if _url and re.match(&＃39;https://.*?/\d&＃43;.html&＃39;, _url) and _url.find(&＃39;{}.lianjia.com&＃39;.format(city)):links_detail.add(_url)print(links_detail)def extract_elements(source):&＃39;&＃39;&＃39;提取出详情页里面的详情内容&＃39;&＃39;&＃39;try:dom &＃61; etree.HTML(source)id &＃61; dom.xpath(&＃39;//link[&＃64;rel&＃61;"canonical"]/&＃64;href&＃39;)[0]title &＃61; dom.xpath(&＃39;//title/text()&＃39;)[0]price &＃61; dom.xpath(&＃39;//span[&＃64;class&＃61;"unitPriceValue"]/text()&＃39;)[0]information &＃61; dict(re.compile(&＃39;