热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

scrapypip中间件个人处理

importpymongofromscrapy.confimportsettingsimportpymysqlclassMongodb_Pipeline(object):
import pymongo
from scrapy.conf import settings
import pymysql



class Mongodb_Pipeline(object):

    def __init__(self):
        self.client = pymongo.MongoClient()
        self.db = self.client[settings.get('MONGODB_NAME')]

    def process_item(self, item, spider):
        if item:
            coll = item['classification1']
            self.db[coll].insert(dict(item))
        return item


    def close_spider(self):
        self.client.close()

不成体系,不要看

 


推荐阅读
author-avatar
二十三点二十三分_465
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有