热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

使用miniConda在Mac上搭建Python环境并安装Scrapy

minoConda安装1.到清华镜像下载最新的miniConda.sh脚本2.然后bash安装bash~DownloadsAnaconda3-4.4.0-MacOSX-x86_64
minoConda安装

1.到清华镜像下载最新的miniConda.sh脚本

2.然后bash安装bash ~/Downloads/Anaconda3-4.4.0-MacOSX-x86_64.sh(修改为你的路径)

3.安装完毕打开命令行(我这里是iTerm),输入conda回车,有提示信息

《Mac Python环境miniConda +Scrapy搭建》 image.png

4.我们用conda create -n 环境名(随便取) 创建和系统环境隔离的python环境

创建完毕的提示(我的环境名叫apple)

《Mac Python环境miniConda +Scrapy搭建》 image.png

5.source activate apple进入环境,进入后会在最前面显示apple

《Mac Python环境miniConda +Scrapy搭建》 image.png

Scrapy安装

6.安装scrapy

《Mac Python环境miniConda +Scrapy搭建》 image.png

7.创建scrapy项目

《Mac Python环境miniConda +Scrapy搭建》 image.png

创建完毕

《Mac Python环境miniConda +Scrapy搭建》 image.png

8.按照scrapy官网教程创建第一个爬虫(或者复制下面的内容到tutorial下面的spiders目录,取名为quotes_spider.py)

import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
def start_requests(self):
urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
page = response.url.split("/")[-2]
filename = 'quotes-%s.html' % page
with open(filename, 'wb') as f:
f.write(response.body)
self.log('Saved file %s' % filename)

9.然后执行

《Mac Python环境miniConda +Scrapy搭建》 image.png

10.爬取结束

《Mac Python环境miniConda +Scrapy搭建》 image.png

爬取内容保存到了tutorial目录下的

《Mac Python环境miniConda +Scrapy搭建》 image.png

参考

miniconda官方文档
scrapy官方文档


推荐阅读
author-avatar
chroalist
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有