作者:chroalist | 来源:互联网 | 2023-10-13 16:22
minoConda安装1.到清华镜像下载最新的miniConda.sh脚本2.然后bash安装bash~DownloadsAnaconda3-4.4.0-MacOSX-x86_64
minoConda安装
1.到清华镜像下载最新的miniConda.sh脚本
2.然后bash安装bash ~/Downloads/Anaconda3-4.4.0-MacOSX-x86_64.sh
(修改为你的路径)
3.安装完毕打开命令行(我这里是iTerm),输入conda回车,有提示信息
image.png
4.我们用conda create -n 环境名(随便取) 创建和系统环境隔离的python环境
创建完毕的提示(我的环境名叫apple)
image.png
5.source activate apple
进入环境,进入后会在最前面显示apple
image.png
Scrapy安装
6.安装scrapy
image.png
7.创建scrapy项目
image.png
创建完毕
image.png
8.按照scrapy官网教程创建第一个爬虫(或者复制下面的内容到tutorial下面的spiders目录,取名为quotes_spider.py)
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
def start_requests(self):
urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
page = response.url.split("/")[-2]
filename = 'quotes-%s.html' % page
with open(filename, 'wb') as f:
f.write(response.body)
self.log('Saved file %s' % filename)
9.然后执行
image.png
10.爬取结束
image.png
爬取内容保存到了tutorial目录下的
image.png
参考
miniconda官方文档
scrapy官方文档