python爬虫代码新闻_如何用100行Python代码实现新闻爬虫？

原标题&＃xff1a;如何用 100 行 Python 代码实现新闻爬虫&＃xff1f;

每天我都要坐地铁上班&＃xff0c;而地铁里完全没有手机信号。但我希望在坐地铁的时候读些新闻&＃xff0c;于是就写了下面这个新闻爬虫。

我并没有打算做很漂亮的应用&＃xff0c;所以只完成了原型&＃xff0c;它可以满足我最基本的需求。其思路很简单&＃xff1a;

找到新闻源&＃xff1b;

用Python抓取新闻&＃xff1b;

利用BeautifulSoup分析HTML并提取出内容&＃xff1b;

转换成容易阅读的格式并通过邮件发送。

下面详细介绍每个部分的实现。

▌新闻源&＃xff1a;Reddit

我们可以通过Reddit提交新闻链接并为之投票&＃xff0c;因此Reddit是个很好的新闻来源。但接下来的问题是&＃xff1a;怎样才能获取每天最流行的新闻&＃xff1f;

在考虑抓取之前&＃xff0c;我们应该先考虑目标网站有没有提供API。因为使用API完全合法&＃xff0c;更重要的是它能提供机器可读的数据&＃xff0c;这样就无需再分析HTML了。

幸运的是Reddit提供了API。我们可以从API列表&＃xff08;https://www.reddit.com/dev/api/&＃xff09;中找到所需的功能&＃xff1a;/top。该功能可以返回Reddit或指定subreddit上最流行的新闻。

接下来的问题是&＃xff1a;这个API怎么用&＃xff1f;

仔细阅读了Reddit的文档&＃xff08;https://github.com/reddit-archive/reddit/wiki/OAuth2&＃xff09;之后&＃xff0c;我找到了最有效的用法。

第一步&＃xff1a;在Reddit上创建一个应用。登录之后前往“preferences → apps”页面&＃xff0c;底部有个名为“create another app...”的按钮。点击后创建一个“”类型的应用。我们不需要提供“about url”或“redirect url”&＃xff0c;因为这个应用不对公众开放&＃xff0c;也不会被别人使用。

应用创建之后&＃xff0c;可以在应用信息里找到App ID和Secret。

下个问题是如何使用App ID和Secret。由于我们只需获取指定SubReddit上最流行的新闻&＃xff0c;而无需访问任何与用户相关的信息&＃xff0c;所以理论上来说我们无需提供用户名或密码之类的个人信息。Reddit提供了“Application Only OAuth”&＃xff08;https://github.com/reddit-archive/reddit/wiki/OAuth2#application-only-oauth&＃xff09;的形式&＃xff0c;通过这种方式&＃xff0c;应用可以匿名访问公开的信息。运行下面这条命令&＃xff1a;

该命令会返回access token&＃xff1a;

太好了&＃xff01;有了access token之后就可以大展拳脚了。

最后&＃xff0c;如果不想自己写API的访问代码的话&＃xff0c;可以使用Python客户端&＃xff1a;https://github.com/praw-dev/praw

先做一下测试&＃xff0c;从/r/Python获取最流行的5条新闻&＃xff1a;

成功了&＃xff01;

▌抓取新闻页面

下一步的任务是抓取新闻页面&＃xff0c;这其实很简单。通过上一步我们可以得到Submission对象&＃xff0c;其URL属性就是新闻的地址。我们还可以通过domain属性过滤掉那些属于Reddit自己的URL&＃xff1a;

我们只需要抓取该URL即可&＃xff0c;用Requests很容易就可以做到&＃xff1a;

这里我们略过了content type不是text/html的新闻地址&＃xff0c;因为Reddit的用户有可能会提交直接指向图片的链接&＃xff0c;我们不需要这种。

▌提取新闻内容

下一步是从HTML中提取内容。我们的目标是提取新闻的标题和正文&＃xff0c;而且可以忽略其他不需要阅读的内容&＃xff0c;如页首、页脚、侧边栏等。

这项工作很难&＃xff0c;其实并没有通用的完美解决办法。虽然BeautifulSoup可以帮我们提取文本内容&＃xff0c;但它会连页首页脚一起提取出来。

不过幸运的是&＃xff0c;我发现目前网站的结构比以前好很多。没有表格布局&＃xff0c;也没有和
&＃xff0c;整个文章页面清晰地用

标出了标题和每个段落。而且绝大部分网站会把标题和正文放在同一个容器元素中&＃xff0c;比如像这样&＃xff1a;

这个例子中顶层的