python超易懂分布式爬虫实现（一）

看过博主文章的小伙伴都知道&＃xff0c;所有博客以简为主&＃xff0c;以懂为主。

------------------------------------------------------------------------------------------------------------------------------------------------------

本章基于python3自带的RPC模块xmlrpc

RPC大家应该听说过。小伙伴可以去百度具体了解一下RPC。

简要说明RPC :   一种远程调用程序的实现协议。

那是什么逻辑呢&＃xff1f;

下面解释一下&＃xff1a;

代码  xxx.py

#coding:utf-8
import requests
def need_url(url):page &＃61; requests.get(url).textprint(page)return "ok"
if __name__ &＃61;&＃61; "__main__":pass


我把 xxx.py 放在100台服务器上&＃xff0c;然后在本地调用100台服务器上的 xxx.py 模块&＃xff0c;

并执行 need_url 方法传入参数 不同网站的url 。

那每一台机器就都可以给我抓取不同的网站了。

可是,我们怎样去调用不同服务器上的xxx.py并给need_url方法传参呢&＃xff1f;

如果在自己的电脑上&＃xff0c;我们只需要 from xxx import need_url  就行了。

但是xxx.py是放在远端服务器上的&＃xff0c;那导入模块就行不通了。

这个时候RPC远端调用协议就起作用了。

为了调用远端服务器上的xxx.py模块&＃xff0c;我们首先要暴露远端上的xxx.py模块。

暴露以后&＃xff0c;我们就能找到它了。

代码修改到暴露状态&＃xff1a;

#coding:utf-8
from xmlrpc.server import SimpleXMLRPCServer
import requests
def need_url(url):page &＃61; requests.get(url).textprint(page)return "ok"
if __name__ &＃61;&＃61; "__main__":server &＃61; SimpleXMLRPCServer(("0.0.0.0", 8001))print("Listening on port 8001...")server.register_function(need_url, &＃39;need_url&＃39;)server.serve_forever()


小伙伴们细细观察&＃xff0c;首先是使用xmlrpc.server中的SimpleXMLRPCServer开了一个公共端口8001&＃xff0c;

然后又给8001端口绑定了一个need_url方法。

终于明白了&＃xff0c;那我只需要在本地电脑上连上远端服务器的公开的8001端口&＃xff0c;并传url就可以了。

本地代码ooo.py&＃xff1a;

#coding:utf-8
from xmlrpc.client import ServerProxy
def send_url( remote_addr , url ):server &＃61; ServerProxy(remote_addr)result &＃61; server.need_url(url)print(result)if __name__ &＃61;&＃61; "__main__":send_url("http://123.123.123.123:8001","http://jsonip.com")

虽然暴露了8001端口 &＃xff0c;我们也不能通过from xxx import need_url 方式导入&＃xff0c;这种导入方式只对本地电脑才能使用。

可是我们需找到远端暴露的need_url方法&＃xff0c;那我们首先要找到远端服务器地址&＃xff0c;使用其8001端口&＃xff0c;并传值。

使用xmlrpc.client的ServerProxy连上服务器123.123.123.123的8001端口&＃xff0c;实例化对象server,通过对象调用need_url方法并传参&＃xff08;"http://jsonip.com"&＃xff09;

远端服务器上的xxx.py模块就执行need_url方法了。执行成功以后返回ok,本地打印出来。

到此&＃xff0c;调用远端一台电脑就成功了。

调用100台远端服务器怎么实现呢&＃xff1f;

100台服务器上都应该暴露我们的端口和方法才行。

只需要把xxx.py分别放到100台机器上。

ooo.py中send_url方法分别传入不同的远端地址就行了。

----------------------------------------------------------------------------------------------------------------------------------------------------

欢迎进(Q)群&＃xff0c;帮你解决问题&＃xff1a;