原文转载自「刘悦的技术博客」https://v3u.cn/a_id_99
在之前的一篇文章中提到了用Django&＃43;Celery&＃43;Redis实现了异步任务队列&＃xff0c;只不过消息中间件使用了redis&＃xff0c;redis作为消息中间件可谓是差强人意&＃xff0c;功能和性能上都不如Rabbitmq&＃xff0c;所以本次使用tornado框架结合celery&＃xff0c;同时消息中间件使用Rabbitmq来实现异步发邮件&＃xff0c;并且使用flower来监控任务队列。
首先安装rabbitmq
Mac os直接运行brew命令安装
#安装服务
brew install rabbitmq
#启动服务
brew services start rabbitmq
Win10系统就要下载安装包进行安装了&＃xff0c;由于rabbitmq是基于erlang的&＃xff0c;所以要首先安装erlang
1、首先&＃xff0c;下载并运行Erlang for Windows 安装程序 &＃xff08;地址&＃xff1a;http://www.erlang.org/downloads&＃xff09;下载完毕并安装&＃xff08;注意&＃xff1a;安装目录请选择默认目录&＃xff09;
2、下载 RabbitMQ&＃xff0c;&＃xff08;地址&＃xff1a;http://www.rabbitmq.com/download.html &＃xff09;&＃xff08;注意&＃xff1a;安装目录请选择默认目录&＃xff09;
安装成功后&＃xff0c;启用web管理UI&＃xff0c;进入RabbitMQ Serverrabbitmq_server-3.6.6sbin&＃xff0c;输入命令rabbitmq-plugins enable rabbitmq_management
在系统的开始菜单里找到RabbitMQ的启动菜单&＃xff0c;启动服务
浏览器输入&＃xff0c;http://localhost:15672/&＃xff0c;使用默认用户guest/guest进入网页端控制台&＃xff1a;
代表没有问题了
然后安装tornado和celery&＃xff0c;注意指定版本号
pip3 install tornado&＃61;&＃61;5.1.1
pip3 install celery &＃61;&＃61;3.1
pip3 install pika &＃61;&＃61;0.9.14
pip3 install tornado-celery
pip3 install flower
需要注意一点&＃xff0c;由于python3.7中async已经作为关键字存在&＃xff0c;但是有的三方库还没有及时修正&＃xff0c;导致它们自己声明的变量和系统关键字重名&＃xff0c;所以我们要深入三方库的源码&＃xff0c;帮他们修改async关键字为async_my&＃xff0c;需要修改的文件夹和文件包含但不限于&＃xff1a;
/site-packages/pika/adapters/libev_connection.py
/site-packages/celery下面的文件
/site-packages/kombu下面的文件夹
在tornado项目下新建一个任务队列文件task.py&＃xff1a;
import time
from celery import Celery
from func_tool import mailC_FORCE_ROOT&＃61;Truecelery &＃61; Celery("tasks", broker&＃61;"amqp://guest:guest&＃64;localhost:5672")
celery.conf.CELERY_RESULT_BACKEND &＃61; "amqp"&＃64;celery.task
def sleep(seconds):time.sleep(float(seconds))return seconds&＃64;celery.task
def sendmail(title,text,tomail):mail(title,text,tomail)return &＃39;发送邮件成功&＃39;if __name__ &＃61;&＃61; "__main__":celery.start()
然后编写服务端代码:
from celery import Celery
from tornado import gen
import tcelery
sys.path.append("..")
import task#异步任务
class CeleryHandler(BaseHandler):&＃64;gen.coroutinedef get(self):response &＃61; yield gen.Task(task.sendmail.apply_async,args&＃61;[&＃39;你好&＃39;,&＃39;非常好&＃39;,&＃39;164850527&＃64;qq.com&＃39;])self.write(&＃39;ok&＃39;)self.finish()
路由器代码:
import tornado.web
from views import Index
import config#路由 class Application(tornado.web.Application):def __init__(self):handlers &＃61; [(r"/celery", Index.CeleryHandler)]super(Application,self).__init__(handlers,**config.setting)
程序入口代码server.py:
import tornado.ioloop
import tornado.httpserver
import configfrom application import Applicationif __name__ &＃61;&＃61; "__main__":print(&＃39;启动...&＃39;)app &＃61; Application()httpServer &＃61; tornado.httpserver.HTTPServer(app)# httpServer.listen(8888)#绑定端口httpServer.bind(config.options[&＃39;port&＃39;])#开启5个子进程&＃xff08;默认1&＃xff0c;若为None或者小于0&＃xff0c;开启对应硬件的CPU核心数个子进程&＃xff09;httpServer.start(1)tornado.ioloop.IOLoop.current().start()
进入项目目录&＃xff0c;分别启动tornado服务&＃xff0c;celery服务&＃xff0c;以及flower服务
python server.py
celery -A task worker --loglevel&＃61;info
celery flower -A task --broker&＃61;amqp://guest:guest&＃64;localhost:5672//
访问网址http://localhost:8000/celery 用来触发异步任务
后台服务显示任务返回值&＃xff1a;
进入flower在线任务监控网址&＃xff1a;http://localhost:5555/
至此&＃xff0c;整个流程就走完了。
原文转载自「刘悦的技术博客」 https://v3u.cn/a_id_99
京公网安备 11010802041100号