热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

swoole启动流程_Swoole+Redis实现并发队列处理

背景由于PHP不支持多线程,但是作为一个完善的系统,有很多操作都是需要异步完成的。为了完成这些异步操作,我们做了一个基于Redis队列任务

背景

由于PHP不支持多线程,但是作为一个完善的系统,有很多操作都是需要异步完成的。为了完成这些异步操作,我们做了一个基于Redis队列任务系统。

大家知道,一个消息队列处理系统主要分为两大部分:消费者和生产者。

在我们的系统中,主系统作为生产者,任务系统作为消费者。

具体的工作流程如下:

1、主系统将需要需要处理的任务名称+任务参数push到队列中。

2、任务系统实时的对任务队列进行pop,pop出来一个任务就fork一个子进程,由子进程完成具体的任务逻辑。

具体代码如下:

/*** 启动守护进程*/
public function runAction() {Tools::log_message('ERROR', 'daemon/run' . ' | action: restart', 'daemon-');while (true) {$this->fork_process();}exit;
}/*** 创建子进程*/
private function fork_process() {$ppid = getmypid();$pid = pcntl_fork();if ($pid == 0) {//子进程$pid = posix_getpid();//echo "* Process {$pid} was created nn";$this->mq_process();exit;} else {//主进程$pid = pcntl_wait($status, WUNTRACED); //取得子进程结束状态if (pcntl_wifexited($status)) {//echo "nn* Sub process: {$pid} exited with {$status}";//Tools::log_message('INFO', 'daemon/run succ' . '|status:' . $status . '|pid:' . $ppid . '|childpid:' . $pid );} else {Tools::log_message('ERROR', 'daemon/run fail' . '|status:' . $status . '|pid:' . $ppid . '|childpid:' . $pid, 'daemon-');}}
}/*** 业务任务队列处理*/
private function mq_process() {$data_pop = $this->masterRedis->rPop($this->redis_list_key);$data = json_decode($data_pop, 1);if (!$data) {return FALSE;}$worker = '_task_' . $data['worker'];$class_name = isset($data['class']) ? $data['class'] : 'TaskproModel';$params = $data['params'];$class = new $class_name();$class->$worker($params);return TRUE;
}

这是一个简单的任务处理系统。通过这个任务系统帮助我们实现了异步,到目前为止已经稳定运行了将近一年。但很可惜,它是一个单进程的系统。它是一直在不断的fork,如果有任务就处理,没有任务就跳过,这样很稳定。

但问题有两个:一是不断地fork、pop会浪费服务器资源,二是不支持并发!第一个问题还好,但第二个问题就很严重。当主系统 同时 抛过来大量的任务时,任务的处理时间就会无限的拉长。

新的设计

为了解决并发的问题,我们计划做一个更加高效强壮的队里处理系统。

因为在PHP7之前不支持多线程,所以我们采用多进程。

找了不少资料,大多所谓的多进程都是N个进程同时在后台运行。

显然这是不合适的。

我的预想是:每pop出一个任务就fork一个任务,任务执行完成后子进程结束。

遇到的问题

1、如何控制最大进程数

这个问题很简单,那就是每fork一个子进程就自增一次。而当子进程执行完成就自减一次。

自增没有问题,我们就在主进程中操作就完了。那么该如何自减呢?

可能你会说,当然是在子进程中啊。但这里你需要注意:当fork的时候是从主进程复制了一份资源给子进程,这就意味着你无法在子进程中操作主进程中的计数器!

所以,这里就需要了解一个知识点:信号。

具体的可以自行Google,这里直接看代码。

// install signal handler for dead kids
pcntl_signal(SIGCHLD, array($this, "sig_handler"));

这就安装了一个信号处理器。当然还缺少一点。

declare(ticks = 1);

declare是一个控制结构语句,具体的用法也请去Google。

这句代码的意思就是每执行一条低级语句就调用一次信号处理器。

这样,每当子进程结束的时候就会调用信号处理器,我们就可以在信号处理器中进行自减。

2、如何解决进程残留

在多进程开发中,如果处理不当就会导致进程残留。

为了解决进程残留,必须得将子进程回收。

那么如何对子进程进行回收就是一个技术点了。

在pcntl的demo中,包括很多博文中都是说在主进程中回收子进程。

但我们是基于Redis的brpop的,而brpop是阻塞的。

这就导致一个问题:当执行N个任务之后,任务系统空闲的时候主进程是阻塞的,而在发生阻塞的时候子进程还在执行,所以就无法完成最后几个子进程的进程回收。。。

这里本来一直很纠结,但当我将信号处理器搞定之后就也很简单了。

进程回收也放到信号处理器中去。

新系统的评估

pcntl是一个进程处理的扩展,但很可惜它对多进程的支持非常乏力。

所以这里采用Swoole扩展中的Process。

具体代码如下:

declare(ticks = 1);
class JobDaemonController extends Yaf_Controller_Abstract{use Trait_Redis;private $maxProcesses &#61; 800;private $child;private $masterRedis;private $redis_task_wing &#61; &#39;task:wing&#39;; //待处理队列public function init(){// install signal handler for dead kidspcntl_signal(SIGCHLD, array($this, "sig_handler"));set_time_limit(0);ini_set(&#39;default_socket_timeout&#39;, -1); //队列处理不超时,解决redis报错:read error on connection}private function redis_client(){$rds &#61; new Redis();$rds->connect(&#39;redis.master.host&#39;,6379);return $rds;}public function process(swoole_process $worker){// 第一个处理$GLOBALS[&#39;worker&#39;] &#61; $worker;swoole_event_add($worker->pipe, function($pipe) {$worker &#61; $GLOBALS[&#39;worker&#39;];$recv &#61; $worker->read(); //send data to mastersleep(rand(1, 3));echo "From Master: $recvn";$worker->exit(0);});exit;}public function testAction(){for ($i &#61; 0; $i <10000; $i&#43;&#43;){$data &#61; [&#39;abc&#39; &#61;> $i,&#39;timestamp&#39; &#61;> time().rand(100,999)];$this->masterRedis->lpush($this->redis_task_wing, json_encode($data));}exit;}public function runAction(){while (1){
// echo "t now we de have $this->child child processesn";if ($this->child <$this->maxProcesses){$rds &#61; $this->redis_client();$data_pop &#61; $rds->brpop($this->redis_task_wing, 3);//无任务时,阻塞等待if (!$data_pop){continue;}echo "t Starting new child | now we de have $this->child child processesn";$this->child&#43;&#43;;$process &#61; new swoole_process([$this, &#39;process&#39;]);$process->write(json_encode($data_pop));$pid &#61; $process->start();}}}private function sig_handler($signo) {
// echo "Recive: $signo rn";switch ($signo) {case SIGCHLD:while($ret &#61; swoole_process::wait(false)) {
// echo "PID&#61;{$ret[&#39;pid&#39;]}n";$this->child--;}}}
}

最终&#xff0c;经过测试&#xff0c;单核1G的服务器执行1到3秒的任务可以做到800的并发。

如果你喜欢我写的技术文章以及面试总结&#xff0c;欢迎关注收看我的视频&#xff0c;并且点赞、收藏、关注我哦。

我是luke&#xff0c;感谢你的关注&#xff01;

很多小伙伴在进阶的时候总会遇到一些问题和瓶颈&#xff0c;业务代码写多了没有方向感&#xff0c;不知道该从那里入手去提升&#xff0c;对此我整理了一些资料&#xff0c;希望能够去帮助到小伙伴们&#xff0c;可以关注我。并且加入到我的圈子一起学习成长哦【架构师之路】点击链接申请加入圈子

架构师之路 - 知乎​www.zhihu.com
4435c926c25d76e63f83bdd4f7061997.png



推荐阅读
  • 解决Bootstrap DataTable Ajax请求重复问题
    在最近的一个项目中,我们使用了JQuery DataTable进行数据展示,虽然使用起来非常方便,但在测试过程中发现了一个问题:当查询条件改变时,有时查询结果的数据不正确。通过FireBug调试发现,点击搜索按钮时,会发送两次Ajax请求,一次是原条件的请求,一次是新条件的请求。 ... [详细]
  • 本文详细介绍了如何解决DNS服务器配置转发无法解析的问题,包括编辑主配置文件和重启域名服务的具体步骤。 ... [详细]
  • 在 Ubuntu 中遇到 Samba 服务器故障时,尝试卸载并重新安装 Samba 发现配置文件未重新生成。本文介绍了解决该问题的方法。 ... [详细]
  • 2020年9月15日,Oracle正式发布了最新的JDK 15版本。本次更新带来了许多新特性,包括隐藏类、EdDSA签名算法、模式匹配、记录类、封闭类和文本块等。 ... [详细]
  • 包含phppdoerrorcode的词条 ... [详细]
  • 本文详细介绍了Java代码分层的基本概念和常见分层模式,特别是MVC模式。同时探讨了不同项目需求下的分层策略,帮助读者更好地理解和应用Java分层思想。 ... [详细]
  • 通过将常用的外部命令集成到VSCode中,可以提高开发效率。本文介绍如何在VSCode中配置和使用自定义的外部命令,从而简化命令执行过程。 ... [详细]
  • 用阿里云的免费 SSL 证书让网站从 HTTP 换成 HTTPS
    HTTP协议是不加密传输数据的,也就是用户跟你的网站之间传递数据有可能在途中被截获,破解传递的真实内容,所以使用不加密的HTTP的网站是不 ... [详细]
  • 本文详细介绍了如何使用OpenSSL自建CA证书的步骤,包括准备工作、生成CA证书、生成服务器待签证书以及证书签名等过程。 ... [详细]
  • 本文详细介绍了在 Ubuntu 系统上搭建 Hadoop 集群时遇到的 SSH 密钥认证问题及其解决方案。通过本文,读者可以了解如何在多台虚拟机之间实现无密码 SSH 登录,从而顺利启动 Hadoop 集群。 ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • 单片微机原理P3:80C51外部拓展系统
      外部拓展其实是个相对来说很好玩的章节,可以真正开始用单片机写程序了,比较重要的是外部存储器拓展,81C55拓展,矩阵键盘,动态显示,DAC和ADC。0.IO接口电路概念与存 ... [详细]
  • 多线程基础概览
    本文探讨了多线程的起源及其在现代编程中的重要性。线程的引入是为了增强进程的稳定性,确保一个进程的崩溃不会影响其他进程。而进程的存在则是为了保障操作系统的稳定运行,防止单一应用程序的错误导致整个系统的崩溃。线程作为进程的逻辑单元,多个线程共享同一CPU,需要合理调度以避免资源竞争。 ... [详细]
  • Java高并发与多线程(二):线程的实现方式详解
    本文将深入探讨Java中线程的三种主要实现方式,包括继承Thread类、实现Runnable接口和实现Callable接口,并分析它们之间的异同及其应用场景。 ... [详细]
  • 如何在Linux服务器上配置MySQL和Tomcat的开机自动启动
    在Linux服务器上部署Web项目时,通常需要确保MySQL和Tomcat服务能够随系统启动而自动运行。本文将详细介绍如何在Linux环境中配置MySQL和Tomcat的开机自启动,以确保服务的稳定性和可靠性。通过合理的配置,可以有效避免因服务未启动而导致的项目故障。 ... [详细]
author-avatar
fuxw
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有