java海量任务分发平台_分布式的任务分发框架Gearman

Gearman是一个分发任务的程序框架&＃xff0c;可以用在各种场合&＃xff0c;与Hadoop相比&＃xff0c;Gearman更偏向于任务分发功能。它的任务分布非常简单&＃xff0c;简单得可以只需要用脚本即可完成。Gearman最初用于LiveJournal的图片resize功能&＃xff0c;由于图片resize需要消耗大量计算资源&＃xff0c;因此需要调度到后端多台服务器执行&＃xff0c;完成任务之后返回前端再呈现到界面。

Gearman可以做什么

异步处理:图片处理,订单处理,批量邮件/通知之类的

要求高CPU或内存的处理:大容量的数据处理,MapReduce运算,日志聚集,视频编码

分布式和并行的处理

定时处理:增量更新,数据复制

限制速率的FIFO处理

分布式的系统监控任务

1,安装方法

#安装gearmanyum installgearmand

#安装libgearmanyum install libgearman-devel

#安装gearman php扩展

peclinstallgearman

#添加gearman.so到 php.iniecho "extension&＃61;gearman.so" >> /etc/php.ini

没有pecl的话装一下

yum install php-pear

如果pecl没法安装的话&＃xff0c;可以直接下载源代码&＃xff0c;使用phpize编译安装

cd ~/softwarewget http://pecl.php.net/get/gearman-1.1.2.tgz

cd gearman-1.1.2phpize

./configuremake && make install

2&＃xff0c;简单使用示例&＃xff1a;(我们使用Gearman来异步处理百度云推送服务)

先看client.php注册事件&＃xff0c;client.php

$client &＃61; newGearmanClient();//addServer默认是localhost,端口默认是4730&＃xff0c;如果不是默认的话可以调整

$client ->addServer();//$client->addServer("192.168.0.0",4730);

echo "Sending job\n";$username &＃61; "test";$message &＃61; "message";$data &＃61; array("username" &＃61;> $username,

"message" &＃61;> $message ,);//注册事件 以及 传递参数 , 多个参数使用json_encode转换

// 任务可以阻塞式运行&＃xff0c;还可以指定优先级 &＃xff1b;当然&＃xff0c;也可以非阻塞(运行不等待结果)运行

// 可以参考php Gearman api文档 : doNornal, doHigh, doLow,doBackground

$result &＃61; $client -> doBackground("testFunction", json_encode($data));if ($result) {echo "Success: $result\n";

}?>

再看worker的处理&＃xff0c;其实就是注册事件处理函数 &＃xff0c; worker.php

addServer();//注册事件及事件处理函数

$worker->addFunction("testFunction","handler");//运行worker

while ($worker->work());function handler(GearmanJob $job) {$workload &＃61; json_decode($job->workload());echo "received: " . print_r($workload,1);

}?>

可以命令行运行 php client.php , php worker.php &＃xff0c;这里启动顺序最好是先启动worker&＃xff0c;这样事件可以得到及时处理&＃xff1b;也可以先启动client&＃xff0c;事件会在Gearman中排队&＃xff0c;等待worker处理&＃xff1b;

还可以启动多个worker&＃xff0c;Gearman会自动进行负载均衡&＃xff0c;分配到不同的worker进行处理。

大家可以发掘更多应用场景...

gearman的监控&＃xff1a;

可以使用supervisor&＃xff0c;也可以使用gearman manager

使用supervisor监控gearman任务的例子见&＃xff1a;