PHP的轻量消息队列php-resque使⽤说明
消息队列处理后台任务带来的问题
项⽬中经常会有后台运⾏任务的需求,⽐如发送邮件时,因为要连接邮件服务器,往往需要5-10秒甚⾄更长时间,如果能先给⽤户⼀个成功的提⽰信息,然后在后台慢慢处理发送邮件的操作,显然会有更好的⽤户体验。
为了实现类似的需求,Web项⽬中⼀般的实现⽅法是使⽤消息队列(Message Queue),⽐如,等等,都是很著名的产品。
消息队列说⽩了就是⼀个最简单的先进先出队列,队列的⼀个成员就是⼀段⽂本。正是因为消息队列实在太简单了,当拿着消息队列时,反⽽有点⽆从下⼿的感觉,因为这仅仅⼀个发送邮件的任务,就会引申出很多问题:
1. 消息队列只能存储字符串类型的数据,如何将⼀个发送邮件这样的“任务”,转换为消息队列中的⼀个“消息”?
2. 消息队列只负责数据的存放与进出,本⾝不能执⾏任何程序,那么我们要如何从消息队列中⼀个⼀个取出数据,再将这些数据转化回finishing
任务并执⾏。
3. 我们⽆法预知消息队列何时会有数据产⽣,所以我们的任务执⾏程序还需要具备监控消息队列的能⼒,也就是⼀个常驻后台的守护进
uqc
程。
4. ⼀般的Web应⽤PHP都以cgi⽅式运⾏,⽆法常驻内存。我们知道php还有,那么守护进程是否能以php cli来实现,效率如何?
5. 当守护进程运⾏时,Web应⽤能否与后台守护进程交互,实现开启/杀死进程的功能以及获得进程的运⾏状态?
Resque对后台任务的设计与⾓⾊划分
对以上这些问题,⽬前为⽌我能找到的最好答案,并不是来⾃php,⽽是来⾃Ruby的项⽬,正是由于Resque清晰简单的解决了后台任务带来的⼀系列问题,Resque的设计也被Clone到Python、php、NodeJs等语⾔:⽐如Python下的以及PHP下的等等,这⾥有,⽽在本篇⽇志⾥,我们当然要以PHP版本为例来说明,可能⼀些细节⽅⾯会与Ruby版有出⼊,但是本⽂中以php版为准。
Resque是这样解决这些问题的:
for example
后台任务的⾓⾊划分
其实从上⾯的问题已经可以看出,只靠⼀个消息队列是⽆法解决所有问题的,需要新的⾓⾊介⼊。在Resque中,⼀个后台任务被抽象为由三种⾓⾊共同完成:
Job | 任务:⼀个Job就是⼀个需要在后台完成的任务,⽐如本⽂举例的发送邮件,就可以抽象为⼀个Job。在Resque中⼀个Job就是⼀个Class。
监理员培训Queue | 队列:也就是上⽂的消息队列,在Resque中,队列则是由实现的。Resque还提供了⼀个简单的队列管理器,可以实现将Job插⼊/取出队列等功能。
Worker | 执⾏者:负责从队列中取出Job并执⾏,可以以守护进程的⽅式运⾏在后台。
那么基于这个划分,⼀个后台任务在Resque下的基本流程是这样的:
1. 将⼀个后台任务编写为⼀个独⽴的Class,这个Class就是⼀个Job。
2. 在需要使⽤后台程序的地⽅,系统将Job Class的名称以及所需参数放⼊队列。
3. 以命令⾏⽅式开启⼀个Worker,并通过参数指定Worker所需要处理的队列。
4. Worker作为守护进程运⾏,并且定时检查队列。
5. 当队列中有Job时,Worker取出Job并运⾏,即实例化Job Class并执⾏Class中的⽅法。
⾄此就可以完整的运⾏完⼀个后台任务。
在Resque中,还有⼀个很重要的设计:⼀个Worker,可以处理⼀个队列,也可以处理很多个队列,并且可以通过增加Worker的进程/线程数来加快队列的执⾏速度。
php-resque的安装
需要提前说明的是,由于涉及到进程的开辟与管理,php-resque使⽤了php的,所以只能在Linux下运⾏,并且需要php编译PCNTL函数。如果希望⽤Windows做同样的⼯作,那么可以去找找Resque的其他语⾔版本,php在Windows下⾮常不适合做后台任务。
以Ubuntu12.04LTS为例,Ubuntu⽤apt安装的php已经默认编译了PCNTL函数,⽆需任何配置,以下指令均为root帐号
安装Redis
apt-get install redis-rver
安装Compor
apt-get install curl
cd /usr/local/bin
srds是什么意思啊curl -s getcompor/installer | php
chmod a+x compor.phar
alias compor='/usr/local/bin/compor.phar'
使⽤Compor安装php-resque
假设web⽬录在/opt/htdocs
apt-get install git git-core
cd /opt/htdocs
git clone git:///chrisboulton/php-resque.git
新闻编辑室第二季cd php-resque4级报名系统官网
compor install
php-resque的使⽤
编写⼀个Worker
其实php-resque已经给出了简单的例⼦, demo/job.php⽂件就是⼀个最简单的Job:
class PHP_Job
{
public function perform()
{
sleep(120);
fwrite(STDOUT, 'Hello!');
}
}
这个Job就是在120秒后向STDOUT输出字符Hello!
在Resque的设计中,⼀个Job必须存在⼀个perform⽅法,Worker则会⾃动运⾏这个⽅法。
将Job插⼊队列
php-resque也给出了最简单的插⼊队列实现 demo/queue.php:
if(empty($argv[1])) {
die('Specify the name of a job to add. e.g, php queue.php PHP_Job');
}
require __DIR__ . '/init.php';
date_default_timezone_t('GMT');
Resque::tBackend('127.0.0.1:6379');
$args = array(
'time' => time(),
'array' => array(
'test' => 'test',
),
);
$jobId = Resque::enqueue('default', $argv[1], $args, true);
echo "Queued job ".$jobId."\n\n";
在这个例⼦中,queue.php需要以cli⽅式运⾏,将cli接收到的第⼀个参数作为Job名称,插⼊名为'default'的队列,同时向屏幕输出刚才插⼊队列的Job Id。在终端输⼊:
php demo/queue.php PHP_Job
结果可以看到屏幕上输出:
Queued job b1f01038e5e833d24b46271a0e31f6d6
即Job已经添加成功。注意这⾥的Job名称与我们编写的Job Class名称保持⼀致:PHP_Job
查看Job运⾏情况
php-resque同样提供了查看Job运⾏状态的例⼦,直接运⾏:
php demo/check_status.php b1f01038e5e833d24b46271a0e31f6d6
可以看到输出为:
Tracking status of b1f01038e5e833d24b46271a0e31f6d6. Press [break] to stop.
Status of b1f01038e5e833d24b46271a0e31f6d6 is: 1
我们刚才创建的Job状态为1。在Resque中,⼀个Job有以下4种状态:
Resque_Job_Status::STATUS_WAITING = 1; (等待)
Resque_Job_Status::STATUS_RUNNING = 2; (正在执⾏)
Resque_Job_Status::STATUS_FAILED = 3; (失败)
Resque_Job_Status::STATUS_COMPLETE = 4; (结束)
voa下载
因为没有Worker运⾏,所以刚才创建的Job还是等待状态。
运⾏Worker
这次我们直接编写demo/resque.php:
<?php
date_default_timezone_t('GMT');
require 'job.php';
require '../bin/resque';
可以看到⼀个Worker⾄少需要两部分:
1. 可以直接包含Job类⽂件,也可以使⽤php的⾃动加载机制,指定好Job Class所在路径并能实现⾃动加载
2. 包含Resque的默认Worker: bin/resque
在终端中运⾏:
QUEUE=default php demo/resque.php
前⾯的QUEUE部分是设置环境变量,我们指定当前的Worker只负责处理default队列。也可以使⽤
QUEUE=* php demo/resque.php
来处理所有队列。
运⾏后输出为
#!/usr/bin/env php
*** Starting worker
⽤ps指令检查⼀下:
ps aux | grep resque
可以看到有⼀个php的守护进程已经在运⾏了
1000 4607 0.0 0.1 74816 11612 pts/3 S+ 14:52 0:00 php demo/resque.php
再使⽤之前的检查Job指令郊区英语
php demo/check_status.php b1f01038e5e833d24b46271a0e31f6d6
says2分钟后可以看到
Status of b1f01038e5e833d24b46271a0e31f6d6 is: 4
任务已经运⾏完毕,同时屏幕上应该可以看到输出的Hello!
⾄此我们已经成功的完成了⼀个最简单的Resque实例的全部演⽰,更复杂的情况以及遗留的问题会在下⼀次的⽇志中说明。