PHP高级编程之消息队列原理与实现方法详解

本文实例讲述了php高级编程之消息队列原理与实现方法。分享给大家供大家参考，具体如下：

1. 什么是消息队列

消息队列（英语：message queue）是一种进程间通信或同一进程的不同线程间的通信方式

2. 为什么使用消息队列

消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读出。通过消息队列，应用程序可独立地执行，它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。

3. 什么场合使用消息队列

你首先需要弄清楚，消息队列与远程过程调用的区别，在很多读者咨询我的时候，我发现他们需要的是rpc(远程过程调用)，而不是消息队列。

消息队列有同步或异步实现方式，通常我们采用异步方式使用消息队列，远程过程调用多采用同步方式。

mq与rpc有什么不同？ mq通常传递无规则协议，这个协议由用户定义并且实现存储转发；而rpc通常是专用协议，调用过程返回结果。

4. 什么时候使用消息队列

同步需求，远程过程调用(prc)更适合你。

异步需求，消息队列更适合你。

目前很多消息队列软件同时支持rpc功能，很多rpc系统也能异步调用。

消息队列用来实现下列需求

① 存储转发

② 分布式事务

③ 发布订阅

④ 基于内容的路由

⑤ 点对点连接

5. 谁负责处理消息队列

通常的做法，如果小的项目团队可以有一个人实现，包括消息的推送，接收处理。如果大型团队，通常是定义好消息协议，然后各自开发各自的部分，例如一个团队负责写推送协议部分，另一个团队负责写接收与处理部分。

那么为什么我们不讲消息队列框架化呢？

框架化有几个好处：

① 开发者不用学习消息队列接口
② 开发者不需要关心消息推送与接收
③ 开发者通过统一的api推送消息
④ 开发者的重点是实现业务逻辑功能

6. 怎么实现消息队列框架

下面是作者开发的一个soa框架，该框架提供了三种接口，分别是soap,restful,amqp(rabbitmq)，理解了该框架思想，你很容易进一步扩展，例如增加xml-rpc, zeromq等等支持。

https://github.com/netkiller/soa

本文只讲消息队列框架部分。

6.1. 守护进程

消息队列框架是本地应用程序（命令行程序），我们为了让他在后台运行，需要实现守护进程。

https://github.com/netkiller/soa/blob/master/bin/rabbitmq.php

每个实例处理一组队列，实例化需要提供三个参数，$queuename = ‘队列名’, $exchangename = ‘交换名’, $routekey = ‘路由’

$daemon = new \framework\rabbitdaemon($queuename = 'email', $exchangename = 'email', $routekey = 'email');

守护进程需要使用root用户运行，运行后会切换到普通用户，同时创建进程id文件，以便进程停止的时候使用。

守护进程核心代码https://github.com/netkiller/soa/blob/master/system/rabbitdaemon.class.php

6.2. 消息队列协议

消息协议是一个数组，将数组序列化或者转为json推送到消息队列服务器，这里使用json格式的协议。

$msg = array(    'namespace'=>'namespace',    "class"=>"email",    "method"=>"smtp",    "param" => array(        $mail, $subject, $message, null    ));

序列化后的协议

{"namespace":"single","class":"email","method":"smtp","param":["netkiller@msn.com","hello"," testhelloworld",null]}

使用json格式是考虑到通用性，这样推送端可以使用任何语言。如果不考虑兼容，建议使用二进制序列化，例如msgpack效率更好。

6.3. 消息队列处理

消息队列处理核心代码

https://github.com/netkiller/soa/blob/master/system/rabbitmq.class.php

所以消息的处理在下面一段代码中进行

$this->queue->consume(function($envelope, $queue) {    $speed = microtime(true);    $msg 装修宣传语= $envelope->getbody();    $result = $this->loader($msg);    $queue->ack($envelope->getdeliverytag()); //手动发送ack应答   最后一张签证 电视剧 //$this->logging->info(''.$msg.' '.$result)    $this->logging->debug('protocol: '.$msg.' ');    $this->logging->debug('result: '. $result.' ');    $this->logging->debug('time: '. (microtime(true) - $speed) .'');});

public function loader($msg = null) 负责拆解协议，然后载入对应的类文件，传递参数，运行方法，反馈结果。

time 可以输出程序运行所花费的时间，对于后期优化十分有用。

提示

loader() 可以进一步优化，使用多线程每次调用loader将任务提交到线程池中，这样便可以多线程处理消息队列。

6.4. 测试

测试代码 https://github.com/netkiller/soa/blob/master/test/queue/email.php

<?php$queuename = 'example';$exchangename = 'email';$routekey = 'email';$mail = $argv[1];$subject = $argv[2];$message = empty($argv[3]) ? 'hello world!' : ' '.$argv[3];$connection = new amqpconnection(array(    'host' => '192.168.4.1',    'port' => '5672',    'vhost' => '/',    'login' => 'guest',    'password' => 'guest'    ));$connection->connect() or die("cannot connect to the broker!\n");$channel = new amqpchannel($connection);$exchange = new amqpexchange($channel);$exchange->tname($exchangename);$queue = new amqpqueue($channel);$queue->tname($queuename);$queue->tflags(amqp_durable);$queue->declarequeue();$msg = array(    'namespace'=>'namespace',    "class"=>"email",    "method"=>"smtp",    "param" => array(        $mail, $subject, $message, null    ));$exchange->publish(json_encode($msg), $routekey);printf("[x] nt %s \r\n", json_encode($msg));$connection->disconnect();

这里只给出了少量测试与演示程序，如有疑问请到渎者群，或者公众号询问。

7. 多线程

上面消息队列 核心代码如下

$this->queue->consume(function($envelope, $queue) {    $msg = $envelope->getbody();    $result = $this->loader($msg);李杜文章在    $queue->ack($envelope->getdeliverytag());});

这段代码生产环境使用了半年，发现效率比较低。有些业务场入队非常快，但处理起来所花的时间就比较长，容易出现队列堆积现象。

增加多线程可能更有效利用硬件资源，提高业务处理能力。代码如下

<?phpnamespace framework;require_once( __dir__.'/autoload.class.php' );class rabbitthread extends \threaded {    private $queue;    public $classspath;    protected $msg;  社交障碍  public function __construct($queue, $logging, $msg) {        $this->classspath = __dir__.'/../queue';        $this->msg = $msg;        $this->logging = $logging;        $this->queue = $queue;    }    public function run() {        $speed = microtime(true);        $result = $this->loader($this->msg);        $this->logging->debug('result: '. $result.' ');        $this->logging->debug('time: '. (microtime(true) - $speed) .'');    }    // private    public function loader($msg = null){        $protocol     = json_decode($msg,true);        $namespace    = $protocol['namespace'];        $class         = $protocol['class'];        $method     = $protocol['method'];        $param         = $protocol['param'];        $result     = null;        $classspath = $this->classspath.'/'.$this->queue.'/'.$namespace.'/'.strtolower($class) . '.class.php';        if( is_file($classspath) ){            require_once($classspath);            //$class = ucfirst(substr($request_uri, strrpos($request_uri, '/')+1));            if (class_exists($class)) {                if(method_exists($class, $method)){                    $obj = new $class;                    if (!$param){                        $tmp = $obj->$method();                        $result = json_encode($tmp);                        $this->logging->info($class.'->'.$method.'()');                    }el{                        $tmp = call_ur_func_array(array($obj, $method), $param);                        $result = (json_encode($tmp));                        $this->logging->info($class.'->'.$method.'("'.implode('","', $param).'")');                    }                }el{                    $this->logging->error('object '. $class. '->' . $method. ' is not exist.');                }            }el{                $msg = sprintf("object is not exist. (%s)", $class);                $this->logging->error($msg);            }        }el{            $msg = sprintf("cannot loading interface! (%s)", $classspath);            $this->logging->error($msg);        }        return $result;    }}class rabbitmq {    const loop = 10;    protected $queue;    protected $pool;    public function __construct($queuename = '', $exchangename = '', $routekey = '') {        $this->config = new \framework\config('rabbitmq.ini');        $this->logfile = __dir__.'/../log/rabbitmq.%s.log';        $this->logqueue = __dir__.'/../log/queue.%s.log';        $this->logging = new \framework\log\logging($this->logfile, $debug=true); //.h:i:s        $this->queuename    = $queuename;        $this->exchangename    = $exchangename;        $this->routekey        = $routekey;        $this->pool = new \pool($this->config->g美国时代广场et('pool')['thread']);    }    public function main(){        $connection = new \amqpconnection($this->config->get('rabbitmq'));        try {            $connection->connect();            if (!$connection->isconnected()) {                $this->logging->exception("cannot connect to the broker!".php_eol);            }            $this->channel = new \amqpchannel($connection);            $this->exchange = new \amqpexchange($this->channel);            $this->exchange->tname($this->exchangename);            $this->exchange->ttype(amqp_ex_type_direct); //direct类型            $this->exchange->tflags(amqp_durable); //持久�?            $this->exchange->declareexchange();            $this->queue = new \amqpqueue($this->channel);            $this->queue->tname($this->queuename);            $this->queue->tflags(amqp_durable); //持久�?            $this->queue->declarequeue();            $this->queue->bind($this->exchangename, $this->routekey);            $this->queue->consume(function($envelope, $queue) {                $msg = $envelope->getbody();                $this->logging->debug('protocol: '.$msg.' ');                //$result = $this->loader($msg);                $this->pool->submit(new rabbitthread($this->queuename,new \framework\log\logging($this->logqueue, $debug=true), $msg));                $queue->ack($envelope->getdeliverytag());            });            $this->channel->qos(0,1);        }        catch(\amqpconnectionexception $e){            $this->logging->exception($e->__tostring());        }        catch(\exception $e){            $this->logging->exception($e->__tostring());            $connection->disconnect();            $this->pool->shutdown();        }    }    private function fault($tag, $msg){        $this->logging->exception($msg);        throw new \exception($tag.': '.$msg);    }    public function __destruct() {    }}