PHP+memcache实现消息队列案例分享


Posted in PHP onMay 21, 2014

memche消息队列的原理就是在key上做文章,用以做一个连续的数字加上前缀记录序列化以后消息或者日志。然后通过定时程序将内容落地到文件或者数据库。

php实现消息队列的用处比如在做发送邮件时发送大量邮件很费时间的问题,那么可以采取队列。
方便实现队列的轻量级队列服务器是:
starling支持memcache协议的轻量级持久化服务器
https://github.com/starling/starling
Beanstalkd轻量、高效,支持持久化,每秒可处理3000左右的队列
http://kr.github.com/beanstalkd/
php中也可以使用memcache/memcached来实现消息队列。

    <?php  
    /** 
    * Memcache 消息队列类 
    */  
    class QMC {  
    const PREFIX = 'ASDFASDFFWQKE';  
    /** 
    * 初始化mc 
    * @staticvar string $mc 
    * @return Memcache 
    */  
    static private function mc_init() {  
    static $mc = null;  
    if (is_null($mc)) {  
    $mc = new Memcache;  
    $mc->connect('127.0.0.1', 11211);  
    }  
    return $mc;  
    }  
    /** 
    * mc 计数器,增加计数并返回新的计数 
    * @param string $key   计数器 
    * @param int $offset   计数增量,可为负数.0为不改变计数 
    * @param int $time     时间 
    * @return int/false    失败是返回false,成功时返回更新计数器后的计数 
    */  
    static public function set_counter( $key, $offset, $time=0 ){  
    $mc = self::mc_init();  
    $val = $mc->get($key);  
    if( !is_numeric($val) || $val < 0 ){  
    $ret = $mc->set( $key, 0, $time );  
    if( !$ret ) return false;  
    $val = 0;  
    }  
    $offset = intval( $offset );  
    if( $offset > 0 ){  
    return $mc->increment( $key, $offset );  
    }elseif( $offset < 0 ){  
    return $mc->decrement( $key, -$offset );  
    }  
    return $val;  
    }  
    /** 
    * 写入队列 
    * @param string $key 
    * @param mixed $value 
    * @return bool 
    */  
    static public function input( $key, $value ){  
    $mc = self::mc_init();  
    $w_key = self::PREFIX.$key.'W';  
    $v_key = self::PREFIX.$key.self::set_counter($w_key, 1);  
    return $mc->set( $v_key, $value );  
    }  
    /** 
    * 读取队列里的数据 
    * @param string $key 
    * @param int $max  最多读取条数 
    * @return array 
    */  
    static public function output( $key, $max=100 ){  
    $out = array();  
    $mc = self::mc_init();  
    $r_key = self::PREFIX.$key.'R';  
    $w_key = self::PREFIX.$key.'W';  
    $r_p   = self::set_counter( $r_key, 0 );//读指针  
    $w_p   = self::set_counter( $w_key, 0 );//写指针  
    if( $r_p == 0 ) $r_p = 1;  
    while( $w_p >= $r_p ){  
    if( --$max < 0 ) break;  
    $v_key = self::PREFIX.$key.$r_p;  
    $r_p = self::set_counter( $r_key, 1 );  
    $out[] = $mc->get( $v_key );  
    $mc->delete($v_key);  
    }  
    return $out;  
    }  
    }  
    /** 
    使用方法: 
    QMC::input($key, $value );//写入队列 
    $list = QMC::output($key);//读取队列 
    */  
    ?> 

基于PHP共享内存实现的消息队列:

<?php  
/** 
* 使用共享内存的PHP循环内存队列实现 
* 支持多进程, 支持各种数据类型的存储 
* 注: 完成入队或出队操作,尽快使用unset(), 以释放临界区 
* 
* @author wangbinandi@gmail.com 
* @created 2009-12-23 
*/  
class ShmQueue  
{  
private $maxQSize = 0; // 队列最大长度  
private $front = 0; // 队头指针  
private $rear = 0;  // 队尾指针  
private $blockSize = 256;  // 块的大小(byte)  
private $memSize = 25600;  // 最大共享内存(byte)  
private $shmId = 0;  
private $filePtr = './shmq.ptr';  
private $semId = 0;  
public function __construct()  
{  
$shmkey = ftok(__FILE__, 't');  
$this->shmId = shmop_open($shmkey, "c", 0644, $this->memSize );  
$this->maxQSize = $this->memSize / $this->blockSize;  
// 申?一个信号量  
$this->semId = sem_get($shmkey, 1);  
sem_acquire($this->semId); // 申请进入临界区  
$this->init();  
}  
private function init()  
{  
if ( file_exists($this->filePtr) ){  
$contents = file_get_contents($this->filePtr);  
$data = explode( '|', $contents );  
if ( isset($data[0]) && isset($data[1])){  
$this->front = (int)$data[0];  
$this->rear  = (int)$data[1];  
}  
}  
}  
public function getLength()  
{  
return (($this->rear - $this->front + $this->memSize) % ($this->memSize) )/$this->blockSize;  
}  
public function enQueue( $value )  
{  
if ( $this->ptrInc($this->rear) == $this->front ){ // 队满  
return false;  
}  
$data = $this->encode($value);  
shmop_write($this->shmId, $data, $this->rear );  
$this->rear = $this->ptrInc($this->rear);  
return true;  
}  
public function deQueue()  
{  
if ( $this->front == $this->rear ){ // 队空  
return false;  
}  
$value = shmop_read($this->shmId, $this->front, $this->blockSize-1);  
$this->front = $this->ptrInc($this->front);  
return $this->decode($value);  
}  
private function ptrInc( $ptr )  
{  
return ($ptr + $this->blockSize) % ($this->memSize);  
}  
private function encode( $value )  
{  
$data = serialize($value) . "__eof";  
echo '';  
echo strlen($data);  
echo '';  
echo $this->blockSize -1;  
echo '';  
if ( strlen($data) > $this->blockSize -1 ){  
throw new Exception(strlen($data)." is overload block size!");  
}  
return $data;  
}  
private function decode( $value )  
{  
$data = explode("__eof", $value);  
return unserialize($data[0]);  
}  
public function __destruct()  
{  
$data = $this->front . '|' . $this->rear;  
file_put_contents($this->filePtr, $data);  
sem_release($this->semId); // 出临界区, 释放信号量  
}  
}  
/* 
// 进队操作 
$shmq = new ShmQueue(); 
$data = 'test data'; 
$shmq->enQueue($data); 
unset($shmq); 
// 出队操作 
$shmq = new ShmQueue(); 
$data = $shmq->deQueue(); 
unset($shmq); 
*/  
?>

对于一个很大的消息队列,频繁进行进行大数据库的序列化 和 反序列化,有太耗费。下面是我用PHP 实现的一个消息队列,只需要在尾部插入一个数据,就操作尾部,不用操作整个消息队列进行读取,与操作。但是,这个消息队列不是线程安全的,我只是尽量的避免了冲突的可能性。如果消息不是非常的密集,比如几秒钟才一个,还是可以考虑这样使用的。
如果你要实现线程安全的,一个建议是通过文件进行锁定,然后进行操作。下面是代码:
代码如下:

    class Memcache_Queue   
    {   
    private $memcache;   
    private $name;   
    private $prefix;   
    function __construct($maxSize, $name, $memcache, $prefix = "__memcache_queue__")   
    {   
    if ($memcache == null) {   
    throw new Exception("memcache object is null, new the object first.");   
    }   
    $this->memcache = $memcache;   
    $this->name = $name;   
    $this->prefix = $prefix;   
    $this->maxSize = $maxSize;   
    $this->front = 0;   
    $this->real = 0;   
    $this->size = 0;   
    }   
    function __get($name)   
    {   
    return $this->get($name);   
    }   
    function __set($name, $value)   
    {   
    $this->add($name, $value);   
    return $this;   
    }   
    function isEmpty()   
    {   
    return $this->size == 0;   
    }   
    function isFull()   
    {   
    return $this->size == $this->maxSize;   
    }   
    function enQueue($data)   
    {   
    if ($this->isFull()) {   
    throw new Exception("Queue is Full");   
    }   
    $this->increment("size");   
    $this->set($this->real, $data);   
    $this->set("real", ($this->real + 1) % $this->maxSize);   
    return $this;   
    }   
    function deQueue()   
    {   
    if ($this->isEmpty()) {   
    throw new Exception("Queue is Empty");   
    }   
    $this->decrement("size");   
    $this->delete($this->front);   
    $this->set("front", ($this->front + 1) % $this->maxSize);   
    return $this;   
    }   
    function getTop()   
    {   
    return $this->get($this->front);   
    }   
    function getAll()   
    {   
    return $this->getPage();   
    }   
    function getPage($offset = 0, $limit = 0)   
    {   
    if ($this->isEmpty() || $this->size < $offset) {   
    return null;   
    }   
    $keys[] = $this->getKeyByPos(($this->front + $offset) % $this->maxSize);   
    $num = 1;   
    for ($pos = ($this->front + $offset + 1) % $this->maxSize; $pos != $this->real; $pos = ($pos + 1) % $this->maxSize)   
    {   
    $keys[] = $this->getKeyByPos($pos);   
    $num++;   
    if ($limit > 0 && $limit == $num) {   
    break;   
    }   
    }   
    return array_values($this->memcache->get($keys));   
    }   
    function makeEmpty()   
    {   
    $keys = $this->getAllKeys();   
    foreach ($keys as $value) {   
    $this->delete($value);   
    }   
    $this->delete("real");   
    $this->delete("front");   
    $this->delete("size");   
    $this->delete("maxSize");   
    }   
    private function getAllKeys()   
    {   
    if ($this->isEmpty())   
    {   
    return array();   
    }   
    $keys[] = $this->getKeyByPos($this->front);   
    for ($pos = ($this->front + 1) % $this->maxSize; $pos != $this->real; $pos = ($pos + 1) % $this->maxSize)   
    {   
    $keys[] = $this->getKeyByPos($pos);   
    }   
    return $keys;   
    }   
    private function add($pos, $data)   
    {   
    $this->memcache->add($this->getKeyByPos($pos), $data);   
    return $this;   
    }   
    private function increment($pos)   
    {   
    return $this->memcache->increment($this->getKeyByPos($pos));   
    }   
    private function decrement($pos)   
    {   
    $this->memcache->decrement($this->getKeyByPos($pos));   
    }   
    private function set($pos, $data)   
    {   
    $this->memcache->set($this->getKeyByPos($pos), $data);   
    return $this;   
    }   
    private function get($pos)   
    {   
    return $this->memcache->get($this->getKeyByPos($pos));   
    }   
    private function delete($pos)   
    {   
    return $this->memcache->delete($this->getKeyByPos($pos));   
    }   
    private function getKeyByPos($pos)   
    {   
    return $this->prefix . $this->name . $pos;   
    }   
    }  
PHP 相关文章推荐
php你的验证码安全码?
Jan 02 PHP
PHP字符转义相关函数小结(php下的转义字符串)
Apr 12 PHP
PHP iconv 解决utf-8和gb2312编码转换问题
Apr 12 PHP
php获取远程图片的两种 CURL方式和sockets方式获取远程图片
Nov 07 PHP
php中防止SQL注入的最佳解决方法
Apr 25 PHP
PHP多线程之内部多线程实例分析
Mar 09 PHP
php中mysql操作buffer用法详解
Mar 19 PHP
php自定义urlencode,urldecode函数实例
Mar 24 PHP
PHP中的类型提示(type hinting)功能介绍
Jul 01 PHP
laravel中命名路由的使用方法
Feb 24 PHP
PHP PDOStatement::getAttribute讲解
Feb 01 PHP
PHP Swoole异步MySQL客户端实现方法示例
Oct 24 PHP
php+highchats生成动态统计图
May 21 #PHP
PhpDocumentor 2安装以及生成API文档的方法
May 21 #PHP
Smarty模板学习笔记之Smarty简介
May 20 #PHP
php实例分享之mysql数据备份
May 19 #PHP
dedecms函数分享之获取某一栏目所有子栏目
May 19 #PHP
ECMall支持SSL连接邮件服务器的配置方法详解
May 19 #PHP
PHP小技巧之JS和CSS优化工具Minify的使用方法
May 19 #PHP
You might like
MySQL的FIND_IN_SET函数使用方法分享
2012/03/27 PHP
通过修改配置真正解决php文件上传大小限制问题(nginx+php)
2015/09/23 PHP
thinkphp命名空间用法实例详解
2015/12/30 PHP
php中的异常和错误浅析
2017/05/03 PHP
PHP写的简单数字验证码实例
2017/05/23 PHP
PHP一个简单的无需刷新爬虫
2019/01/05 PHP
php中用unset销毁变量并释放内存
2020/05/10 PHP
用js判断浏览器是否是IE的比较好的办法
2007/05/08 Javascript
JavaScript 笔记二 Array和Date对象方法
2010/05/22 Javascript
JQuery FlexiGrid的asp.net完美解决方案 dotNetFlexGrid-.Net原生的异步表格控件
2010/09/12 Javascript
40个新鲜出炉的jQuery 插件和免费教程[上]
2012/07/24 Javascript
js局部刷新页面时间具体实现
2013/07/04 Javascript
JS中的log对象获取以及debug的写法介绍
2014/03/03 Javascript
JS控制弹出新页面窗口位置和大小的方法
2015/03/02 Javascript
jquery网页日历显示控件calendar3.1使用详解
2016/11/24 Javascript
元素全屏的设置与监听实例
2017/11/28 Javascript
基于node打包可执行文件工具_Pkg使用心得分享
2018/01/24 Javascript
如何编写一个d.ts文件的步骤详解
2018/04/13 Javascript
用Node提供静态文件服务的方法
2018/07/06 Javascript
给localStorage设置一个过期时间的方法分享
2018/11/06 Javascript
详解VUE Element-UI多级菜单动态渲染的组件
2019/04/25 Javascript
[56:29]Secret vs Optic 2018国际邀请赛小组赛BO2 第一场 8.18
2018/08/19 DOTA
python实现监控linux性能及进程消耗性能的方法
2014/07/25 Python
Django实现自定义404,500页面教程
2017/03/26 Python
python 容器总结整理
2017/04/04 Python
python 在指定范围内随机生成不重复的n个数实例
2019/01/28 Python
Python内存管理实例分析
2019/07/10 Python
对Python中一维向量和一维向量转置相乘的方法详解
2019/08/26 Python
canvas绘制太极图的实现示例
2020/04/29 HTML / CSS
床上用品全球在线购物:BeddingInn
2016/12/18 全球购物
西班牙最大的在线滑板和街头服饰商店:Fillow.net
2019/04/15 全球购物
应届生护士求职信
2013/11/01 职场文书
投标人法定代表人授权委托书格式
2014/09/28 职场文书
个人纪律作风整改措施思想汇报
2014/10/12 职场文书
入党积极分子群众意见
2015/06/01 职场文书
详解Flutter和Dart取消Future的三种方法
2022/04/07 Java/Android