如何用PHP实现分布算法之一致性哈希算法


Posted in PHP onMay 26, 2021

传统算法缺陷

对于服务器分布,我们要考虑的东西有如下三点:数据平均分布,查找定位准确,降低宕机影响。

传统算法一般是将数据的键用算法映射出数字,对其用服务器数量取模,并根据结果选择要存储的服务器。其能达到数据平均分布和查找定位准确的要求,并且优点是算法简单,存取时的计算量都比较小(在数据非常大时才会明显)。

但其有一个致命缺点,即一个服务器宕机后的影响很大,我们可以推算一下一台服务器宕机后的影响:

  • 原有数据大部分丢失:服务器数量减少一台,取模数减1导致取模值错乱,如果以前有N台服务器,那么宕机后数据只有1/(n*(n-1))的数据能够被准确查找到。
  • 负载无法均衡导致集体宕机:如果没有及时处理宕机的服务器,那么他的存储任务将会被顺序积累给它的下一个服务器,那么下一个服务器也会很快被压致宕机,如此一来,服务器组很快会集体宕机。

算法思想

一致性哈希算法是使用一定的哈希算法,将大量的数据平均映射到不同的存储目标上,在保证其查找准确性的同时,还要考虑其中一个存储目标失效时,其他存储目标对其责任存储内容的负载均衡。

一致性哈希算法的实现思想不难理解,如图:

如何用PHP实现分布算法之一致性哈希算法

1.用一定的哈希算法(哈希函数等)将一组服务器的多个(数目自己设定)节点随机映射分散到0-232之间,由于其随机分布,保证了其数据平均分布的特点;

2.用同一算法计算要存储数据的键,根据服务器节点确定其存储的服务器结点,由于每次用同一算法计算,所以得出的结果是相同的,使其查找定位准确;

3.查找数据时,再次用同一算法计算键,并查找服务器的数据结点;

4.如果有一个服务器宕机,消除其服务器结点,并将数据放在下一个结点上,由于随机节点位置的随机性,所以数据被其他服务器平均负载,也就降低了宕机影响。

需要注意的是,这个环形空间只是一个虚拟空间,只是表示了服务器存储的范围和数据的落点,在进行存储时,我们还要通过查找到的落点,将数据放入对应的服务器进行查改。

算法实现

编程语言我们使用PHP来实现一致性哈希算法:

我们主要用到以下函数:

int crc32 ( string $str )
生成 str 的 32 位循环冗余校验码多项式。这通常用于检查传输的数据是否完整。

string sprintf ( string $format [, mixed $args [, mixed $... ]] )
通过传入的格式产生字符串的特定格式形态。

实现如下:

class Consistance
{
    protected $num=24;          //设定每一个服务器的节点数,数量越多,宕机时服务器负载就会分布得越平均,但也增大数据查找消耗。
    protected $nodes=array();   //当前服务器组的结点列表。

    //计算一个数据的哈希值,用以确定位置
    public function make_hash($data)
    {
        return sprintf('%u',crc32($data));
    }

    //遍历当前服务器组的节点列表,确定需要存储/查找的服务器
    public function set_loc($data)
    {
        $loc=self::make_hash($data);
        foreach ($this->nodes as $key => $val)
        {
            if($loc<=$key)
            {
                return $val;
            }
        }
    }

    //添加一个服务器,将其结点添加到服务器组的节点列表内。
    public function add_host($host)
    {
        for($i=0;$i<$this->num;$i++)
        {
            $key=sprintf('%u',crc32($host.'_'.$i));
            $this->nodes[$key]=$host;   
        }
        ksort($this->nodes);        //对结点排序,这样便于查找。
    }

    //删除一个服务器,并将其对应节点从服务器组的节点列表内移除。
    public function remove_host($host)
    {
        for($i=0;$i<$this->num;$i++)
        {
            $key=sprintf('%u',crc32($host.'_'.$i));
            unset($this->nodes[$key]);
        }
    }
}

我们用以下代码进行测试:

如何用PHP实现分布算法之一致性哈希算法

结果如下:

如何用PHP实现分布算法之一致性哈希算法

总结

算法的实现到此,我们还可以对算法进行优化,如在服务器数量和每个服务器节点数都很多的情况下,对查找结点的过程进行优化,因为排序好的,可以用二分法进行查找,加快查询效率,这些,仁智各见吧。

另外,虽然nginx服务器有一致性算法的插件,memcache和redis也都有相应的插件,MySQL的中间件有相应的集成,但是了解一致性哈希算法也很有意义。而且,我们也可以对其灵活使用,如对文件等进行分布式管理等等。

以上就是如何用PHP实现分布算法之一致性哈希算法的详细内容,更多关于用PHP实现分布算法之一致性哈希算法的资料请关注三水点靠木其它相关文章!

PHP 相关文章推荐
详细介绍:Apache+PHP+MySQL配置攻略
Sep 05 PHP
PHP遍历二维数组的代码
Apr 22 PHP
用PHP书写安全的脚本代码
Feb 05 PHP
浅谈php serialize()与unserialize()的用法
Jun 05 PHP
PHP实例分享判断客户端是否使用代理服务器及其匿名级别
Jun 04 PHP
php导入excel文件到mysql数据库的方法
Jan 14 PHP
codeigniter中实现一次性加载多个view的方法
Mar 20 PHP
php支持中文字符串分割的函数
May 28 PHP
在Linux系统下一键重新安装WordPress的脚本示例
Jun 30 PHP
前端必学之PHP语法基础
Jan 01 PHP
PHP性能分析工具xhprof的安装使用与注意事项
Dec 19 PHP
PHP各种常见经典算法总结【排序、查找、翻转等】
Aug 05 PHP
如何用PHP实现多线程编程
May 26 #PHP
如何用PHP websocket实现网页实时聊天
详解PHP用mb_string处理windows中文字符
May 26 #PHP
详解PHP服务器如何在有限的资源里最大提升并发能力
详解PHP设计模式之依赖注入模式
阿里云服务器搭建Php+Apache运行环境的详细过程
php+laravel 扫码二维码签到功能
You might like
php简单定时执行任务的实现方法
2015/02/23 PHP
php将字符串转换成16进制的方法
2015/03/17 PHP
PHP递归创建多级目录
2015/11/05 PHP
yii2.0整合阿里云oss的示例代码
2017/09/19 PHP
PHP实现的折半查询算法示例
2017/10/09 PHP
JS支持带x身份证号码验证函数
2008/08/10 Javascript
jquery ajax执行后台方法
2010/03/18 Javascript
Jquery 插件学习实例1 插件制作说明与tableUI优化
2010/04/02 Javascript
让js弹出窗口居前显示的实现方法
2013/07/10 Javascript
JavaScript获取onclick、onchange等事件值的代码
2013/07/22 Javascript
toggle一个div显示或隐藏且可扩展成自定义下拉框
2013/09/12 Javascript
禁止空格提交表单的js代码
2013/11/17 Javascript
javascript实现数字+字母验证码的简单实例
2014/02/10 Javascript
node.js中的console.dir方法使用说明
2014/12/10 Javascript
javascript下拉列表中显示树形菜单的实现方法
2015/11/17 Javascript
Node.js编写爬虫的基本思路及抓取百度图片的实例分享
2016/03/12 Javascript
详解JavaScript表单验证(E-mail 验证)
2016/03/31 Javascript
Bootstrap轮播图学习使用
2017/02/10 Javascript
微信小程序实现日历效果
2018/12/28 Javascript
Vue开发环境中修改端口号的实现方法
2019/08/15 Javascript
如何封装Vue Element的table表格组件
2021/02/06 Vue.js
python使用心得之获得github代码库列表
2014/06/25 Python
Python3基础之输入和输出实例分析
2014/08/18 Python
python使用str &amp; repr转换字符串
2016/10/13 Python
Python调用graphviz绘制结构化图形网络示例
2019/11/22 Python
深入了解NumPy 高级索引
2020/07/24 Python
详解HTML5布局和HTML5标签
2020/10/26 HTML / CSS
美国室内和室外装饰花盆购物网站:ePlanters
2019/03/22 全球购物
初中生评语大全
2014/04/24 职场文书
挂职学习心得体会
2014/09/09 职场文书
学习型党组织心得体会
2014/09/12 职场文书
办理信用卡工作证明
2014/09/30 职场文书
讲文明倡议书
2015/04/29 职场文书
项目备案申请报告
2015/05/15 职场文书
青年联谊会致辞
2015/07/31 职场文书
2016教师读书思廉心得体会
2016/01/23 职场文书