一致性hash算法 - consistent hashing
分类: 算法艺术2010-02-02 09:1925043人阅读评论(48)收藏举报
一致性可可英语学习网站lawlesshash算法(consistent hashing)
张亮
consistent hashing算法早在1997年就在论文Consistent hashing and random trees中被提出,目前在cache系统中应用越来越广泛;
1基本场景
比如你有N个cache服务器(后面简称cache),那么如何将一个对象object映射到N个cache上呢,你很可能会采用类似下面的通用方法计算object的hash值,然后均匀的映射到到N个cache;
hash(object)%N
一切都运行正常,再考虑如下的两种情况;
1 一个cache服务器m down掉了(在实际应用中必须要考虑这种情况),这样所有映射到cache m的对象都会失效,怎么办,需要把cache m从cache中移除,这时候cache是N-1台,映射公式变成了hash(object)%(N-1);
2 由于访问加重,需要添加cache,这时候cache是N+1台,映射公式变成了hash(object)%(N+1);
1和2意味着什么?这意味着突然之间几乎所有的cache都失效了。对于服务器而言,这是一场灾难,洪水般的访问都会直接冲向后台服务器;
再来考虑第三个问题,由于硬件能力越来越强,你可能想让后面添加的节点多做点活,显然上面的hash算法也做不到。blackorwhite
有什么方法可以改变这个状况呢,这就是
家庭副业2 hash算法和单调性席慕容 青春
Hash算法的一个衡量指标是单调性(Monotonicity),定义如下:
单调性是指如果已经有一些内容通过哈希分派到了相应的缓冲中,又有新的缓冲加入到系统中。哈希的结果应能够保证原有已分配的内容可以被映射到新的缓冲中去,而不会被映射到旧的缓冲集合中的其他缓冲区。
容易看到,上面的简单hash算法hash(object)%N难以满足单调性要求。
3 consistent hashing算法的原理
consistent hashing是一种hash算法,简单的说,在移除/添加一个cache时,它能够尽可能小的改变已存在key映射关系,尽可能的满足单调性的要求。
下面就来按照5个步骤简单讲讲consistent hashing算法的基本原理。
3.1环形hash空最好的翻译工具间
考虑通常的hash算法都是将value映射到一个32为的key值,也即是0~2^32-1次方的数值空间;我们可以将这个空间想象成一个首(0)尾(2^32-1)相接的圆环,如下面图1所示的那样。
图在职研究生进修班1环形hash空间
3.2 把对象映射到hash空间
高考出分时间接下来考虑4个对象object1~object4,通过hash函数计算出的hash值key在环上的分布如图2所示。
hash(object1) = key1;
… …
hash(object4) = key4;
图2 4个对象的key值分布
3.3 把cache映射到hash空间
Consistent hashing的基本思想就是将对象和cache都映射到同一个hash数值空间中,并且使用相同的hash算法。
英语测试报答案假设当前有A,B和C共3台四级考试作文cache,那么其映射结果将如图3所示,他们在hash空间中,以对应的hash值排列。
hash(cache A) = key A;
… …
hash(cache C) = key C;
图3 cache和对象的key值分布
说到这里,顺便提一下cache的hash计算,一般的方法可以使用cache机器的IP地址或者机器名作为hash输入。
3.4 把对象映射到cache
现在cache和对象都已经通过同一个hash算法映射到hash数值空间中了,接下来要考虑的就是如何将对象映射到cache上面了。
在这个环形空间中,如果沿着顺时针方向从对象的key值出发,直到遇见一个cache,那么就将该对象存储在这个cache上,因为对象和cache的hash值是固定的,因此这个cache必然是唯一和确定的。这样不就找到了对象和cache的映射方法了吗?!