1
xhat 2013-05-25 11:14:52 +08:00 1
我当时3kw采用的方法是对value进行hash,把hash值写入memcache。每次有新数据,hash后在memcache里面验证唯一性。
|
2
DaniloSam 2013-05-25 11:20:13 +08:00
第一反应是DOM属性,想着千万级的,妈的页面得多大
后来反应过来是我二逼了 |
3
ipconfiger 2013-05-25 11:24:28 +08:00
数据库不是有唯一性索引的么?
|
5
pyKun OP @xhat
我也想到过memcached,但是memcached不是高可用的,挂了一个node,那个node上的memchached对应的数据怎么被验证唯一性呢? @ipconfiger 已经存了,但不在一个表里,如果直接读表,脚要遍历好几个表,或者再做一个数据库,二者都不是我想要的 |
7
VYSE 2013-05-25 13:39:03 +08:00 1
把所有VALUE DUPLICATE到ISAM引擎中,千万级耗费空间很少,而且专门一个线程插入效率非常高
|
8
likuku 2013-05-25 13:48:40 +08:00 1
@pyKun memcached 有日本人作的双向同步补丁,可以弄多个机器跑memcached保持多个读写同步,挂掉一个,重开一个会自动同步。
|
9
Mutoo 2013-05-25 14:51:35 +08:00 3
Bloom Filter 可以非常快[O(1)]进行唯一性检查,但是由于hash的缺陷无法做到100%
http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合,但是并不严格要求100%正确的场合。 |
10
xhat 2013-05-25 20:15:36 +08:00 1
|
12
pyKun OP |
14
lunny 2013-05-26 19:48:53 +08:00
leveldb
|
15
binge 2013-05-26 19:55:43 +08:00
很感兴趣通常会用在什么情况的?求指教:)
|