博客园_oveRRed

[nessDB]开源KV数据库nessDB1.8使用LSM-Tree

2012-01-02T03:20:00Z

为了提高随机写和随机读，nessDB1.8开始使用LSM-Tree替换掉B+Tree。

源码:https://github.com/shuttler/nessDB/tree/v1.8.1

性能测试报告(来自英国测试公司的HarryR):http://paste2.org/p/1844476

[nessDB]开源KV数据库nessDB1.7发布，支持Redis协议

2011-10-24T01:40:00Z

nessDB是一个小巧、高性能的、支持Redis协议的K-V数据库，使用标准C开发，支持Linux, *BSD, OS X and Solaris 系统，无第三方依赖。
 描述：
  * 使用Bloom filter检查数据存在性
  * 使用Level-LRU提升随机读性能，类似于InnoDB的bufferpool，大小可配置。
  * 可分布存储的B+Tree索引文件
  * 支持范围查找
  * Redis协议支持(PING,GET,SET,DEL,INFO)：SET相同的key即更新；DEL后面跟多key，即批量删除
  源码目录结构
  ==================
  ./
  ./src/ 	- 源码
  ./BENCHMARK	- 性能测试结果
  ./LEVEL-LRU	- Level-LRU小说明
  ./TODO	- TODO list
  ./x/		- 网络层源码
  接口
  ==========
    * db_init(int bufferpool_size,int isbgsync)
	bufferpool_size:LRU缓存大小（单位byte)
	isbgsync:是否启用后台从内存到磁盘的数据定时刷新（0：否;1:是）
    * db_get(const char *key)
    * db_get_range(const char *begin,const char *end,struct nobj *obj,int *retcount)
    * db_dump_keys(struct nobj *obj)
    * db_add(const char *key,const char *value)
    * db_update(const char *key,const char *value)
    * db_remove(const char *key)
 
  如何进行性能测试
  ==================
	a, $cd src
	b, $make
	c, $./nessdb-bench add
	最后可使用 "$make cleanall"清理所有数据（包括生成的索引、数据文件）
  服务启动
  ===============
  	* $./nessdb-server
	使用redis-cli(或任一款redis客户端)连接，并进行命令操作(目前支持:PING,SET,GET,DEL).
  源码地址：http://github.com/shuttler/nessDB
  希望大家多提意见，以便改进（目前都是基于github issues修改）。
  Thanks!

本文链接

nessDB v1.5测试版发布(使用B+ Tree索引结构)

2011-08-11T14:28:00Z

nessDB1.7有了很大的改进，详情见：

http://www.cnblogs.com/overred/archive/2011/10/24/nessDB1_7.html

nessDB v1.5已经启用B+ Tree作为索引结构。

Bencnmark results:

Benchmark(100,0000 entries, 10000 queries)
   =========================================================
    Keys:        20 bytes each
    Values:        100 bytes each
    Entries:    10000000
    IndexSize:    648.5 MB (estimated)
    DataSize:    1030.0 MB (estimated)
    --------------------------------------------------------------------------------------------------------------
    nessDB:        version 1.5(B+ Tree)
    LRU:        closed....
    Date:        Sat Aug 27 14:47:04 2011
    CPU:        2 *  Intel(R) Pentium(R) Dual  CPU  T3200  @ 2.00GHz
    CPUCache:    1024 KB

    +-----------------------+---------------------------+----------------------------------+---------------------+
    |write        (succ:10000000): 0.000016 sec/op; 63728.0 writes/sec(estimated); 10.7 MB/sec; cost:156.917(sec)
    +-----------------------+---------------------------+----------------------------------+---------------------+
    |readseq    (found:10000): 0.000007 sec/op; 133891.6 reads /sec(estimated); 22.5 MB/sec; cost:0.075(sec)
    +-----------------------+---------------------------+----------------------------------+---------------------+
    |readrandom    (found:10000): 0.006636 sec/op; 150.7 reads /sec(estimated); 0.0 MB/sec; cost:66.361(sec)
    +-----------------------+---------------------------+----------------------------------+---------------------+

    Completely Cold-Start(echo 3 > /proc/sys/vm/drop_caches):
    +-----------------------+---------------------------+----------------------------------+---------------------+
    |readseq    (found:10000): 0.000022 sec/op; 44915.5 reads /sec(estimated); 7.5 MB/sec; cost:0.223(sec)
    +-----------------------+---------------------------+----------------------------------+---------------------+
    |readrandom    (found:10000): 0.012902 sec/op; 77.5 reads /sec(estimated); 0.0 MB/sec; cost:129.019(sec)
    +-----------------------+---------------------------+----------------------------------+---------------------+
    |removerandom    (found:10000):    0.006539 sec/op;    152.9 reads /sec(estimated);    0.0 MB/sec

本文链接

Double-Array Trie(手绘版)

2011-05-29T10:54:00Z

2011-05-29T10:54:00Z2011-05-29T10:54:00Zoverredhttp://www.cnblogs.com/overred/

本文链接

《你不常用的c#之九》:双城记（Lock-Free Dictionary Read/Write）

2011-03-19T03:12:00Z

此篇写于2009年11月 22日，一直处草稿状态，本想写的更深入些，就这样吧。

1）,多线程下如何安全的遍历一个Dictionary?

lock (_syncRoot)
         {
            foreach (string s in Dictionary.Values)
            {
               //todo耗时操作
            }
         }

2）,多线程下如何安全遍历一个非常大的Dictionary？

如果采用1)中的代码，效率是非常低的！ReaderWriterLockSlim？也不用。

国民党人总结《论持久战》：以空间换时间，积小胜为大胜。

其实在算法上讲，最后一句应该是分治。而前一句“空间换时间”在某些情况下也堪称救世良药。

那我们就来个镜像（称为:clone）,对镜像的一切操作均不影响主(main)的任何运行时结构。

         Dictionary<int, string> clone = new Dictionary<int, string>(main);
   然后遍历clone就可以了: foreach (string s in clone.Values)
         {
            //todo
         }

本文链接

瓜子皮小袋

2010-12-10T13:34:00Z

每次买了包瓜子，还得带个垃圾袋。这次居然忘了，2个小时的车程上很是无聊。像洽洽这种厂商能否在瓜子袋里捎带个薄薄的用于装瓜子皮的小袋呢？可能是我太懒了

本文链接

一花一草一世界一微一积一矩阵

2010-12-10T13:33:00Z

物质，运动。

我把运动分为有时间的运动，和无时间的运动。

从家到公司，花了1个小时，这是有时间的运动。在这个运动过程中，别人是可以看到你的。

对位移在时间上求导得出速度，对速度求导得出加速度，对加速度再求导是什么呢？那就是迟到或不迟到！-_-

矩阵变换是一种无时间的运动，譬如坐标为(x,y...)的点A经过函数f(x)变换，成为点B(x1,y1...)。在这个“运动”过程中，“别人”是看不到你的，在“别人”看来，“你”是从A点神仙般的变到B点。矩阵是我们在数学上对多维空间的一个表示。

蚂蚁在一个平面上爬行，它只能感知前后和左右两个维度，自身无法逃脱那个二维平面，可人可以从各个角度观察这个蚂蚁。

我们生活在一个三维空间里，只能感知上下，左右，前后三个维度，自身也无法逃脱这个空间，是不是生活在四维世界的人可以一览无余的观察我们呢？

“在一维世界的人看来，能前后左右移动的人是神，因为他能突然出现又能突然消失（移到直线的左边或右边，直线国的人就看不见你了）；在二维世界的人看来，能上下移动的人是神，因为他能突然出现又突然消失（移到平面的上方或下方，平面国的人就看不见你了）；那在我们这个三维世界能突然出现或消失的是神还是四维世界的人呢？”

我感觉这是人类进化的一个方向，从三维到四维，不是世界多奇妙，而是我们的大脑不够发达，无法感知。

也许有一天，我们大脑进化到可以感知四维空间，可以感知到空间是扭曲的，那时候你再提相对论，大家会说你没文化，白痴。

本文链接

元与连续性

2010-12-10T13:32:00Z

1）直线运动，B是A与C之间的中点，从A到C一定经过点B吗？不一定
2）温度升高，从30°升到40°，一定经过31.1415926....吗？也不一定
空间和能量不是可无限分割的，而是有基本的“元”单位，就如现实中人民币的单位最小是“分”一样，计算机的bit一样。
"一尺之棰，日取其半，万世不竭。",这只是一个完美主义罢了，存在于理论中，可现实中未必成立，人们已进入量子时代。

那一个物体是如何从A点移到B点的呢？

本文链接

无座公交

2010-12-10T13:31:00Z

公交车如果不设座位，空间还是挺大的，在早高峰期，某些拥挤线路，可夹杂一些无座公交，以解决着急上班用户的需求（北京）。

本文链接

史密斯先生的握手问题

2010-12-10T13:30:00Z

此问题由爱丁堡大学的Peter Ross提出。

”史密斯先生和他太太邀请四对夫妻来参加晚会。每个人来的时候，房间里的一些人都要与别的一些人握手。当然，每个人都不会与自己的配偶握手，也不会跟同一个人握手两次。之后，史密斯先生问每个人和别人握手几次，他们的答案都不一样。
那么，史密斯太太和别人握了几次手呢？“

已知信息：
1）共10人
2）每个人不会与自己的配偶握手且不会跟同一个人握手两次
3）每个人（除史密斯先生外）与其他人握手的次数均不相同

如果知道每个人都与哪些人握手了，这个问题就解了。根据已知信息可知，其他人（史密斯先生除外）最多握8次，最少0次。
进而可知握手8次的人的配偶一定是握手0次的那个人，依次类推，最后得到答案是4次。
若用矩阵表示则明显。

本文链接

博客园_oveRRed

[nessDB]开源KV数据库nessDB1.8使用LSM-Tree

[nessDB]开源KV数据库nessDB1.7发布，支持Redis协议

nessDB v1.5测试版发布(使用B+ Tree索引结构)

Double-Array Trie(手绘版)

《你不常用的c#之九》:双城记（Lock-Free Dictionary Read/Write）

瓜子皮小袋

一花一草一世界 一微一积一矩阵

元与连续性

无座公交

史密斯先生的握手问题

一花一草一世界一微一积一矩阵