博客园_ITAres(范荣生)

不错的 solr 使用安装介绍

2011-10-18T06:29:00Z

前些日子做了个 apache solr 应用的入门介绍，也在博客记录下，方便新手看看。以搜索论坛帖子为示例。

1、先下载 Apache Solr 1.3 http://apache.etoak.com/lucene/solr/1.3.0/apache-solr-1.3.0.zip，解压到如 E:\apache-solr-1.3.0。

2、下载 Apache Tomcat 6.0.18 http://labs.xiaonei.com/apache-mirror/tomcat/tomcat-6/v6.0.18/bin/apache-tomcat-6.0.18.zip，解压到如 E:\apache-tomcat-6.0.18。

3、solr 安装到 tomcat。修改 E:\apache-tomcat-6.0.18\conf\server.xml，加个 URIEncoding="UTF-8"，把 8080 的那一块改为：

<Connector port="8080" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" URIEncoding="UTF-8"/>

把下面的内容保存到 E:\apache-tomcat-6.0.18\conf\Catalina\localhost\solr.xml，没有这个目录自行创建。

<Context docBase="E:/apache-solr-1.3.0/dist/apache-solr-1.3.0.war" reloadable="true" >
<Environment name="solr/home" type="java.lang.String" value="E:/apache-solr-1.3.0/example/solr" override="true" />
</Context>

solr 的更多方式请看：solr install

4、现在安装好，启动 tomcat，并打开 http://localhost:8080/solr/admin/ 看看界面。

5、为搜索论坛帖子应用设计索引结构：

字段	说明
id	帖子 id
user	发表用户名或UserId
title	标题
content	内容
timestamp	发表时间
text	把标题和内容放到这里，可以用同时搜索这些内容。

6、上面的索引结构告诉 solr，把下面的内容覆盖 E:\apache-solr-1.3.0\example\solr\conf\scheam.xml，（可以先备份这文件，方便以后看官方示例）：

<?xml version="1.0" encoding="UTF-8" ?>
<schema name="example" version="1.1">
<types>
<fieldType name="string" class="solr.StrField" sortMissingLast="true" omitNorms="true"/>
<fieldType name="sint" class="solr.SortableIntField" sortMissingLast="true" omitNorms="true"/>
<!-- The format for this date field is of the form 1995-12-31T23:59:59Z, and
is a more restricted form of the canonical representation of dateTime
http://www.w3.org/TR/xmlschema-2/#dateTime
The trailing "Z" designates UTC time and is mandatory.
Optional fractional seconds are allowed: 1995-12-31T23:59:59.999Z
All other components are mandatory.
Expressions can also be used to denote calculations that should be
performed relative to "NOW" to determine the value, ie...
NOW/HOUR
... Round to the start of the current hour
NOW-1DAY
... Exactly 1 day prior to now
NOW/DAY+6MONTHS+3DAYS
... 6 months and 3 days in the future from the start of
the current day
Consult the DateField javadocs for more information.
-->
<fieldType name="date" class="solr.DateField" sortMissingLast="true" omitNorms="true"/>
<fieldType name="text" class="solr.TextField" positionIncrementGap="100">
<analyzer>
<tokenizer class="solr.CJKTokenizerFactory"/>
</analyzer>
</fieldType>
</types>
<fields>
<field name="id" type="sint" indexed="true" stored="true" required="true" />
<field name="user" type="string" indexed="true" stored="true"/>
<field name="title" type="text" indexed="true" stored="true"/>
<field name="content" type="text" indexed="true" stored="true" />
<field name="timestamp" type="date" indexed="true" stored="true" default="NOW"/>
<!-- catchall field, containing all other searchable text fields (implemented
via copyField further on in this schema -->
<field name="text" type="text" indexed="true" stored="false" multiValued="true"/>
</fields>
<!-- Field to use to determine and enforce document uniqueness.
Unless this field is marked with required="false", it will be a required field
-->
<uniqueKey>id</uniqueKey>
<defaultSearchField>text</defaultSearchField>
<solrQueryParser defaultOperator="AND"/>
<!-- copyField commands copy one field to another at the time a document
is added to the index. It's used either to index the same field differently,
or to add multiple fields to the same field for easier/faster searching. -->
<copyField source="title" dest="text"/>
<copyField source="content" dest="text"/>
</schema>

7、重启 tomcat，然后手动在 E:\apache-solr-1.3.0\example\exampledocs 创建两个 xml 数据文件。分别保存为 demo-doc1.xml 和 demo-doc2.xml：

<?xml version="1.0" encoding="UTF-8" ?>
<add>
<doc>
<field name="id">1</field>
<field name="user">chenlb</field>
<field name="title">solr 应用演讲</field>
<field name="content">这一小节是讲提交数据给服务器做索引，这里有一些数据，如：服务器，可以试查找它。</field>
</doc>
</add>

<?xml version="1.0" encoding="UTF-8" ?>
<add>
<doc>
<field name="id">2</field>
<field name="user">bory.chan</field>
<field name="title">搜索引擎</field>
<field name="content">搜索服务器那边有很多数据。</field>
<field name="timestamp">2009-02-18T00:00:00Z</field>
</doc>
<doc>
<field name="id">3</field>
<field name="user">other</field>
<field name="title">这是什么</field>
<field name="content">你喜欢什么运动？篮球？</field>
<field name="timestamp">2009-02-18T12:33:05.123Z</field>
</doc>
</add>

8、提交数据做索引，到 E:\apache-solr-1.3.0\example\exampledocs，运行：

E:\apache-solr-1.3.0\example\exampledocs>java -Durl=http://localhost:8080/solr/update -Dcommit=yes -jar post.jar demo-doc*.xml
SimplePostTool: version 1.2
SimplePostTool: WARNING: Make sure your XML documents are encoded in UTF-8, other encodings are not currently supported
SimplePostTool: POSTing files to http://localhost:8080/solr/update..
SimplePostTool: POSTing file demo-doc1.xml
SimplePostTool: POSTing file demo-doc2.xml
SimplePostTool: COMMITting Solr index changes..

9、查看搜索结果：

所有内容 http://localhost:8080/solr/select/?q=*%3A*&version=2.2&start=0&rows=10&indent=on

<?xml version="1.0" encoding="UTF-8"?>
<response>
<lst name="responseHeader">
<int name="status">0</int>
<int name="QTime">0</int>
<lst name="params">
<str name="indent">on</str>
<str name="start">0</str>
<str name="q">*:*</str>
<str name="rows">10</str>
<str name="version">2.2</str>
</lst>
</lst>
<result name="response" numFound="3" start="0">
<doc>
<str name="content">这一小节是讲提交数据给服务器做索引，这里有一些数据，如：服务器，可以试查找它。</str>
<int name="id">1</int>
<date name="timestamp">2009-05-27T04:07:54.89Z</date>
<str name="title">solr 应用演讲</str>
<str name="user">chenlb</str>
</doc>
<doc>
<str name="content">搜索服务器那边有很多数据。</str>
<int name="id">2</int>
<date name="timestamp">2009-02-18T00:00:00Z</date>
<str name="title">搜索引擎</str>
<str name="user">bory.chan</str>
</doc>
<doc>
<str name="content">你喜欢什么运动？篮球？</str>
<int name="id">3</int>
<date name="timestamp">2009-02-18T12:33:05.123Z</date>
<str name="title">这是什么</str>
<str name="user">other</str>
</doc>
</result>
</response>

bory.chan 用户的：http://localhost:8080/solr/select/?q=user%3Abory.chan&version=2.2&start=0&rows=10&indent=on

<?xml version="1.0" encoding="UTF-8"?>
<response>
<lst name="responseHeader">
<int name="status">0</int>
<int name="QTime">0</int>
<lst name="params">
<str name="indent">on</str>
<str name="start">0</str>
<str name="q">user:bory.chan</str>
<str name="rows">10</str>
<str name="version">2.2</str>
</lst>
</lst>
<result name="response" numFound="1" start="0">
<doc>
<str name="content">搜索服务器那边有很多数据。</str>
<int name="id">2</int>
<date name="timestamp">2009-02-18T00:00:00Z</date>
<str name="title">搜索引擎</str>
<str name="user">bory.chan</str>
</doc>
</result>
</response>

时间 http://localhost:8080/solr/select/?q=timestamp%3A%5B%222009-02-18T00%3A00%3A00Z%22+TO+%222009-02-19T00%3A00%3A00Z%22%5D&version=2.2&start=0&rows=10&indent=on

<?xml version="1.0" encoding="UTF-8"?>
<response>
<lst name="responseHeader">
<int name="status">0</int>
<int name="QTime">16</int>
<lst name="params">
<str name="indent">on</str>
<str name="start">0</str>
<str name="q">timestamp:["2009-02-18T00:00:00Z" TO "2009-02-19T00:00:00Z"]</str>
<str name="rows">10</str>
<str name="version">2.2</str>
</lst>
</lst>
<result name="response" numFound="2" start="0">
<doc>
<str name="content">搜索服务器那边有很多数据。</str>
<int name="id">2</int>
<date name="timestamp">2009-02-18T00:00:00Z</date>
<str name="title">搜索引擎</str>
<str name="user">bory.chan</str>
</doc>
<doc>
<str name="content">你喜欢什么运动？篮球？</str>
<int name="id">3</int>
<date name="timestamp">2009-02-18T12:33:05.123Z</date>
<str name="title">这是什么</str>
<str name="user">other</str>
</doc>
</result>
</response>

常用的 solr 查询参数请看：solr 查询参数说明

简单的示例已经完成了，索引文件（默认）会在 CWD/solr/data/index 目录下，要改为 solr.home/data目录下，在 F:\apache-solr-1.3.0\example\solr\conf\solrconfig.xml 把 dataDir 注释掉，如：

<!--
<dataDir>${solr.data.dir:./solr/data}</dataDir>
-->

<!--
  <dataDir>${solr.data.dir:./solr/data}</dataDir>
  -->

说明：上面没有使用中文分词，用官方的 CJK 分词，另外有 mmseg4j 中文分词的示例，请看：solr 中文分词 mmseg4j 使用例子

本文链接

stream.js ：一个新的JavaScript数据结构

2011-10-13T02:06:00Z

stream.js 是一个很小、完全独立的Javascript类库，它为你提供了一个新的Javascript数据结构：streams.1<scriptsrc='stream-min.js'></script>下载 stream.js(2Kb)streams是什么？Streams 是一个操作简单的数据结构，很像数组或链接表，但附加了一些非凡的能力。它们有什么特别之处？跟数组不一样，streams是一个有魔法的数据结构。它可以装载无穷多的元素。是的，你没听错。他的这种魔力来自于具有延后(lazily)执行的能力。这简单的术语完全能表明它们可以加载无穷多的元素

Semaphore /ManualResetEvent /AutoResetEvent

2011-08-10T06:19:00Z

Semaphore 这个允许你定义的个数同时访问waitOne 和 release之间的代码，超过定义的个数的线程只能等待正在运行的线程调用release释放信号量，如：Semaphore sem = new Semaphore(10,10);//定义同时可以有10个线程操作Thread[] threads = new Thread[20];for(int i = 0;i < threads.Length; i ++){threads[i] = new Thread(delegate(){sem.WaitOne();//执行操作的代码,这段代码只允许10个线程同时执行，除非执行线程执行完

MongoDB学习笔记

2011-07-13T08:19:00Z

find方法

db.collection_name.find();

查询所有的结果：

select * from users;

db.users.find();

指定返回那些列（键）：

select name, skills from users;

db.users.find({}, {'name' : 1, 'skills' : 1});

补充说明：第一个{} 放where条件第二个{} 指定那些列显示和不显示（0表示不显示 1表示显示)

where条件：

1.简单的等于:

select name, age, skills from users where name = 'hurry';

db.users.find({'name' : 'hurry'},{'name' : 1, 'age' : 1, 'skills' : 1});

2.使用and

select name, age, skills from users where name = 'hurry' and age = 18;

db.users.find({'name' : 'hurry', 'age' : 18},{'name' : 1, 'age' : 1, 'skills' : 1});

3.使用or

select name, age, skills from users where name = 'hurry' or age = 18;

db.users.find({ '$or' : [{'name' : 'hurry'}, {'age' : 18}] },{'name' : 1, 'age' : 1, 'skills' : 1});

4.<, <=, >, >= ($lt, $lte, $gt, $gte )

select * from users where age >= 20 and age <= 30;

db.users.find({'age' : {'$gte' : 20, '$lte' : 30}});

5.使用in, not in ($in, $nin)

select * from users where age in (10, 22, 26);

db.users.find({'age' : {'$in' : [10, 22, 26]}});

6.匹配null

select * from users where age is null;

db.users.find({'age' : null);

7.like (mongoDB 支持正则表达式)

select * from users where name like "%hurry%";

db.users.find({name:/hurry/});

select * from users where name like "hurry%";

db.users.find({name:/^hurry/});

8.使用distinct

select distinct (name) from users;

db.users.distinct('name');

9.使用count

select count(*) from users;

db.users.count();

10.数组查询（mongoDB自己特有的）

如果skills是 ['java','python']

db.users.find({'skills' : 'java'}); 该语句可以匹配成功

$all

db.users.find({'skills' : {'$all' : ['java','python']}}) skills中必须同时包含java 和 python

$size

db.users.find({'skills' : {'$size' : 2}}) 遗憾的是$size不能与$lt等组合使用

$slice

db.users.find({'skills' : {'$slice : [1,1]}})

两个参数分别是偏移量和返回的数量

11.查询内嵌文档

12.强大的$where查询

db.foo.find();
{ "_id" : ObjectId("4e17ce0ac39f1afe0ba78ce4"), "a" : 1, "b" : 3, "c" : 10 }
{ "_id" : ObjectId("4e17ce13c39f1afe0ba78ce5"), "a" : 1, "b" : 6, "c" : 6 }

如果要查询 b = c 的文档怎么办？

> db.foo.find({"$where":function(){

    for(var current in this){
        for(var other in this){
            if(current != other && this[current] == this[other]){
                return true;
            }
        }
    }
    return false;

}});

{ "_id" : ObjectId("4e17ce13c39f1afe0ba78ce5"), "a" : 1, "b" : 6, "c" : 6 }

本文链接

MongoDB update操作文档

2011-06-19T13:45:00Z

mongodb更新有两个命令：
1).update()命令

db.collection.update( criteria, objNew, upsert, multi )

criteria : update的查询条件，类似sql update查询内where后面的
objNew   : update的对象和一些更新的操作符（如$,$inc...）等，也可以理解为sql update查询内set后面的
upsert   : 这个参数的意思是，如果不存在update的记录，是否插入objNew,true为插入，默认是false，不插入。
multi    : mongodb默认是false,只更新找到的第一条记录，如果这个参数为true,就把按条件查出来多条记录全部更新。

例：
db.test0.update( { "count" : { $gt : 1 } } , { $set : { "test2" : "OK"} } ); 只更新了第一条记录
db.test0.update( { "count" : { $gt : 3 } } , { $set : { "test2" : "OK"} },false,true ); 全更新了
db.test0.update( { "count" : { $gt : 4 } } , { $set : { "test5" : "OK"} },true,false ); 只加进去了第一条
db.test0.update( { "count" : { $gt : 5 } } , { $set : { "test5" : "OK"} },true,true ); 全加进去了
db.test0.update( { "count" : { $gt : 15 } } , { $inc : { "count" : 1} },false,true );全更新了
db.test0.update( { "count" : { $gt : 10 } } , { $inc : { "count" : 1} },false,false );只更新了第一条

2).save()命令

db.collection.save( x )

x就是要更新的对象，只能是单条记录。

如果在collection内已经存在一个和x对象相同的"_id"的记录。mongodb就会把x对象替换collection内已经存在的记录，否则将会插入x对象，如果x内没有_id,系统会自动生成一个再插入。相当于上面update语句的upsert=true,multi=false的情况。
例：
db.test0.save({count:40,test1:"OK"}); #_id系统会生成
db.test0.save({_id:40,count:40,test1:"OK"}); #如果test0内有_id等于40的，会替换，否则插入。

mongodb的更新操作符：
1) $inc
用法：{ $inc : { field : value } }
意思对一个数字字段field增加value，例：
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 16, "test1" : "TESTTEST", "test2" : "OK", "test3" : "TESTTEST", "test4" : "OK", "test5" : "OK" }

> db.test0.update( { "_id" : 15 } , { $inc : { "count" : 1 } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 17, "test1" : "TESTTEST", "test2" : "OK", "test3" : "TESTTEST", "test4" : "OK", "test5" : "OK" }

> db.test0.update( { "_id" : 15 } , { $inc : { "count" : 2 } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 19, "test1" : "TESTTEST", "test2" : "OK", "test3" : "TESTTEST", "test4" : "OK", "test5" : "OK" }

> db.test0.update( { "_id" : 15 } , { $inc : { "count" : -1 } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : "TESTTEST", "test2" : "OK", "test3" : "TESTTEST", "test4" : "OK", "test5" : "OK" }

2) $set
用法：{ $set : { field : value } }
就是相当于sql的set field = value，全部数据类型都支持$set。例：
> db.test0.update( { "_id" : 15 } , { $set : { "test1" : "testv1","test2" : "testv2","test3" : "testv3","test4" : "testv4" } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : "testv1", "test2" : "testv2", "test3" : "testv3", "test4" : "testv4", "test5" : "OK" }

3) $unset
用法：{ $unset : { field : 1} }
顾名思义，就是删除字段了。例：
> db.test0.update( { "_id" : 15 } , { $unset : { "test1":1 } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test2" : "testv2", "test3" : "testv3", "test4" : "testv4", "test5" : "OK" }

> db.test0.update( { "_id" : 15 } , { $unset : { "test2": 0 } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test3" : "testv3", "test4" : "testv4", "test5" : "OK" }

> db.test0.update( { "_id" : 15 } , { $unset : { "test3":asdfasf } } );
Fri May 14 16:17:38 JS Error: ReferenceError: asdfasf is not defined (shell):0

> db.test0.update( { "_id" : 15 } , { $unset : { "test3":"test" } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test4" : "testv4", "test5" : "OK" }

没看出field : 1里面的1是干什么用的，反正只要有东西就行。

4) $push
用法：{ $push : { field : value } }
把value追加到field里面去，field一定要是数组类型才行，如果field不存在，会新增一个数组类型加进去。例：

> db.test0.update( { "_id" : 15 } , { $set : { "test1" : ["aaa","bbb"] } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : [ "aaa", "bbb" ], "test4" : "testv4", "test5" : "OK" }

> db.test0.update( { "_id" : 15 } , { $push : { "test1": "ccc" } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : [ "aaa", "bbb", "ccc" ], "test4" : "testv4", "test5" : "OK" }

> db.test0.update( { "_id" : 15 } , { $push : { "test2": "ccc" } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : [ "aaa", "bbb", "ccc" ], "test2" : [ "ccc" ], "test4" : "testv4", "test5" : "OK" }

> db.test0.update( { "_id" : 15 } , { $push : { "test1": ["ddd","eee"] } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : [ "aaa", "bbb", "ccc", [ "ddd", "eee" ] ], "test2" : [ "ccc" ], "test4" : "testv4", "test5" : "OK" }5) $pushAll

5) $pushAll
用法：{ $pushAll : { field : value_array } }
同$push,只是一次可以追加多个值到一个数组字段内。例：
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : [ "aaa", "bbb", "ccc", [ "ddd", "eee" ] ], "test2" : [ "ccc" ], "test4" : "testv4", "test5" : "OK" }

> db.test0.update( { "_id" : 15 } , { $pushAll : { "test1": ["fff","ggg"] } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : [ "aaa", "bbb", "ccc", [ "ddd", "eee" ], "fff", "ggg" ], "test2" : [ "ccc" ], "test4" : "testv4", "test5" : "OK" }

6) $addToSet
用法：{ $addToSet : { field : value } }
增加一个值到数组内，而且只有当这个值不在数组内才增加。例：
> db.test0.update( { "_id" : 15 } , { $addToSet : { "test1": {$each : ["444","555"] } } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18,

"test1" : ["aaa","bbb","ccc",["ddd","eee"],"fff","ggg",["111","222"],"444","555"],

"test2" : [ "ccc" ], "test4" : "testv4", "test5" : "OK"

}
> db.test0.update( { "_id" : 15 } , { $addToSet : { "test1": {$each : ["444","555"] } } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18,

"test1" : ["aaa","bbb","ccc",["ddd","eee"],"fff","ggg",["111","222"],"444","555"], "test2" : [ "ccc" ],

"test4" : "testv4", "test5" : "OK"

}
> db.test0.update( { "_id" : 15 } , { $addToSet : { "test1": ["444","555"] } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18,

"test1" : ["aaa","bbb","ccc",["ddd","eee"],"fff","ggg",["111","222"],"444","555",["444","555"]], "test2" : [ "ccc" ],

"test4" : "testv4", "test5" : "OK"

}
> db.test0.update( { "_id" : 15 } , { $addToSet : { "test1": ["444","555"] } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : ["aaa","bbb","ccc",["ddd","eee"],"fff","ggg",["111","222"],"444","555",["444","555"]], "test2" : [ "ccc" ],

"test4" : "testv4", "test5" : "OK"

}

7) $pop
删除数组内的一个值
用法：
删除最后一个值：{ $pop : { field : 1 } }删除第一个值：{ $pop : { field : -1 } }
注意，只能删除一个值，也就是说只能用1或-1，而不能用2或-2来删除两条。mongodb 1.1及以后的版本才可以用，例：
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18,

"test1" : ["bbb","ccc",["ddd","eee"],"fff","ggg",["111","222"],"444"],

"test2" : [ "ccc" ], "test4" : "testv4", "test5" : "OK"

}
> db.test0.update( { "_id" : 15 } , { $pop : { "test1": -1 } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18,

"test1" : ["ccc",["ddd","eee"],"fff","ggg",["111","222"],"444"],

"test2" : [ "ccc" ], "test4" : "testv4", "test5" : "OK"

}
> db.test0.update( { "_id" : 15 } , { $pop : { "test1": 1 } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18,

"test1" : [ "ccc", [ "ddd", "eee" ], "fff", "ggg", [ "111", "222" ] ], "test2" : [ "ccc" ], "test4" : "testv4",
"test5" : "OK"

}

8) $pull
用法：$pull : { field : value } }
从数组field内删除一个等于value值。例：
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : [ "ccc", [ "ddd", "eee" ], "fff", "ggg", [ "111", "222" ] ], "test2" : [ "ccc" ], "test4" : "testv4",
"test5" : "OK" }

> db.test0.update( { "_id" : 15 } , { $pull : { "test1": "ggg" } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : [ "ccc", [ "ddd", "eee" ], "fff", [ "111", "222" ] ], "test2" : [ "ccc" ], "test4" : "testv4", "test5"
: "OK" }

9) $pullAll
用法：{ $pullAll : { field : value_array } }
同$pull,可以一次删除数组内的多个值。例：
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : [ "ccc", [ "ddd", "eee" ], "fff", [ "111", "222" ] ], "test2" : [ "ccc" ], "test4" : "testv4", "test5"
: "OK" }

> db.test0.update( { "_id" : 15 } , { $pullAll : { "test1": [ "ccc" , "fff" ] } } );
> db.test0.find( { "_id" : 15 } );
{ "_id" : { "floatApprox" : 15 }, "count" : 18, "test1" : [ [ "ddd", "eee" ], [ "111", "222" ] ], "test2" : [ "ccc" ], "test4" : "testv4", "test5" : "OK" }

10) $ 操作符
$是他自己的意思，代表按条件找出的数组里面某项他自己。呵呵，比较坳口。看一下官方的例子：
> t.find()
{ "_id" : ObjectId("4b97e62bf1d8c7152c9ccb74"), "title" : "ABC", "comments" : [ { "by" : "joe", "votes" : 3 }, { "by" : "jane", "votes" : 7 } ] }

> t.update( {'comments.by':'joe'}, {$inc:{'comments.$.votes':1}}, false, true )

> t.find()
{ "_id" : ObjectId("4b97e62bf1d8c7152c9ccb74"), "title" : "ABC", "comments" : [ { "by" : "joe", "votes" : 4 }, { "by" : "jane", "votes" : 7 } ] }

需要注意的是，$只会应用找到的第一条数组项，后面的就不管了。还是看例子：
> t.find();
{ "_id" : ObjectId("4b9e4a1fc583fa1c76198319"), "x" : [ 1, 2, 3, 2 ] }
> t.update({x: 2}, {$inc: {"x.$": 1}}, false, true);
> t.find();

还有注意的是$配合$unset使用的时候，会留下一个null的数组项，不过可以用{$pull:{x:null}}删除全部是null的数组项。例：
> t.insert({x: [1,2,3,4,3,2,3,4]})
> t.find()
{ "_id" : ObjectId("4bde2ad3755d00000000710e"), "x" : [ 1, 2, 3, 4, 3, 2, 3, 4 ] }
> t.update({x:3}, {$unset:{"x.$":1}})
> t.find()
{ "_id" : ObjectId("4bde2ad3755d00000000710e"), "x" : [ 1, 2, null, 4, 3, 2, 3, 4 ] }

{ "_id" : ObjectId("4b9e4a1fc583fa1c76198319"), "x" : [ 1, 3, 3, 2 ] }

============ 数组元素操作示例 ================

> db.arraytest.insert({id:2, name:'leon', comments:[{id:'011', content:'cmt11'}, {id:'012', content:'cmt12'}, {id:'013', content:'cmt13'}]})

1. 数组内的元素可以直接查询

> db.arraytest.find({'comments.id':'002'})

2. 更新数组中的某个节点的值,用$符号

db.arraytest.update({'comments.id':'012'}, {$set: {'comments.$.content':'cmtttt012'}})

3. 删除数组中的某一列，变成null

> db.arraytest.update({'comments.id':'012'}, {$unset: {'comments.$':1}})

4. 向数组中添加一个元素，如果之前没有元素则会新建数组

> db.arraytest.update({'comments.id':'112'}, {$push: {'comments.$.reply': {'rid':'r21', content:'reply22'}}})

============ 数组元素操作示例 ================

本文链接

MongoDB查询的语法

2011-06-19T13:43:00Z

mongodb查询的语法

本文参考自官方的手册：
http://www.mongodb.org/display/DOCS/Advanced+Queries#AdvancedQueries-ConditionalOperators%3A%3C%2C%3C%3D%2C%3E%2C%3E%3D

1 ) . 大于，小于，大于或等于，小于或等于
$gt:大于
$lt:小于
$gte:大于或等于
$lte:小于或等于
例子：

db.collection.find({ "field" : { $gt: value } } ); // greater than : field > value
db.collection.find({ "field" : { $lt: value } } ); // less than : field < value
db.collection.find({ "field" : { $gte: value } } ); // greater than or equal to : field >= value
db.collection.find({ "field" : { $lte: value } } ); // less than or equal to : field <= value

如查询j大于3,小于4:

db.things.find({j : {$lt: 3}});
db.things.find({j : {$gte: 4}});

也可以合并在一条语句内:

db.collection.find({ "field" : { $gt: value1, $lt: value2 } } ); // value1 < field < value

2) 不等于 $ne

例子：

db.things.find( { x : { $ne : 3 } } );

3) in 和 not in ($in $nin)
语法：

db.collection.find( { "field" : { $in : array } } );

例子：

db.things.find({j:{$in: [2,4,6]}});

db.things.find({j:{$nin: [2,4,6]}});

4) 取模运算$mod
如下面的运算：

db.things.find( "this.a % 10 == 1")

可用$mod代替：

db.things.find( { a : { $mod : [ 10 , 1 ] } } )

5) $all
$all和$in类似，但是他需要匹配条件内所有的值：
如有一个对象：

{ a: [ 1, 2, 3 ] }

下面这个条件是可以匹配的：

db.things.find( { a: { $all: [ 2, 3 ] } } );

但是下面这个条件就不行了：

db.things.find( { a: { $all: [ 2, 3, 4 ] } } );

6) $size
$size是匹配数组内的元素数量的，如有一个对象：{a:["foo"]}，他只有一个元素：
下面的语句就可以匹配：

db.things.find( { a : { $size: 1 } } );

官网上说不能用来匹配一个范围内的元素，如果想找$size<5之类的，他们建议创建一个字段来保存元素的数量。

You cannot use $size to find a range of sizes (for example: arrays with more than 1 element). If you need to query for a range, create an extra size field that you increment when you add elements.

7）$exists

$exists用来判断一个元素是否存在：

如：

db.things.find( { a : { $exists : true } } ); // 如果存在元素a,就返回
db.things.find( { a : { $exists : false } } ); // 如果不存在元素a，就返回

8) $type

$type 基于 bson type来匹配一个元素的类型，像是按照类型ID来匹配，不过我没找到bson类型和id对照表。

db.things.find( { a : { $type : 2 } } ); // matches if a is a string
db.things.find( { a : { $type : 16 } } ); // matches if a is an int

9）正则表达式
mongo支持正则表达式，如：

db.customers.find( { name : /acme.*corp/i } ); // 后面的i的意思是区分大小写

10) 查询数据内的值
下面的查询是查询colors内red的记录，如果colors元素是一个数据,数据库将遍历这个数组的元素来查询。

db.things.find( { colors : "red" } );

11) $elemMatch
如果对象有一个元素是数组，那么$elemMatch可以匹配内数组内的元素：

> t.find( { x : { $elemMatch : { a : 1, b : { $gt : 1 } } } } )
{ "_id" : ObjectId("4b5783300334000000000aa9"),
"x" : [ { "a" : 1, "b" : 3 }, 7, { "b" : 99 }, { "a" : 11 } ]
}

$elemMatch : { a : 1, b : { $gt : 1 } } 所有的条件都要匹配上才行。

注意，上面的语句和下面是不一样的。

> t.find( { "x.a" : 1, "x.b" : { $gt : 1 } } )

$elemMatch是匹配{ "a" : 1, "b" : 3 }，而后面一句是匹配{ "b" : 99 }, { "a" : 11 }

12) 查询嵌入对象的值

db.postings.find( { "author.name" : "joe" } );

注意用法是author.name，用一个点就行了。更详细的可以看这个链接： dot notation

举个例子：

> db.blog.save({ title : "My First Post", author: {name : "Jane", id : 1}})

如果我们要查询 authors name 是Jane的, 我们可以这样：

> db.blog.findOne({"author.name" : "Jane"})

如果不用点，那就需要用下面这句才能匹配：

db.blog.findOne({"author" : {"name" : "Jane", "id" : 1}})

下面这句：

db.blog.findOne({"author" : {"name" : "Jane"}})

是不能匹配的，因为mongodb对于子对象，他是精确匹配。

13) 元操作符 $not 取反

如：

db.customers.find( { name : { $not : /acme.*corp/i } } );

db.things.find( { a : { $not : { $mod : [ 10 , 1 ] } } } );

mongodb还有很多函数可以用，如排序，统计等，请参考原文。

mongodb目前没有或(or)操作符，只能用变通的办法代替，可以参考下面的链接：

http://www.mongodb.org/display/DOCS/OR+operations+in+query+expressions

本文链接

TCP/IP传输层，你懂多少？

2011-04-22T02:33:00Z

你所不知道的传输层

题记：23页的文档上，满满当当的写满了笔记，纸质的东西，始终害怕丢失，还是选择把它总结到博客上来。

PS.老规矩，列出可能遇到的20个问题，如果您是都能回答的高手，请您绕道，我是小菜，只做自己的学习笔记。

1. 传输层的主要功能是什么？
2. 传输层如何区分不同应用程序的数据流？
3. 传输层有哪些协议？
4. 什么是UDP协议？
5. 为什么有了UDP，还需要TCP？
6. 什么是TCP协议？
7. 怎么理解协议和程序？
8. TCP是否真的有链接？
9. 链接是如何建立的（逻辑上）？
10. 所谓的建立TCP链接开销很大，具体是指什么？
11. 三次握手的目的是什么？
12. TCP如何提供可靠性？
13. 什么是预期确认？什么是肯定确认与重新传输？哪些情况会重传？
14. TCP中，序列号和应答号有哪些作用？
15. TCP链接中，网络失败，是怎么判断的？
16. 为什么需要窗口技术？
17. 如何实现流量控制？
18. UDP的开销很小，具体是指什么？
19. UDP数据包、TCP数据包大小如何确认？
20. UDP适合哪些环境？TCP适合哪些环境？

一。传输层的主要功能是什么？

分割并重新组装上层提供的数据流，为数据流提供端到端的传输服务。

二。传输层如何区分不同应用程序的数据流？

因为，对应传输层而言，它只需要知道目标主机上的哪个服务程序来响应这个程序，而不需要知道这个服务程序是干什么的。因此，我们只需要能够抽象的表示出来这些应用程序和服务程序即可。我们使用端口号来抽象标识每个网络程序。

传输层的TCP和UDP可以接收来自多个应用程序的数据流，用端口号标识他们，然后把他们送给Internet层处理；

同时TCP和UDP接收来自Internet层的数据包，用端口号区分他们，然后交给不同的应用程序。

因此：在同一IP地址（同一个目标主机）上不同的端口号是两个不同的链接。IP地址和端口号用来唯一的确定网络上数据的目的地。

三。传输层有哪些协议？

传输层的两大协议：TCP（传输控制协议）UDP（用户数据包协议）
TCP是一个可靠的面向链接的协议，UDP是不可靠的或者说无连接的协议。
可以用打电话和发短信来说明这种关系：

UDP就好似发短信，只管发出去，至于对方是不是空号（网络不可到达）能不能收到（丢包）等并不关心。

TCP好像打电话，双方要通话，首先，要确定对方不是开机（网络可以到达），然后要确定是不是没有信号（），然后还需要对方接听（通信链接）。

四。什么是UDP协议？

UDP数据包结构如下图所示

源端口(16)	目标端口(16)
报文长度(16)	校验和(16)
数据（可变）

UDP为应用程序提供的是一种不可靠的、无连接的分组交付，因此，UDP报文可能会出现丢失、乱序、重复、延时等问题。

因为它不提供可靠性，它的开销很小。（开销很小具体指什么？下文揭秘）

五。为什么有了UDP，还需要TCP？

问题4中已经说到，UDP为应用程序提供的是一种无连接、不可靠的分组交付。当网络硬件失效或者负担太重时，数据包可能就会产生丢失、重复、延时、乱序的现象。这些都会导致我们的通信不正常。如果让应用程序来担负差错控制的工作，无疑将给程序员带来许多复杂的工作，于是，我们使用独立的通信协议来保证通信的可靠性是非常必要的。

六。什么是TCP协议？

传输控制协议TCP是一个面向链接的、可靠的通信协议。

1. 在开始传输前，需要进行三次握手建立链接
2. 可靠性：在传输过程中，通信双方的协议模块继续进行通信
3. 通信结束后，通信双方都会使用改进的三次握手来关闭链接

TCP数据包结构如下图

源端口(16)			目标端口(16)
序号(32)
应答号(32)
头长度(4)	保留(6)	编码位(6)	窗口(16)
校验和(16)			紧急(16)
可选项(如果有，0或32)
数据(可变)

**七。怎么理解协议和程序？**

如同我们自定义的应用层协议一样：协议只是给出了一组规范，规定我们应该怎么样（按什么规则）保存数据。

在计算机间传输的永远都是二进制字节码（对于传输层，可以理解为传输的始终是下层的IP数据包），是计算机中的程序通过对这些字节码进行逻辑分析、判断，来控制程序完成差错控制等功能。
至于解析这些字节码的程序，则可以有不同的实现，只要我们按照规则来解析，并作出相应的控制，我们大可以自己写个程序是实现相应功能。

知道了这些后，显然，我们也可以使用前面说的Jpcap，来自己实现一个基于Java的TCP或者UDP协议。可以参考Linux下的Tcp源码。

/net/ipv4/udp.c
/net/ipv4/datagram.c
/net/ipv4/tcp_input.c
/net/ipv4//tcp_output.c
/net/ipv4/tcp.c

八。TCP是否真的有链接？

我们都知道，TCP通过完成三次握手来建立链接的，但是这种连接是面向虚电路的，是物理上不存在的，只是双方的TCP程序，逻辑上的认为建立了这样的链接。

九。链接是如何建立的（逻辑上）？

假设：当我们在主机A上启动一个程序，通过TCP去链接主机B上的9091端口。

整个过程是怎么样的呢？逻辑上我们可以这么理解建立链接的过程：

1.SYN:seq=X;

1.1 A的TCP程序，为这个链接分配一个端口（设为9090）。
1.2 同时逻辑上的将TCP连接的状态设置为：正在连接。（通过在链接状态表中添加一条记录，记录中状态为：正在连接）

猜想：

TCP程序中，应该有张表来保持链接的状态，其中每个状态应该有：

本机地址（IP加port）、对方地址、链接状态

1.3 同时，随机生成一个初始序列号X，生成一个TCP包，将初始化序列号X设置为TCP中的序列号，发送给主机B。

2.SYN:seq=Y ACK:ack=X+1;

2.1 B上TCP程序收到该数据包，查询9091端口状态，如果可以链接。
2.2 同样的，在逻辑上的将TCP连接的状态设置为：正在连接
2.3 同时，随机生成一个初始化序列号Y，根据接收的序列号X，生成应答号X+1，生成一个TCP包，将序列号和应答号分别设置到TCP包头中，将TCP数据包发给主机A。

3.SYN:seq=X+1 ACK:ack=Y+1.

3.1 A上的TCP程序接收到数据包，查询9090端口状态。
3.2 根据收到的SYN:seq=Y;ACK:ack=X+1; 封装一个TCP包 SYN:seq=x+1;ACK:ack=Y+1;发送给主机B。同时，TCP程序将链接状态表中该条记录状态设置为已连接。
3.3 主机B收到数据包，TCP程序将链接状态表中该条记录状态设置为已连接。

至此，一个TCP链接建立（三次握手）完成。
我们可以看到：
第一：传送的都是IP数据包，其实只是将收到的数据包交给TCP程序处理。
第二：链接状态，只是TCP程序中的一个逻辑状态。

十：所谓的建立TCP链接开销很大，具体是指什么？

从九中，很容易看出。要简历TCP链接，必须进行三次IP数据包的成功传输。

十一：三次握手的目的是什么？

TCP是面向链接的，在面向链接的环境中，开始传输数据之前，在两个中端之间必须先建立一个链接。建立链接的过程可以确保通信双方在发送应用程序数据包之前，都已经准备好了传送和接收数据。并且使通信双方统一了初始化序列号。

十二：TCP如何提供可靠性？

在传输过程中，通信双方的协议模块继续进行通信，从而确保了传输的可靠性。
针对乱序：在通过三次握手进行链接时，序列号被初始化。在传输过程中，TCP继续使用这个序列号来标记发送的每一个数据段，没传送一个数据段，序列号加一。接收方依据序列号重装收到的数据段。
针对丢包：在传输过程中，接收方收到一个数据段后，会用ACK应答码向发送端回复一个IP包进行应答，确认号ACK用来告诉发送端哪些数据包已经成功接收，发送方对未被应答的报文段提供重传。
针对重复：接收端收到数据段后，查看序列号，如果已经成功接收改数据包，则丢弃后面这个数据段。
针对延时：延时造成的第一个问题，就是数据包达到接收端时乱序。
当延时严重时，接收端一直未收到数据段，则不会回复ACK，发送端认为丢包，重发。

十三：什么是预期确认？什么是肯定确认与重新传输？哪些情况会重传？

1.确认号ACK会告诉发送端哪些数据段已经成功接收，并且确认号会向发送端指出接收端希望收到的下一个序列号。即，确实号ACK为上个数据序列号+1，这种机制称为预期确认。

2.为了提高效率，我们在发送端，将数据段保存在缓冲区中，直道发送端收到来自接收端的确认号。这种机制被称为“肯定确认与重新传输”。

3.当发送端在给定时间间隔内收不到那个数据段的应答时，发送端就会重传那个数据段。
情况1：网络延时/环路，数据段丢失
情况2：网络延时，数据段推迟到达
情况3：数据段成功到达，应答因为1.2不能达到。

十四： TCP中，序列号和应答号有哪些作用？

从以上10,11,12中，很明显的可以看到

1. 1. 依靠序列号重组数据段
  2. 依靠数据包消除网络中的重复包
  3. 依靠序列号和应答号进行差错重传，提高了TCP的可靠性

十六：为什么需要窗口技术？

前面我们已经说了，TCP的可靠性，是通过预期确认来实现的。即发送方发送一个数据段后，需要得到对方的确认后，才会发送下一个数据段。
因此，假设一个数据段大小为64KB（IP包最大值），一次发送和确认需要的时间为500MS，则，1S内，只能传送128KB的数据，如果带宽为1M，显然很浪费带宽。为了充分利用带宽，我们使用窗口技术。滑动窗口允许发送方在收到接收方的确认之前发送多个数据段。（窗口大小决定了在收到确认前可以发送的数据段数量）

十七：如何实现流量控制？

窗口数决定了当前传输的最大流量。当我们在传输过程中，通信双方可以根据网络条件动态协商窗口大小，调整窗口大小时，即可实现流量控制。（在TCP的每个确认中，除了ACK外，还包括一个窗口通知）

十八：UDP的开销很小，具体是指什么？

1.因为UDP是无连接的。在传输数据之前，不需要进行复杂的三次握手来建立连接。
2.在传输数据时，没有协议间通信流量（确认信号），也不需要浪费不必要的处理时间（接收确认信号再发一下）。
3；传输结束后，也不用再用改进的三次握手来端口连接。

十九：UDP数据包、TCP数据包大小如何确认？

1. 无论TCP还是UDP数据包，都需要交给Internet层封装为IP包，而一个IP包，包头中的长度位为16位，所以IP包最大为2的16方，即65535（64KB还需要减去各种包头长度）。
2. TCP因为面向流，且可以凭借序列号对大文件进行分段和重组，因此，TCP可以用来传输较大的文件。而UDP，如果要传输大于64KB的数据，则需要自己在应用层进行差错控制。
3. 为了提高传输效率和减少网络通信量（协议间的通信），TCP也会一次传输足够多的数据。
4. 因为MTU的存在，TCP包和UDP包不是越大越好。（在路由中分包，在接收端重组，加大路由与接收端负担，增大丢包概率。分组丢失，整个数据包重传。）

二十：UDP适用哪些环境？TCP适用哪些环境？

适合UDP的环境：
1.在高效可靠的网络环境中（不需要考虑网络不好导致的丢包、乱序、延时、重复等问题），因为UDP是无连接的服务，不用消耗不必要的网络资源（TCP中的协议间通信）和处理时间（预期确认需要的时间），从而效率要高的多。
2.在轻权通信中，当需要传输的数据量很小（可以装在一个IP数据包内）时。如果我们使用TCP协议，那么，先建立连接，一共需要发送3个IP数据包，然后数据传输，1个IP数据包，产生一个确认信号的IP包，然后关闭连接，需要传输5个IP数据包。使用TCP协议IP包的利用率为1/10。而使用UDP，只需要发送一个IP数据包。哪怕丢包（服务不成功），也可重新申请服务（重传）。

注：而且无论UDP还是TCP，传输的都是IP数据包。当网络环境不好导致丢包时，无论TCP还是UDP都会丢包，这是没有区别的。（如果考虑发送丢包，那么TCP效率更低），只是使用TCP，当连接建立成功后，TCP程序会进行可靠性控制。

UDP很适合这种客户机向服务器传送简单服务请求的环境。此类应用层协议包括TFTP , SNMP , DNS ,DHCP等。
3.在对实时性要求很强的通信中：在诸如实时视频直播等对实时性要求很高的环境中，从而允许一定量的丢包的情况下（直播比赛，前面丢失的包，重传出来已经意义不大了），UDP更适合。（可以根据具体需要通过应用层协议提供可靠性，不用像TCP那么严格。）

适合TCP协议的环境：

当网络硬件失效或者负担太重时，数据包可能就会产生丢失、重复、延时、乱序的现象。这些都会导致我们的通信不正常的时候。如果让应用程序来担负差错控制的工作，无疑将给程序员带来许多复杂的工作，于是，我们使用独立的通信协议来保证通信的可靠性是非常必要的。

本文链接

验证URL中GUID值是否重复的类库，防止用户直截刷URL(代码存在问题，一直没找到来。看有没有高人能看出来。)

2011-04-21T10:32:00Z

验证URL中GUID值是否重复的类库，防止用户直截刷URL，设计思路如下：

定义了两个队列：

当前写入队列 Hashtable writeTb

备份队列 Hashtable readTb

已经使用过的GUID值记录在writeTb,readTb列表中。

当新的GUID值上来的时候，判断writeTb,readTb队列中是否存在GUID值，如果存在，就判断为非法。

两个队列根据一定的间隔时间来轮换切读写。当readTb切换成写队列的时候。readTb中记录的GUID值全部清除。

直接上代码：(代码是存在问题的，没跑多久的时候CPU就100%了，一直找不到问题，看看有没有高人能看出问题所在)

  1 public class RequestValidate
  2     {
  3         private Thread clearTbWorker = null;
  4         private Hashtable tb1 = new Hashtable(100000);
  5         private Hashtable tb2 = new Hashtable(100000);
  6
  7         /// <summary>
  8         /// 上次转换TB时间
  9         /// </summary>
10         private DateTime lastSwitchTbTime { get; set; }
11
12         /// <summary>
13         /// 写TB索引
14         /// </summary>
15         private int writeTbIndex{get;set;}
16
17         /// <summary>
18         /// 当前写入队列
19         /// </summary>
20         private Hashtable writeTb
21         {
22             get
23             {
24                 if (writeTbIndex == 1) return tb1;
25                 else return tb2;
26             }
27         }
28
29         /// <summary>
30         /// 备份队列
31         /// </summary>
32         private Hashtable readTb
33         {
34             get
35             {
36                 if (writeTbIndex == 1) return tb2;
37                 else return tb1;
38             }
39         }
40
41         private HttpRequest request { get { return HttpContext.Current.Request; } }
42
43         /// <summary>
44         /// GUID受限使用时间
45         /// </summary>
46         private TimeSpan GuidExpiredMinute = TimeSpan.FromMinutes(2);
47
48         private RequestValidate()
49         {
50             lastSwitchTbTime = System.DateTime.Now;
51             clearTbWorker = new Thread(new ThreadStart(ClearTbWork));
52             clearTbWorker.Start();
53         }
54
55         private static RequestValidate instance = null;
56         public static RequestValidate Instance
57         {
58             get
59             {
60                 if (instance == null)
61                 {
62                     lock (typeof(RequestValidate))
63                     {
64                         if (instance == null)
65                         {
66                             instance = new RequestValidate();
67                         }
68                     }
69                 }
70                 return instance;
71             }
72         }
73
74         /// <summary>
75         /// 验证客户端GUID值是否合法
76         /// </summary>
77         /// <returns></returns>
78         public bool Validate()
79         {
80             string guid = request["guid"];
81             if (string.IsNullOrEmpty(guid))
82             {
83 #if DEBUG
84                 return false;
85 #else
86                 return true;
87 #endif
88             }
89
90             if (!string.IsNullOrEmpty(request["t"]))
91             {
92                 HttpContext.Current.Response.ContentType = "text/html";
93                 HttpContext.Current.Response.Write("readTb:"+readTb.Count);
94                 HttpContext.Current.Response.Write("writeTb:" + this.writeTb.Count);
95                 HttpContext.Current.Response.End();
96             }
97
98             bool isTrue = true;
99
100             try
101             {
102                 string htKey = guid.ToLower();
103                 if (readTb.ContainsKey(htKey))
104                 {
105                     isTrue = false;
106                 }
107                 else if (writeTb.ContainsKey(htKey))
108                 {
109                     isTrue = false;
110                 }
111                 else
112                 {
113                     writeTb[htKey] = System.DateTime.Now;
114                 }
115             }
116             catch (Exception ex)
117             {
118                 Log.LogComplement.Error(ex);
119             }
120
121             return isTrue;
122
123         }
124
125         /// <summary>
126         /// 清除过期队列
127         /// </summary>
128         private void ClearTbWork()
129         {
130             while (true)
131             {
132                 try
133                 {
134
135
136                     TimeSpan ts = System.DateTime.Now - lastSwitchTbTime;
137                     if (ts < GuidExpiredMinute)
138                     {
139                         System.Threading.Thread.Sleep(ts);
140                     }
141
142                     //清除GuidExpiredMinute分钟之前备份队列
143                     readTb.Clear();
144
145                     if (writeTbIndex == 1) writeTbIndex = 2;
146                     else writeTbIndex = 1;
147
148                     lastSwitchTbTime = System.DateTime.Now;
149
150
151
152                 }
153                 catch (Exception ex)
154                 {
155                     Log.LogComplement.Error(ex);
156                 }
157                 finally
158                 {
159                     System.Threading.Thread.Sleep(GuidExpiredMinute);
160                 }
161             }
162
163         }
164
165     }

本文链接

浅谈Python Web的五大框架

2011-04-13T03:33:00Z

说到web framework，Ruby的世界Rails一统江湖，而Python则是一个百花齐放的世界，各种micro-framework、framework不可胜数，不完全列表见：http://wiki.python.org/moin/WebFrameworks。虽然另一大脚本语言PHP也有不少框架，但远没有Python这么夸张，也正是因为Python web framework（Python web开发框架，以下简称Python框架）太多，所以在Python社区总有关于Python框架孰优孰劣的话题，讨论的时间跨度甚至长达3-5年。

Python这么多框架，能挨个玩个遍的人不多，坦白的说我也只用过其中的三个开发过项目，另外一些稍微接触过，所以这里只能浅谈一下，欢迎懂行的朋友们补充、拍砖。

　　Django

Python框架虽然说是百花齐放，但仍然有那么一家是最大的，它就是Django。要说Django是Python框架里最好的，有人同意也有人坚决反对，但说Django的文档最完善、市场占有率最高、招聘职位最多估计大家都没什么意见。Django为人所称道的地方主要有：

完美的文档，Django的成功，我觉得很大一部分原因要归功于Django近乎完美的官方文档（包括Django book）。
全套的解决方案，Django象Rails一样，提供全套的解决方案（full-stack framework + batteries included），基本要什么有什么（比如：cache、session、feed、orm、geo、auth），而且全部Django自己造，开发网站应手的工具Django基本都给你做好了，因此开发效率是不用说的，出了问题也算好找，不在你的代码里就在Django的源码里。
强大的URL路由配置，Django让你可以设计出非常优雅的URL，在Django里你基本可以跟丑陋的GET参数说拜拜。
自助管理后台，admin interface是Django里比较吸引眼球的一项contrib，让你几乎不用写一行代码就拥有一个完整的后台管理界面。

而Django的缺点主要源自Django坚持自己造所有的轮子，整个系统相对封闭，Django最为人诟病的地方有：

系统紧耦合，如果你觉得Django内置的某项功能不是很好，想用喜欢的第三方库来代替是很难的，比如下面将要说的ORM、Template。要在Django里用SQLAlchemy或Mako几乎是不可能，即使打了一些补丁用上了也会让你觉得非常非常别扭。
Django自带的ORM远不如SQLAlchemy强大，除了在Django这一亩三分地，SQLAlchemy是Python世界里事实上的ORM标准，其它框架都支持SQLAlchemy了，唯独Django仍然坚持自己的那一套。Django的开发人员对SQLAlchemy的支持也是有过讨论和尝试的，不过最终还是放弃了，估计是代价太高且跟Django其它的模块很难合到一块。
Template功能比较弱，不能插入Python代码，要写复杂一点的逻辑需要另外用Python实现Tag或Filter。关于模板这一点，一直以来争论比较多，最近有两篇关于Python模板的比较有意思的文章可供参考：

http://pydanny.blogspot.com/2010/12/stupid-template-languages.html（需翻墙）
http://techspot.zzzeek.org/2010/12/04/in-response-to-stupid-template-languages/

URL配置虽然强大，但全部要手写，这一点跟Rails的Convention over configuration的理念完全相左，高手和初识Django的人配出来的URL会有很大差异。
让人纠结的auth模块，Django的auth跟其它模块结合紧密，功能也挺强的，就是做的有点过了，用户的数据库schema都给你定好了，这样问题就来了，比如很多网站要求email地址唯一，可schema里这个字段的值不是唯一的，纠结是必须的了。
Python文件做配置文件，而不是更常见的ini、xml或yaml等形式。这本身不是什么问题，可是因为理论上来说settings的值是能够动态的改变的（虽然大家不会这么干），但这不是最佳实践的体现。

总的来说，Django大包大揽，用它来快速开发一些Web运用是很不错的。如果你顺着Django的设计哲学来，你会觉得Django很好用，越用越爽；相反，你如果不能融入或接受Django的设计哲学，你用Django一定会很痛苦，趁早放弃的好。所以说在有些人眼里Django无异于仙丹，但对有一些人来说它又是毒药且剧毒。

Django案例有disqus.com、bitbucket.org、海报网等。

　　Pylons & TurboGears & repoze.bfg

除了Django另一个大头就是Pylons了，因为TurboGears2.x是基于Pylons来做的，而repoze.bfg也已经并入Pylons project里这个大的项目里，后面不再单独讨论TurboGears和repoze.bfg了。

Pylons和Django的设计理念完全不同，Pylons本身只有两千行左右的Python代码，不过它还附带有一些几乎就是Pylons御用的第三方模块。Pylons只提供一个架子和可选方案，你可以根据自己的喜好自由的选择Template、ORM、form、auth等组件，系统高度可定制。我们常说Python是一个胶水语言(glue language)，那么我们完全可以说Pylons就是一个用胶水语言设计的胶水框架:)

选择Pylons多是选择了它的自由，选择了自由的同时也预示着你选择了噩梦：

学习噩梦，Pylons依赖于许多第三方库，它们并不是Pylons造，你学Pylons的同时还得学这些库怎么使用，关键有些时候你都不知道你要学什么。Pylons的学习曲线相对比Django要高的多，而之前Pylons的官方文档也一直是人批评的对象，好在后来出了The Definitive Guide to Pylons这本书，这一局面有所改观。因为这个原因，Pylons一度被誉为只适合高手使用的Python框架。
调试噩梦，因为牵涉到的模块多，一旦有错误发生就比较难定位问题处在哪里。可能是你写的程序的错、也可能是Pylons出错了、再或是SQLAlchemy出错了、搞不好是formencode有bug，反正很凌乱了。这个只有用的很熟了才能解决这个问题。
升级噩梦，安装Pylons大大小小共要安装近20个Python模块，各有各自的版本号，要升级Pylons的版本，哪个模块出了不兼容的问题都有可能，升级基本上很难很难。至今reddit的Pylons还停留在古董的0.9.6上，SQLAlchemy也还是0.5.3的版本，应该跟这条有关系。所以大家玩Pylons一定要结合virtualenv来玩，给自己留条后路，不然会死得很惨。

Pylons和repoze.bfg的融合可能会催生下一个能挑战Django地位的框架。

Pylons的案例有reddit.com、dropbox.com、quora.com等。

　　Tornado & web.py

Tornado即是一个web server（对此本文不作详述），同时又是一个类web.py的micro-framework，作为框架Tornado的思想主要来源于web.py，大家在web.py的网站首页也可以看到Tornado的大佬Bret Taylor的这么一段话（他这里说的FriendFeed用的框架跟Tornado可以看作是一个东西）：

“[web.py inspired the] web framework we use at FriendFeed [and] the webapp framework that ships with App Engine…”

因为有这层关系，后面不再单独讨论Tornado。

web.py的设计理念力求精简（Keep it simple and powerful），总共就没多少行代码，也不像Pylons那样依赖大量的第三方模块，而是只提供的一个框架所必须的一些东西，如：URL路由、Template、数据库访问，其它的就交给用户自己去做好了。

一个框架精简的好处在于你可以聚焦在业务逻辑上，而不用太多的去关心框架本身或受框架的干扰，同时缺点也很明显，许多事情你得自己操刀上。
我个人比较偏好这种精简的框架，因为你很容易通过阅读源码弄明白整个框架的工作机制，如果框架那一块不是很合意的话，我完全可以Monkey patch一下按自己的要求来。

早期的reddit是用web.py写的，Tornado的案例有friendfeed.com、bit.ly、quora.com和我的开源站点poweredsites.org等。

　　Bottle & Flask

Bottle和Flask作为新生一代Python框架的代表，挺有意思的是都采用了decorator的方式配置URL路由，如：

from bottle import route, run
 
@route('/:name')
def index(name='World'):
    return '&lt;b&gt;Hello %s!&lt;/b&gt;' % name
 
run(host='localhost', port=8080)

Bottle、Flask跟web.py一样，都非常精简，Bottle甚至所有的代码都在那一个两千来行的.py文件里。另外Flask和Pylons一样，可以跟Jinja2、SQLAlchemy之类结合的很好。

不过目前不管是Bottle还是Flask成功案例都还很少。

　　Quixote

之所以要特别说一下Quixote，是因为国内的最大的用Python开发的网站“豆瓣网”是用Quixote开发的。我只简单翻了一下源代码，没有做过研究，不发表评论，有经验的来补充下。我只是在想，如果豆瓣网交到现在来开发，应该会有更多的选择。

　　其它（web2py、uliweb、Karrigell、Werkzeug …）

　　最后关于框架选择的误区

在框架的选择问题上，许多人很容易就陷入了下面两个误区中而不自知：

哪个框架最好－世上没有最好的框架，只有最适合你自己、最适合你的团队的框架。编程语言选择也是一个道理，你的团队Python最熟就用Python好了，如果最熟悉的是Ruby那就用Ruby好了，编程语言、框架都只是工具，能多、快、好、省的干完活就是好东西，管TMD是日本鬼子还是美帝造呢！
过分关注性能－其实大部分人是没必要太关心框架的性能的，因为你开发的网站根本就是个小站，能上1万的IP的网站已经不多了，上10万的更是很少很少。在没有一定的访问量前谈性能其实是没有多大意义的，因为你的CPU和内存一直就闲着呢。而且语言和框架一般也不会是性能瓶颈，性能问题最常出现在数据库访问和文件读写上。PHP的Zend Framework是出了名的慢，但是Zend Framework一样有大站，如：digg.com；常被人说有性能问题的Ruby和Rails，不是照样可以开发出twitter吗？再者现在的硬件、带宽成本其实是很低的，特别有了云计算平台后，人力成本才是最贵的，没有上万的IP根本就不用太在意性能问题，流量上去了花点钱买点服务器空间好了，简单快速的解决性能问题。

注：前面有网友质疑我“Quora是用Pylons开发的”这样的说法不客观，特说明一下，这里所说的某个网站A是用B开发的，只是指A主要或部分是由B开发的，大家就不要再去纠结A还用C了。

本文链接

Jquery css+xPath

2011-04-05T14:37:00Z

jQuery的选择器是CSS 1-3，XPath的结合物。jQuery提取这二种查询语言最好的部分，融合后创造出了最终的jQuery表达式查询语言。如果你了解CSS（绝大部分WEB开发者都用到的），那么你学起来就很容易了。

同时使用CSS和XPath

看几个例子：

隐藏所有包含有链接的段落：

$("p[a]").hide();

显示页面的第一个段落：

$("p:eq(0)").show();

隐藏所有当前可见的层元素：

$("div:visible").hide();

获取所有无序列表的列表项：

$("ul/li")

/* valid too: $("ul > li") */

取得name值为bar的输入字段的值：

$("input[@name=bar]").val();

所有处于选中状态的单选r按钮：

$("input[@type=radio][@checked]")

如果你对查询语言的工作原理还有疑问，可以订阅这里的邮件列表。

CSS查询器

jQuery完全支持CSS1.3。

关于CSS的一些资料查看下面的连接：

CSS 1
CSS 2
CSS 3

下面列出来的是支持的CSS查询器的列表式语法：

* 任何元素
E 类型为E的元素
E:root 类型为E，并且是文档的根元素
E:nth-child(n) 是其父元素的第n个类型为E的子元素
E:first-child 是其父元素的第1个类型为E的子元素
E:last-child 是其父元素的最后一个类型为E的子元素
E:only-child 且是其父元素的唯一一个类型为E的子元素
E:empty 没有子元素（包括text节点）的类型为E的元素
E:enabled
E:disabled 类型为E，允许或被禁止的用户界面元素
E:checked 类型为E，处于选中状态的用户界面元素（例如单选按钮或复选框）
E.warning 类型为E，且class属性值为warning
E#myid 类型为E，ID为 "myid"。（至多匹配一个元素）
E:not(s) 类型为E，不匹配选择器s
E F 在类型E后面的类型为F的元素
E > F 为E元素子元素的F元素
E + F an F element immediately preceded by an E element
E ~ F an F element preceded by an E element

不同之处

所有的属性选择器都被写成和XPath极其相似（因为所有的属性都以@符号开始）。

E[@foo] 拥有foo属性的E元素
E[@foo=bar] foo属性的值为bar的E元素
E[@foo^=bar] foo属性的值以字符串"bar"开始的E元素
E[@foo$=bar] foo属性的值以字符串"bar"结尾的E元素
E[@foo*=bar] foo属性的值包含有字符串"bar"结尾的E元素

不支持的部分

E:link
E:visited an E element being the source anchor of a hyperlink of which the target is not yet visited (:link) or already visited (:visited)
E:active
E:hover
E:focus an E element during certain user actions
E:target an E element being the target of the referring URI
E::first-line the first formatted line of an E element
E::first-letter the first formatted letter of an E element
E::selection the portion of an E element that is currently selected/highlighted by the user
E::before generated content before an E element
E::after generated content after an E element

jQuery不支持下列的选择器，因为这些没什么用处。

E:nth-last-child(n) an E element, the n-th child of its parent, counting from the last one
E:nth-of-type(n) an E element, the n-th sibling of its type
E:nth-last-of-type(n) an E element, the n-th sibling of its type, counting from the last one
E:first-of-type an E element, first sibling of its type
E:last-of-type an E element, last sibling of its type
E:only-of-type an E element, only sibling of its type
E:lang(fr) an element of type E in language "fr"

XPath 查询器

XPath是jQuery内置支持的一种表达式语言。jQuery支持基本的XPath表达式。

定位路径

绝对路径
$("/html/body//p")
$("/*/body//p")
$("//p/../div")
相对路径
$("a",this)
$("p/a",this)

支持的Axis选择器

Descendant Element has a descendant element

$("//div//p")

Child Element has a child element

$("//div/p")

Preceding Sibling Element has an element before it, on the same axes

$("//div ~ form")

Parent Selects the parent element of the element

$("//div/../p") 支持的谓词

[@*] 拥有一个属性
$("//div[@*]")
[@foo] 拥有foo属性
$("//input[@checked]")
[@foo='test'] 属性foo值为'test'
$("//a[@ref='nofollow']")
[Nodelist] Element contains a node list, for example:
$("//div[p]")
$("//div[p/a]")

支持的谓词，但与XPath和CSS又不同的

[last()] or [position()=last()]改为:last
$("p:last")
[0] or [position()=0] 改为 :eq(0) or :first
$("p:first")
$("p:eq(0)")
[position() < 5] 改为:lt(5)
$("p:lt(5)")
[position() > 2] 改为:gt(2)
$("p:gt(2)")

定制的选择器

jQuery包含一些在CSS和XPath都不用到的表达式，但我们觉得它们使用起来非常方便，所以包含进来了。

下列的列表式语法基于不同的CSS选择器，但又有非常相似的名字。

:even 从匹配的元素集中取序数为偶数的元素
:odd 从匹配的元素集中取序数为奇数的元素
:eq(0) and :nth(0) 从匹配的元素集中取第0个元素
:gt(4) 从匹配的元素集中取序数大于N的元素
:lt(4) 从匹配的元素集中取序数小于N的元素
:first 相当于 :eq(0)
:last 最后一个匹配的元素
:parent 选择包含子元素（包含text节点）的所有元素
:contains('test') 选择所有含有指定文本的元素
:visible 选择所有可见的元素（display值为block 或者visible 、visibility 值为visible的元素，不包括hide域）
:hidden 选择所有隐藏的元素(非Hide域，且display值为block 或者visible 、visibility 值为visible的元素)

例：

$("p:first").css("fontWeight","bold"); $("div:hidden").show(); $("div:contains('test')").hide();

表单选择器
这是为表单提供的一些选择器：

:input 选择表单元素（input, select, textarea, button）
:text 选择所有文本域(type="text")
:password 选择所有密码域(type="password").
:radio 选择所有单选按钮(type="radio").
:checkbox 选择所有复选框(type="checkbox").
:submit 选择所有提交按钮(type="submit").
:image 选择所有图像域 (type="image").
:reset 选择所有清除域(type="reset").
:button 选择所有按钮(type="button").

同样也可以使用:hidden，详细说明上面已经介绍过。

$('#myForm :input')

如果你需要指定表单：

$('input:radio', myForm)

这将选择myForm表单中所有单选按钮。选择radio通常是用[@type=radio]，但是这样用理精简些。

更多的选择器

jQuery选择器可以用一些第三方部件进行扩充：

More Selectors Plugin
Mike Alsup on Custom Selectors
Patch to allow selection by CSS property (full plugin to be released simultaneously with 1.1)

本文链接