博客园_叶进.NET

用WPF+MongoDB开发房产信息收集器(4)——房产信息采集器总体介绍附程序下载

2011-11-13T11:51:00Z

又是一个周末，到目前为止，房产信息采集的基本功能可以说是完成了。主要包括

功能性
增删改标签；
删除、关注房产信息；
非功能性
快捷键；
最小化系统托盘；
工具栏、状态栏等；

下面大致说下软件整体的情况和功能：

概况
在主画面左侧是标签栏，用于显示自定义的标签和软件默认的标签（我关注的和全部）。
表格上部是工具栏，其操作是针对表格中选中的行的。另外工具栏上最后两个按钮的功能分别是下载和刷新。
画面最下面是状态栏，主要用于显示操作的状态和下载状态。
左侧标签栏
标签是用户自定义添加的。用于过来下载下来的数据。用户可以根据自己关注的区域、价格、面积等设置标签的属性，方便筛选。右键侧边栏可以打开增删改标签的菜单。
同时软件默认有我的关注标签，用于显示用户关注的房产信息。
工具栏、状态栏
工具栏的操作是针对选中的行的。其他没什么好说的。
最小化系统托盘
软件在最小化时会最小化到系统托盘，方便在后台运行。要不然总是在状态栏里显示着，影响大家工作。哈哈。

在运行程序之前，需要在本机安装有MongoDB数据库~~~各位有没有可以用程序安装MongoDB数据库及启动相应服务的方法，还请不吝赐教。

最后附上程序下载，各位敬请拍砖。房产信息采集

本文链接

用WPF+MongoDB开发房产信息收集器(3)——MongoDB入门

2011-11-13T04:25:00Z

距离上一篇文字过去已经很久了。一方面是工作有点忙，另外也是遇到点问题，到现在也没有解决。这个问题我会在文章的结尾在提出来，现在先进入这篇文章的主题吧——MongoDB入门。

由于我完全是一个彻彻底底的初学者，所以写的都只是非常非常粗浅的入门内容，各位看官不要鄙视~~~~

数据库安装
数据库的安装，网上到处都是，我也是Google的，就不哆嗦，这里上个链接吧。MongoDB 安装与启动
另外，对于初学者来说，我觉得直接用命令行是最好的学习数据库命令的途径。但毕竟比较累。这里也推荐两个GUI的MongoDB数据库管理工具。
1. MongoVUE 这是老外开发的一个工具。
2. MagicMongoDBTool 这是原子里的magicDict开发的。各位可以去膜拜下~哈哈。作者已经开源了项目，有兴趣的朋友可以下载源代码自己瞅瞅。
数据库连接
在连接数据库之前，我们首先需要确定我们要用的MongoDB Driver，Driver其实有很多，但我都没有接触过，也是初学，就从官方的Driver开始吧。下载编译之后应该有两个dll文件，分别是MongoDB.Bson.dll和MongoDB.Driver.dll。
下面是我数据库连接的代码：
///<summary>
/// 连接数据库
///</summary>
///<param name="info"></param>
public static void Connect(DbInfo info)
{
DbHelper.info = info;
if (info.DbType == DbType.MongoDB)
{
MongoServerSettings mss = new MongoServerSettings();
mss.ConnectionMode = ConnectionMode.Direct; // 数据库连接模式
//mss.ConnectionMode = ConnectionMode.ReplicaSet; // 这个是针对数据库集的（多个数据库地址）
mss.ConnectTimeout = new TimeSpan(0, 0, 20); // 超时时间 20s
mss.Server = new MongoServerAddress(info.Source, info.Port); // 数据库
// mss.Servers是针对数据库集的

//mss.DefaultCredentials = new MongoCredentials(info.Uid, info.Pwd, true);
MongoServer ms = new MongoServer(mss);
MongoDatabaseSettings mds = new MongoDatabaseSettings(ms, info.DbName);

ms.Connect();
db = new MongoDatabase(ms, mds); // 保存MongoDatabase信息，以便后续调用
}
}
这样连接数据库就OK了。
Mapping
连接好了数据库，就需要将自己定义的类和数据进行映射了。Driver里面（MongoDB.Bson.dll）已经提供了相应的映射方法：
BsonClassMap.RegisterClassMap<T>(cm =>
{
cm.AutoMap();
});
另外在Mapping的时候也可以直接设置id以及id生成的方法：
BsonClassMap.RegisterClassMap<T>(cm =>
{
cm.AutoMap();
cm.SetIdMember(cm.GetMemberMap(c => c.ID));
cm.IdMemberMap.SetIdGenerator(StringObjectIdGenerator.Instance);
});
如果不在映射的时候设置，也可以在定义类时为相应的ID字段添加BsonId的属性：
[BsonId(IdGenerator = typeof(StringObjectIdGenerator))]
public virtual string ID { get; set; }
通过属性，也可以设置属性不映射到数据库，那样在读写数据库的时候，该属性就会被忽略掉：
[BsonIgnore]
public string FavImage {get; set;}

增删改查数据库
接下去我们就可以通过Driver读写数据库了。
在获取数据之前，我们需要获取对应类映射的Collection：
DbHelper.db.GetCollection<T>(name); // name表示T映射的Collection名称
GetCollection这个方法必须指定name参数。其实这里我觉得之前在映射的时候应该已经确定了T对应的Collection的名称，为什么这里的name必须要指定呢？还是说有其他方法我不知道的？
MongoDB的读数据是Find命令。在Driver中也都是Find/FindAll方法。
GetCollection<T>().FindAll();
在实际应用在，我们一般都是会有查询条件，以及排序条件的。
MongoDB的查询条件是IMongoQuery，排序条件是IMongoSortBy。
GetCollection<T>().Find(query).SetSortOrder(sortBy);
同时你也可以利用SetSkip和SetLimit来进行分页：
GetCollection<T>().Find(query).SetSortOrder(sortBy).SetSkip(skip).SetLimit(limit);
下面的是我根据标签获取对应数据的方法，根据更新时间排序，还没有处理分页的功能：
///<summary>
/// 获取标签对应的数据
///</summary>
///<param name="ht"></param>
///<returns></returns>
public static List<HouseInfo> Find(HouseTag ht)
{
QueryComplete query = null;
if (ht != null)
{
query = Query.And(
Query.GTE(HouseTag.PNameArea, ht.AreaMin),
Query.LTE(HouseTag.PNameArea, ht.AreaMax),
Query.GTE(HouseTag.PNamePrice, ht.PriceMin),
Query.LTE(HouseTag.PNamePrice, ht.PriceMax),
Query.GTE(HouseTag.PNamePriceTotal, ht.PriceTotalMin),
Query.LTE(HouseTag.PNamePriceTotal, ht.PriceTotalMax),
Query.GTE(HouseTag.PNameYear, ht.YearMin),
Query.LTE(HouseTag.PNameYear, ht.YearMax)
);
if (!string.IsNullOrEmpty(ht.Zone))
{
MongoDB.Bson.BsonRegularExpression reg = new MongoDB.Bson.BsonRegularExpression(string.Format("*{0}*", ht.Zone));
query = Query.And(query, Query.Matches(HouseTag.PNameZone, reg));
}
}
return MongoHelper.FindAll<HouseInfo>(query, SortBy.Descending("UpdateTime")).ToList();
}
获取了数据之后，接下去就是保存数据了，保存（新增和修改）数据相对简单一点，直接用Save就好了，而且，我这里也没有处理变化的数据，每次保存都是整个对象进行了更新（就效率而言，肯定不合适，但就编程而言，那是方便不只一点点啊）：
///<summary>
/// 更新数据集合
///</summary>
///<typeparam name="T"></typeparam>
///<param name="listEntity"></param>
public static void Save<T>(IEnumerable<IMongoEntity> listEntity)
where T : class, IMongoEntity
{
if (listEntity != null)
{
MongoCollection<T> col = GetCollection<T>();
foreach (IMongoEntity entity in listEntity)
{
col.Save(entity);
}
}
}
删除数据相对更新有个差别是需要根据对应获取条件（IMongoQuery）：
///<summary>
// 删除数据集合
///</summary>
///<typeparam name="T"></typeparam>
///<param name="listEntity"></param>
public static void Remove<T>(IEnumerable<IMongoEntity> listEntity)
where T : class, IMongoEntity
{
if (listEntity != null)
{
MongoCollection<T> col = GetCollection<T>();
foreach (IMongoEntity entity in listEntity)
{
col.Remove(Query.EQ("ID", entity.ID));
}
}
}

在最后说明下我在文章开头的时候提到的之前遇到的问题。

是这样的，我觉得这个房产信息采集器的目标用户主要是些关注房产交易信息的朋友，而这些人总不能都指望他们是IT出身，或者希望他们可以非常顺利的自己安装部署MongoDB吧。所以我就想是否可以在程序运行的时候自己去判断是否有MongoDB的服务，是否已经启动了MongoDB数据库。如果没有服务的话，创建一个服务；如果没有启动的话，就启动相应的服务。总之只要打开房产信息采集器，不需要再做其他的就直接可以用了。可是笔者尝试了n久，没能实现创建MongoDB服务的功能。

我的想法是在发布的时候将MongoDB的相应目录也一起放在程序的根目录。然后在没有相应服务的时候，启动相应的命令行自动创建MongoDB的服务，并启动。

所以这里有两个问题：

自动创建MongoDB的服务。
自动运行MongoDB的服务。

这两个问题，当然也可以引申为创建并启动服务（包括其他任何服务）。

不知道各位有没有什么建议或已经实现的方法？如果有的话，评论、私信都欢迎啊。最好能有现成的代码。哈哈。

本文链接

用WPF+MongoDB开发房产信息收集器(2)——后台线程

2011-10-25T04:32:00Z

想必童鞋们都知道，在进行耗时操作（如这里的爬虫抓取分析网站数据）时，如果没有后台线程来执行，就会造成界面假死。

针对这个问题，.NET会为我们提供了很多处理后台线程的工具，BackgroundWorker就是其中一个，他将线程的处理全部都封装好了，对于应用那是一用一个方便。

用法相当简单，定义一个BackgroundWorker

private BackgroundWorker bw = new BackgroundWorker();

然后定义其DoWork和RunWorkerCompleted事件，如果想报告进度的话，还可以处理ProcessChanged事件。

bw.DoWork += new DoWorkEventHandler(bw_DoWork);
bw.RunWorkerCompleted += new RunWorkerCompletedEventHandler(bw_RunWorkerCompleted);

我们把耗时的操作（爬虫抓取分析网站数据）放在bw_DoWork里面，在抓取数据的时候要注意，由于是多线程，不能跨线程访问控件，所以如果会操作界面控件等时需要用dispatcher调用委托：

private void bw_DoWork(object sender, DoWorkEventArgs e)
{
e.Result = getData();
}

然后在Completed事件里面显示数据：

private void bw_RunWorkerCompleted(object sender, RunWorkerCompletedEventArgs e)
{
List<HouseInfo> listHI = e.Result as List<HouseInfo>;
rgv.ItemsSource = null;
rgv.ItemsSource = listHI;
}

OK,以上就是用线程来获取数据了。

但是很多情况下我们希望能够让爬虫隔一段时间去爬一下，而不是只爬一次，或者有用户主动触发的时候才爬。所以，我们需要一个闹钟（Timer）来通知爬虫该工作了。

所以，我们再定义一个Timer：

private DispatcherTimer timer = new DispatcherTimer();

定一个Timer的时间间隔和Tick事件：

timer.Tick += new EventHandler(timer_Tick);
timer.Interval = new TimeSpan(0, 5, 0); // 五分钟

然后在Tick事件里通知爬虫工作：

private void timer_Tick(object sender, EventArgs e)
{
if (!bw.IsBusy) // 如果在IsBusy==true的情况下还RunWorker，BackgroundWorker会报异常
{
bw.RunWorkerAsync();
}
}

最后附上可执行程序，供大家拍砖用~房产信息采集器

接下去我会把MongoDB数据库增加上来，把下载下来的数据添加到数据库中~~~~~

用WPF+MongoDB开发房产信息收集器(1)

本文链接

用WPF+MongoDB开发房产信息收集器(1)

2011-10-23T15:20:00Z

我相信，房子是现在压在众多国人肩上的最大负担。我也是其中一员，我也在关注房子。而我又是一个正在用Silverlight开发项目、正在学习MongoDB的程序员，所以，很自然的我想为我自己，也为众多在关注房子的朋友开发一个“房产信息采集器”。

房产信息采集器：

获取房产网站相应的二手房、一手房信息；
可以让用户自主选择需要下载的区域的房产信息；
可以过滤重复数据、虚假数据；
有新信息时可以提醒；
可以设置是否关注或不感兴趣某一楼盘、某一区域的楼盘；
......

今天主要实现了从网站下载、解析数据，并没有将数据保存到数据库。先上图：

要想从网站上获取房产信息首先要知道从哪里去下载、解析这些数据。

很简单，现在的每一个网站都有搜索功能，而搜索结果的都是分页的，这些分页都是有规律的，只要找到这个规律，源源不断的数据就有了。当然，搜索结果的内容只是一个概况，如果要真正解析数据，还必须进入对应房产信息的页面再下载解析。这些都没有什么技术的难点，就是需要去分析网站的html代码，有点烦而已。各位自己琢磨下就完全OK了。

这里推荐一个第三方解析下载Html的工具：Html Agility Pack 至于具体怎么用，CodePlex是的Demo我觉得已经说明的很清楚了，各位可以自己看下。

今天在用这个控件的时候遇到的几个问题跟大家分享下。

用Html Agility Pack来直接下载解析网站的时候会遇到中文乱码的问题。我用的方法是用HttpWebRequest来下载网页的内容，返回一个Stream。
1 HttpWebRequest req = WebRequest.Create(new Uri(url)) as HttpWebRequest;
2 req.Method = "GET";
3 WebResponse rs = req.GetResponse();
4 Stream rss = rs.GetResponseStream();
5 return rss;
然后再用HtmlAgilityPack。后面的解析都是使用HtmlAgilityPack进行的。
XPath的路径问题，/开头的XPath路径表示是从根目录开始的。所以无论你想从一个已经选择好了的HtmlNode下获取其子节点，注意XPath不能用/开头。

今天只是开始，我会坚持下去，一直完成、完善这个工具的。如果各位有什么意见或者感觉需要添加的功能，在下感激不尽。

本文链接

解决FireFox不能Debug Silverlight程序的问题

2011-01-17T07:51:00Z

最近在做一个Silverlight的项目，一直用的是FF，却发现默认情况下FF无法调试Silverlight。困扰了我n久，今天总算是搞定了~

贴出来跟大家分享下：

Try these steps...

Type "about:config" into FF's address bar
Accept the warning (if applicable)
Search for the entry "dom.ipc.plugins.enabled.npctrl.dll"
Change its value from "true" to "false" (double-click)
Restart the browser

OK，搞定~

原文：http://forums.silverlight.net/forums/t/755.aspx

本文链接

终于可以继续往下了！

2009-04-18T08:23:00Z

终于可以继续往下了！

回首2008

2009-01-18T07:37:00Z

09年的脚步已经走出好几步了，我也直到现在才有点空来回顾我的2008，前段时间实在是太忙了（当然，也有空的时候，可是都被我用来看海贼王了，呵呵）！在08年，首先是我顺利的从浙江大学毕业了！走上了我人生的又一段旅程！顺带提一下，俺的毕业论文得了个优秀！哈哈哈哈......在学校的时候，其实不珍惜的读书的好，工作了才猛然惊醒读书的时光是多么地美好！可以睡懒觉，可以偶尔翘翘课，可以玩玩魔兽，可以散散步...

另类的二级域名实现方法

2008-12-01T15:44:00Z

高深的asp.net二级域名方法我不会，我只会土方法，但是却也不失为一个好方法！

【更新 2008.10.16】触发C#Button的双击事件

2008-10-16T05:59:00Z

Button按钮事件默认的DoubleClick事件是被屏蔽的，如何才能处理按钮的双击事件呢？并针对一些朋友的意见和建议进行了改进！

触发C#Button的双击事件

2008-10-13T08:16:00Z

Button按钮事件默认的DoubleClick事件是被屏蔽的，如何才能处理按钮的双击事件呢？