博客园_Ray Wu

10亿记录的分区讨论，高手进

2012-05-22T01:54:00Z

我们做的是一个问卷调查系统，每天新增的数据量在300万~500万（答卷表），总数据量已经接近10亿。

答卷表结构：

QID 问卷ID

JID 参与ID

TID 题目ID

AID 答案ID

已经用sql server针对QID做了分区，但是服务器还是有点扛不住。

因为数据经常需要做统计分析（统计每个选项被选择了多少次），同时又会被不断的写入。

所以考虑将历史数据转移到另一个服务器上。

暂定的方案是每天晚上执行作业，将3个月以前的记录移动到历史库里面。（历史库基本上用于统计分析）

后续会考虑用sql server 发布与订阅的方式来进行读写分离。

不知道大家有没有更好的方案？

本文链接

测试问卷星问卷公开的问题

2012-05-10T13:34:00Z

http://www.sojump.com/jq/1540481.aspx

http://www.sojump.com/jq/1540485.aspx

本文链接

asp.net高性能之路：无缝切换HttpRuntime.Cache与Memcached，附代码

2011-12-01T02:09:00Z

概述

之前网站一直使用asp.net自带的cache，也就是HttpRuntime.Cache。这个的优点是进程内cache，效率非常高，同时对于缓存的对象可以直接获得

引用，并进行修改，不需要再进行清空缓存。但是使用HttpRuntime.Cache，无法进行扩展，也无法使用web园等等。

方案

之前有看dudu写的关于northscale memcached的文章，觉得很不错，故进行了一下尝试。由于初次使用，出问题的时候要能随时切换回HttpRuntime.Cache，

故使用了策略模式，实现无缝切换缓存模式的功能。Memcached的封装类请在https://github.com/enyim/EnyimMemcached/downloads进行下载，我使用的是Northscale.Store.2.8

接口

using System;
using System.Collections.Generic;
using System.Web;

/// <summary>
/// 缓存策略接口
/// </summary>
public interface ICacheStrategy
{
void AddObject(string objId, object o);

void AddObjectWithTimeout(string objId, object o, int timeoutSec);

void AddObjectWithFileChange(string objId, object o, string file);

//void AddObjectWithDepend(string objId, object o, string[] dependKey);

void RemoveObject(string objId);

object RetrieveObject(string objId);

int TimeOut { set; get; }
}

HttpRuntime.Cache实现类

using System;
using System.Collections.Generic;
using System.Web;
using System.Web.Caching;

/// <summary>
/// 默认的缓存策略，实现了缓存策略接口
/// </summary>
public class DefaultCacheStrategy : ICacheStrategy
{
private static readonly DefaultCacheStrategy instance = new DefaultCacheStrategy();

protected static volatile System.Web.Caching.Cache webCache = System.Web.HttpRuntime.Cache;

protected int _timeOut = 1; //默认缓存一分钟，也可以单独设置对象的超时时间

/// <summary>
/// Initializes the <see cref="DefaultCacheStrategy"/> class.
/// </summary>
static DefaultCacheStrategy()
{
//lock (syncObj)
//{
// //System.Web.HttpContext context = System.Web.HttpContext.Current;
// //if(context != null)
// // webCache = context.Cache;
// //else
// webCache = System.Web.HttpRuntime.Cache;
//}
}

public int TimeOut
{
set { _timeOut = value > 0 ? value : 6000; }
get { return _timeOut > 0 ? _timeOut : 6000; }
}

public static System.Web.Caching.Cache GetWebCacheObj
{
get { return webCache; }
}

public void AddObject(string objId, object o)
{

if (objId == null || objId.Length == 0 || o == null)
{
return;
}

CacheItemRemovedCallback callBack = new CacheItemRemovedCallback(onRemove);

if (TimeOut == 6000)
{
webCache.Insert(objId, o, null, DateTime.MaxValue, TimeSpan.Zero, System.Web.Caching.CacheItemPriority.High, callBack);
}
else
{
webCache.Insert(objId, o, null, DateTime.Now.AddMinutes(TimeOut), System.Web.Caching.Cache.NoSlidingExpiration, System.Web.Caching.CacheItemPriority.High, callBack);
}
}

public void AddObjectWithTimeout(string objId, object o, int timeoutSec)
{
if (objId == null || objId.Length == 0 || o == null || timeoutSec <= 0)
{
return;
}

CacheItemRemovedCallback callBack = new CacheItemRemovedCallback(onRemove);

webCache.Insert(objId, o, null, System.DateTime.Now.AddSeconds(timeoutSec), System.Web.Caching.Cache.NoSlidingExpiration, System.Web.Caching.CacheItemPriority.High, callBack);
}

public void AddObjectWithFileChange(string objId, object o, string file)
{
if (objId == null || objId.Length == 0 || o == null)
{
return;
}

CacheItemRemovedCallback callBack = new CacheItemRemovedCallback(onRemove);

CacheDependency dep = new CacheDependency(file);

webCache.Insert(objId, o, dep, Cache.NoAbsoluteExpiration, TimeSpan.FromHours(1), System.Web.Caching.CacheItemPriority.High, callBack);
}

//public void AddObjectWithDepend(string objId, object o, string[] dependKey)
//{
// if (objId == null || objId.Length == 0 || o == null)
// {
// return;
// }

// CacheItemRemovedCallback callBack = new CacheItemRemovedCallback(onRemove);

// CacheDependency dep = new CacheDependency(null, dependKey, DateTime.Now);

// webCache.Insert(objId, o, dep, System.DateTime.Now.AddMinutes(TimeOut), System.Web.Caching.Cache.NoSlidingExpiration, System.Web.Caching.CacheItemPriority.High, callBack);
//}

public void onRemove(string key, object val, CacheItemRemovedReason reason)
{
switch (reason)
{
case CacheItemRemovedReason.DependencyChanged:
break;
case CacheItemRemovedReason.Expired:
{
//CacheItemRemovedCallback callBack = new CacheItemRemovedCallback(this.onRemove);

//webCache.Insert(key, val, null, System.DateTime.Now.AddMinutes(TimeOut),
// System.Web.Caching.Cache.NoSlidingExpiration,
// System.Web.Caching.CacheItemPriority.High,
// callBack);
break;
}
case CacheItemRemovedReason.Removed:
{
break;
}
case CacheItemRemovedReason.Underused:
{
break;
}
default: break;
}

//TODO: write log here
}

public void RemoveObject(string objId)
{
//objectTable.Remove(objId);
if (objId == null || objId.Length == 0)
{
return;
}
webCache.Remove(objId);
}

public object RetrieveObject(string objId)
{
//return objectTable[objId];

if (objId == null || objId.Length == 0)
{
return null;
}

return webCache.Get(objId);
}
}

Memcached 实现类

using System;
using System.Collections.Generic;
using System.Web;
using NorthScale.Store;
using Enyim.Caching.Memcached;

/// <summary>
/// Summary description for EnyimMemcachedProvider
/// </summary>
public class EnyimMemcachedProvider
{

private static NorthScaleClient client;

static EnyimMemcachedProvider()
{
try
{
client = new NorthScaleClient();
}
catch (Exception ex)
{
log4net.LogManager.GetLogger("SojumpLog").Info("EnyimMemcachedProvider", ex);
}
}

#region ICacheProvider Members

public void Add(string key, object value)
{
if (client != null)
{
client.Store(StoreMode.Set, key, value);
}
}

public void Add(string key, object value, int cacheSecond)
{
if (client != null)
{
client.Store(StoreMode.Set, key, value, new TimeSpan(0, 0, cacheSecond));
}
}

public object GetData(string key)
{
if (client == null)
{
return null;
}
return client.Get(key);
}

public void Remove(string key)
{
if (client != null)
{
client.Remove(key);
}
}

#endregion

}

策略类

using System;
using System.Collections.Generic;
using System.Web;
using System.Configuration;

/// <summary>
/// The caching manager
/// </summary>
public class CachingManager
{
private static ICacheStrategy cs;
private static volatile CachingManager instance = null;
private static object lockHelper = new object();

//private static System.Timers.Timer cacheConfigTimer = new System.Timers.Timer(15000);//Interval in ms

static CachingManager()
{
string type = ConfigurationManager.AppSettings["CacheStrategy"];
if (type == "2")
cs = new MemCacheStrategy();
else
cs = new DefaultCacheStrategy();

////Set timer
//cacheConfigTimer.AutoReset = true;
//cacheConfigTimer.Enabled = true;
//cacheConfigTimer.Elapsed += new System.Timers.ElapsedEventHandler(Timer_Elapsed);
//cacheConfigTimer.Start();
}

private static void Timer_Elapsed(object sender, System.Timers.ElapsedEventArgs e)
{
//TODO:
}

public static CachingManager GetCachingService()
{
if (instance == null)
{
lock (lockHelper)
{
if (instance == null)
{
instance = new CachingManager();
}
}
}

return instance;
}

public virtual void AddObject(string key, object o)
{
if (String.IsNullOrEmpty(key) || o == null) return;

lock (lockHelper)
{
if (cs.TimeOut <= 0) return;

cs.AddObject(key, o);
}
}

public virtual void AddObject(string key, object o, int timeout)
{
if (String.IsNullOrEmpty(key) || o == null) return;

lock (lockHelper)
{
if (cs.TimeOut <= 0) return;

cs.AddObjectWithTimeout(key, o, timeout);
}
}

public virtual void AddObject(string key, object o, string file)
{
if (String.IsNullOrEmpty(key) || o == null) return;

lock (lockHelper)
{
if (cs.TimeOut <= 0) return;

cs.AddObjectWithFileChange(key, o, file);
}
}

public virtual object RetrieveObject(string objectId)
{
return cs.RetrieveObject(objectId);
}

public virtual void RemoveObject(string key)
{
lock (lockHelper)
{
cs.RemoveObject(key);
}
}

public void LoadCacheStrategy(ICacheStrategy ics)
{
lock (lockHelper)
{
cs = ics;
}
}

//public void LoadDefaultCacheStrategy()
//{
// lock (lockHelper)
// {
// cs = new DefaultCacheStrategy();
// }
//}
}

调用代码

string key ="test"

CachingManager cm = new CachingManager();

cm.AddObject(key,new Object(),60);//缓存对象60秒。

不足

Memcached无法使用CacheDependency，需要自己去进行处理。如你的缓存对象依赖于文件，则在文件修改时要直接清空缓存。

Memcached也无法清空某一类的缓存对象，有时因为数据库做了修改，你要清空key以activity_开头的一系列对象的话，是做不到的。

变通的方案是先将key加入到List或Dictionary中，如下代码：

public void ClearCacheByPattern(string pattern)
{

if(client!=null)
return;

object c = client.Get("globel_cacheitems");

if (c==null)
return;

List<string> cacheitems = (List<string>) c;

foreach (string cacheitem in cacheitems)

{

if (cacheitem.StartsWith(pattern))

{

client.Remove(cacheitem);

}

}
}

补充：感谢园友YLH对批量删除缓存的回复：

Memcached为了高性能而设计，功能少了很多。如果内存不吃紧的话，批量删除缓存项，可以采用设置key分区，为分区加上版本号来解决。

要批量删除一个分区的缓存，只需要升级一下缓存分区的版本号即可。目前我们在项目中就是采用这种方案。

这个方案是目前批量删除缓存项的比较完美的方案了，多谢YLH!

如有什么问题，请在下面回复，大家一起讨论。

本文链接

非常怪异的服务器网络问题【续】，附排查问题思路

2011-10-11T01:02:00Z

上次写了 “非常怪异的服务器网络问题，请有经验的朋友帮忙看下”这篇文章后，得到大家的帮助，让问题范围变少，非常感谢大家！

问题的现象是：我使用Connection:keep-alive的连接不断的访问测试页面，测试页面没有问题。

通过在firefox上安装modify header插件将Connection修改为close然后连接不断的访问测试页面，测试页面过一段时间就会出现"unable to connect"的错误。

出现这个错误的时候页面很快就会返回，而不像503错误的时候要等待一段时间才返回。

测试页面一个是asp.net页面，一个是静态文件。两个会同时出现问题。

这个说明服务器在出现问题的时候无法创建新的连接来响应请求。

为了进一步缩小问题的范围：
我通过在服务器上访问127.0.0.1来测试，还是出现上面的问题，这个基本上可以排除是网络引起的问题了，因为127.0.0.1不需要经过网卡。

这样基本上可以确定是程序或者IIS的问题了。

为此我为网站添加了两个“主机头”，用了8080端口。我同时通过127.0.0.1和127.0.0.1:8080端口访问测试页面：

发现8080端口一直都没有出现问题，而80端口还是出现跟上面一样的问题。

这证明IIS无法在80端口创建更多的连接来响应请求。

我初步判断跟负载会有关系，为此我新建了一个计划任务，在凌晨3：00钟的时候自动打开firefox浏览器，然后自动通过80和8080商品访问测试页面：

今天早上发现8080端口一直没有问题，而80端口在早上07：09：48的时候出现“Unable to connect”的情况。

以前一般在半小时以内就会出现问题，这个测试用了4个小时才出现问题。这说明这个问题跟负载确实有关。

请大家帮忙分析一下，在什么样的情况下会引起这种现象，感激不尽！我快被这个问题折磨疯了。

我之前碰到程序的问题大部分都是引起CPU过高，而不会出现无法建立连接的情况。

这次CPU什么的都很正常，事件查看器里面和iis log以及httperr里面一直没有任何相关信息，让人无从下手。

我们有一个网站之前有大量访问淘宝API，后来我禁用此功能后还是出现此问题。其他的对外链接就是访问新浪微博和腾讯微博，以及支付宝和快钱等网关了。

本文链接

非常怪异的服务器网络问题，请有经验的朋友帮忙看下

2011-10-08T03:09:00Z

最近一段时间我们服务器出现了比较奇怪的网络问题，偶尔会出现流量非常低的情况，如下图：

出现此情况时，在客户端会出现部分无法访问（我跟同事同时测试：有时出现我不能访问的情况，有时他不能访问的情况）的问题。

大概5-10秒钟后就马上恢复了。出现这种情况的时候CPU跟内存使用都非常正常，CPU不超过10%。

中间我们有更换到一个新的网卡（服务器有两块相同的网卡，驱动是一样的），还是会出现此问题，接着我们又更换到新的IP（为了更换交换机）还是会出现此问题。

为了测试问题所在，我们写了一个页面，可以按指定的时间如1秒，2秒等进行自动刷新，在客户端的浏览器和服务器的浏览器同时访问此页面，

我们对此页面的每次访问都使用了GUID来进行标识并保存到数据库。

我使用了三个浏览器进行测试：chrome和ie使用connection:KEEP-ALIVE连接，FIREFOX使用Connection:close的HTTP HEADER。

每次在流量低谷的时候,CHROME和IE没有问题，FIREFOX会出现无法访问的问题。

FIREFOX出现无法访问时，我们无法在IIS的日志中查到出现问题时的GUID，也无法在数据库中查询到。证明此请求没有转交到IIS。

我已经关闭过COMODO和MSE，还是会出现问题。证明不是防火墙的问题

PING网关也是正常的。在本地PING服务器也是正常的。

我同时访问了三个网站：www.sojump.com,www.sojiang.com,blog.sojump.com,test.sojump.com 四个网站在同一个IIS下，使用的是不同的程序池。

blog.sojump.com用的是开源的blogengine.net，test.sojump.com下面只有一个测试用的静态页面。

四个网站会在流量低谷的时候同时出现问题。证明跟程序和ASP.NET关系不大。

我们使用了微软的Network Monitor进行抓包，没有抓到访问出问题的时候那个URL，其他的包都有抓到。

中间IDC机房有跟我们说：

以前一个客户也出现过类似的情况，他们使用的是100M独享带宽，在网络流量维持很高峰的时候，也会有几秒钟流量会突然降到5M以下，后来他们更新了网卡驱动程序就恢复了。

我们的情况有点不一样，我们流量在降到很低的时候，在之前网络流量并没有到很高峰。有时网络流量一直在最高峰的时候也没出现此情况。

我们的网卡是INTEL的，网卡驱动使用的是微软自带的驱动，，由于更新网卡驱动怕影响到整个网站的访问，所以我们不敢贸然更新网卡驱动，不知道有没有兄弟之前碰到过类似的问题？

服务器配置：windows 2008 r2 standard

IIS 7.5

sql server 2008 Enterprise

安装了COMODO防火墙和微软MSE杀毒软件

intel 至强E5620 2块 24G内存

网络适配器Intel(R) 82574L Gigabit Network Connection

希望管理员能让此文章保留到首页，非常感谢！

本文链接

测试

2011-05-12T01:28:00Z

2011-05-12T01:28:00Z2011-05-12T01:28:00ZRay Wuhttp://www.cnblogs.com/drunkyong/

本文链接

可以模仿，但不能无耻

2010-11-17T01:31:00Z

当模仿已经成为国内互联网行业的潜规则，我们不禁要思考一个问题：抄袭究竟应不应该有人格底线？

请看下面几组截图，左边是问卷星的页面，右边是抄袭者的页面

查看问卷星截图的原始网页查看态度8截图的原始网页


查看问卷星截图的原始网页查看态度8截图的原始网页

作为在线问卷调查领域领先多年的网站，从功能到内容，问卷星一直被竞争对手模仿，但我们没有料到的是，居然会发生这种赤裸裸的全盘抄袭行为，而且对方自称是“中国第一家自助网络调查互动平台”，一个上过CCTV的权威调查公司。更滑稽的是，在他们的页面上居然还保留有多处“问卷星”字样，是抄袭者的疏忽还是特意向原创者“致敬”？我们不得而知。

我们一直认为，正常的模仿、借鉴刺激着领先者必须时刻保持警惕，付出比跟随者更多的努力来确保领先地位，即使算不上绝对公平，但至少也在客观上促进了整个领域的进步，但没有人格底线的抄袭行为破坏了整个行业的生态环境，不仅侵犯了原创者的合法权益，对抄袭者而言也是对自身创新能力的自我阉割，而且还要承担巨大的法律责任和名誉损失上的风险，对于一个真正想要着眼未来的公司，这样急功近利的行为实在是百害而无一利。

由于在国内相关法律机制暂时不够完善，似乎可以肆无忌惮任意抄袭，但实际上没有哪个公司是可以靠单纯的抄袭这种流氓行为而成功的，因为抄袭者一旦陷入纯粹模仿的思维定势，必定会不思创新，进而逐步失去自身的核心优势，也失去自己的人格尊严，沦为跟风一族。我们期待中国互联网能走出抄袭的怪圈，多一些创新，多一些希望。

问卷星团队
2010-11-16

本文链接

也谈谈人人网的不正当竞争

2010-11-05T14:06:00Z

前言

很早以前就想写这篇文章的，考虑到写了也没多大作用，就一直没有动笔。看了最近360与QQ的争斗，

感觉中国互联网环境确实不怎么样，还是写出来，多少能荡起点水花，也算做个备忘。

正文

我们自己现在创业做一个问卷调查的网站：问卷星。虽然没有什么名气，靠着自己的努力实现了收支平衡，能够在中国的互联网环境中不靠广告收入存活下去，也算

是一件不容易的事情。

当时看着大家都在做开放平台，做分享，就在自己的网站提供了“开心网”，“新浪微博“，”“人人网”（已移除）等网站的分享功能。截图如下：

加入分享时，才发现我们网站已经被人人网给屏蔽掉了。点击任何一个页面的分享都会出现下面的情况，截图如下：

也是“可能含有”这种莫须有的借口把我们的网站给屏蔽掉了。我们是一个非常正规的问卷调查工具类网站，到目前为止填写问卷的用户超过了1300万。

其他网站的分享功能都是能正常使用的，这还不算，我们网站的用户也不断发邮件来反馈说不能在人人网上跟自己的好友分享自己的问卷，不知道什么原因。

与人人网的交涉过程

为此我们专门联系了人人网的客服（电话打不通，只能通过留言），刚开始还有回应，最后不知道什么原因，再问他们就完全没有回音了。截图如下：

人人网客服在根本就没有了解情况也没有进行任何尝试的情况下，就用一个“可能”回复了我们。

我们的首页完全是我们自己的，竟然也不能在人人网上与自己的好友分享，

不知道这个需要谁授权？难道是要人人网授权我们问卷星网站？

后来再给他们的客服发了一个留言，就没有任何消息了。截图如下：

总结：

后来才发现原来是人人网自己也开发了一个调查模块。因为自己开发了这个调查模块，而把竞争对手的东西完全屏蔽掉，并给了一个完全荒谬的借口，

这就是这种大网站的竞争手段。要是不了解我们的用户，还真以为我们网站有什么不和谐的东西呢。

对此我们也无法可想，只能自己把产品做得更好！同时期待这种没有行业道德的网站能早日被他的竞争对手取代。

PS：什么样的公司做什么样的事情，从真假开心网就可以看出人人网的本质。

本文链接

腾讯被打残吧，360去死吧

2010-10-29T09:23:00Z

前言：

本来是想写一遍文章来说说我对腾讯跟360的看法的，看了

评论：狗日的腾讯狗日的360

把我想说的都说出来了，以为我不用再写文章了。不过看了这篇

360，你若称帝，谁能治你

的恶心文章后，我还是整理成一篇文章发出来吧。

话说当今互联网的巨头，谁都或多或少有一些原罪，只要没有违反法律，大家也都只能看看，说不定自己也能学习学习这些企业的行为从中获得一些启发。

论述：

腾讯有模仿的原罪，所以在360发布隐私保护器时，其他门户像163，SOHU,SINA，游戏厂商盛大都是暗中支持360的，这点从他们的新闻就可以看出来，腾讯的模仿让大家恨之又恨，但是又奈之不何。腾讯让其他门户的广告收入，SP收入，用户群等受到冲击，像163跟盛大的游戏受到的冲击就更大了，这是腾讯得罪大老们的地方，因为模仿得罪小网站，小公司的地方可能就更多了。　

３６０的原罪就更严重了，前身是3721的360,在抹黑对手，卸载对手软件，恶意雇用枪手诽谤对手方面简直玩得炉火纯青了。谁要当360的对手，我就抹黑你，卸载你，看你还敢不敢进入我的地盘。就拿这件事来说，从博客园的评论中就有不少360的枪手。

当然360的产品本身是做得很出色的，用户体验方面也确实值得称道，至少使用360以后很少中毒是事实（恶意的揣测360自己研发的攻击病毒只会针对没有安装360的电脑）。

都说以用户为中心，腾讯在模仿上面也确实在不少地方做到了超越对手的地方，凭借本身强大至无敌的客户端，让对手的先发优势完全丧失，这也是为什么大家这么痛恨腾讯的地方，因为根本不能在同一起跑线上跟腾讯竞争。腾讯的QQ医生也是如此，这让360开始感到害怕了。

其实也不能怪360没有自信在产品上战胜QQ医生,实在是QQ太强大了，而且QQ静默安装QQ医生的行为，简直是在挖周老板的坟墓。周老板已经感觉自己没办法从用户体验上取胜，以后接之而来的流氓行为就太自然了。

对于腾讯的这些行为，确实也是要360给他点教训，被一条疯狗咬一口才知道痛，谁让中国还没有反垄断法，可以让腾讯比微软的行为更恶劣，更加肆无忌惮。

结论：
总之两个都不是好东西，在我看来腾讯还算是相对合法的行为，虽然不正当，但还是守规矩的，360的行为则完全就是流氓了，感觉很快又要回到3721的时代了。

在这里我想说的是让暴风雨来得更猛烈些吧，360把腾讯搞残，让腾讯以后的模仿行为收敛些。腾讯把360搞死，让互联网少一个流氓，说不定以后的网络时代也会更加安全。

这样这场斗争才能让我等小民受益！

本文链接

测试

2010-07-23T03:24:00Z

2010-07-23T03:24:00Z2010-07-23T03:24:00ZRay Wuhttp://www.cnblogs.com/drunkyong/

本文链接