博客园_wsky's blog,Record my technical life

生产环境使用Nuget

2011-09-18T05:15:00Z

官方提供的使用文档比较丰富 http://docs.nuget.org/

要在实际生产环境使用它来做打包和包管理，比之更为成熟的Maven来说，从目前版本来看稍有不足，主要是以下几点：

packages.config的继承和解决方案中的识别

比如：

   1:  nuget update xx.sln

   2:  nuget update packages.config

它做的事只是对比包得版本是否有更新并更新之，只要版本没有变化，即使本地仓库没有这个包也不会去下载它，而

   1:  nuget install packages.config

只能指定具体的config文件，不能通过一个sln件自动去扫描解决方案里的所有packages.config

和build的集成度：

类似上面一点，build的时候不会对本地仓库不存在的必备依赖去自动获取

nuget虽然提供 -build参数，但是仅是使用了MSBuild，本身的构建描述能力缺乏（所以下文在生产环境使用会搭配NANT来完成构建过程），而maven中则比较完整的集成了这个过程

repository的安装位置不可配置：

默认情况下package的安装目录是在.sln所在的目录下建立一个packages目录，也就是说是solutionfile级别的，这个对于项目数量多的时候是比较难接受的，本地开发还好，在build服务器构建的时候就比较麻烦了，不能再同一个位置管理包

这个问题在它的官方已经有人在问了，估计下几个版本会有动作

以下提供一些解决上述问题或实际应用时的一些方法

下述范例所在目录结构：

http://ops-base/feeds/ 是自己hosting的一个nuget feed（http://docs.nuget.org/docs/creating-packages/hosting-your-own-nuget-feeds）

创建包描述文件：

   1:  <?xml version="1.0"?>

   2:  <package xmlns="http://schemas.microsoft.com/packaging/2011/08/nuspec.xsd">

   3:    <metadata>

   4:      <id>Package.Castle</id>

   5:      <version>2.1</version>

   6:      <title>Castle</title>

   7:      <authors>Castle</authors>

   8:      <owners />

   9:      <requireLicenseAcceptance>false</requireLicenseAcceptance>

  10:      <description>

  11:        IOC容器

  12:      </description>

  13:      <copyright>2011</copyright>

  14:      <language>zh-CN</language>

  15:    </metadata>

  16:    <files>

  17:      <file src="Castle\Castle.Core.dll" target="lib\net40\Castle.Core.dll" />

  18:      <file src="Castle\Castle.Core.xml" target="lib\net40\Castle.Core.xml" />

  19:      <file src="Castle\Castle.DynamicProxy2.dll" target="lib\net40\Castle.DynamicProxy2.dll" />

  20:      <file src="Castle\Castle.DynamicProxy2.xml" target="lib\net40\Castle.DynamicProxy2.xml" />

  21:      <file src="Castle\Castle.MicroKernel.dll" target="lib\net40\Castle.MicroKernel.dll" />

  22:      <file src="Castle\Castle.MicroKernel.xml" target="lib\net40\Castle.MicroKernel.xml" />

  23:      <file src="Castle\Castle.Windsor.dll" target="lib\net40\Castle.Windsor.dll" />

  24:      <file src="Castle\Castle.Windsor.xml" target="lib\net40\Castle.Windsor.xml" />

  25:    </files>

  26:  </package>

批量打包和发布到feeds，pack.bat脚本如下：

   1:  echo off

   2:  mkdir assembly\packages

   3:  echo pack

   4:  forfiles /p assembly /m *.nuspec /c "cmd /c ..\tools\nuget pack @file -outputdirectory packages"

   5:  echo push

   6:  forfiles /p assembly\packages /m *.nupkg /c "cmd /c ..\..\tools\nuget push @file -s http://ops-base/feeds/ hello1234"

   7:  echo on

批量安装和更新本地package，nuget.install.bat脚本如下：

   1:  echo off

   2:  echo install

   3:  forfiles /s /m packages.config /c "cmd /c %1\nuget install @file -o %2"

   4:  echo update

   5:  forfiles /s /m packages.config /c "cmd /c %1\nuget update @file -source http://ops-base/feeds/nuget"

   6:  echo on

然后使用NANT然完成构建过程，nant.build部分内容如下：

   1:  <?xml version="1.0"?>

   2:  <project name="infrastructure" default="build">

   3:    <property name="project.config" value="release" dynamic="true" />

   4:    <!--path-->

   5:    <property name="dir" value="."/>

   6:    <property name="dir.tools" value=".\tools"/>

   7:    <property name="build.base" value="build\${project.config}"/>

   8:    <property name="build.absolutepath" value="${path::get-full-path(build.base)}" />

   9:    <!--msbuild-->

  10:    <property name="msbuild" value="C:\WINDOWS\Microsoft.NET\Framework\v4.0.30319\MSBuild.exe" />

  11:    <property name="msbuild.config" value="Debug" dynamic="true"/>

  12:    <if test="${project.config=='Release'}">

  13:      <property name="msbuild.config" value="Release"/>

  14:    </if>

  15:    <property name="msbuild.params"

  16:              value="/t:rebuild

  17:              /p:Configuration=${msbuild.config}

  18:              /p:AllowUnsafeBlocks=true

  19:              /t:ResolveReferences" />

  20:    <property name="msbuild.params.weboutput" value="/t:_CopyWebApplication /p:WebProjectOutputDir=${build.absolutepath}" />

  21:    <property name="msbuild.params.output" value="/p:OutputPath=${build.absolutepath}" />

  22:    <!--nuget-->

  23:    <property name="nuget" value="${path::get-full-path(dir.tools)}" />

  24:    <property name="nuget.packages" value="${dir}\packages" />

  25:    <property name="nuget.install" value="${dir}\nuget.install.bat" />

  26:    <property name="nuget.params.install" value="${nuget} ${path::get-full-path(nuget.packages)}" />

27:

  28:     <!--build infrastructure-->

  29:    <target name="base" description="Infrastructure">

  30:      <exec program="${nuget.install}" commandline="${nuget.params.install}" workingdir="${dir}" />

  31:      <exec program="${msbuild}"

  32:            commandline="${msbuild.params} ${msbuild.params.output}"

  33:            workingdir="${dir}\Infrastructure\" />

  34:    </target>

  35:  </project>

上述nant脚本中，target=base的构建目标就是要构建的项目了，首先执行nuget.install.bat脚本更新本地packages，然后执行msbuild

然后运行下述脚本执行构建：

   1:  .\tools\nant\bin\nant base

到这里就完成了将nuget投入项目环境使用的相关准备工作：）

本文链接

为WebClient增加Cookie支持

2011-05-10T10:31:00Z

System.Net.WebClient是.net提供的高级api，使用上很便捷，但是默认的实现缺乏对cookie的支持，比如您希望使用它来进行模拟登录时，无法直接获取响应的cookie（它没有直接提供操作方法），google了一下，也发现了很简易的改进，如：

http://couldbedone.blogspot.com/2007/08/webclient-handling-cookies.html

http://codehelp.smartdev.eu/2009/05/08/improve-webclient-by-adding-useragent-and-cookies-to-your-requests/

就是重写GetWebRequest(Uri address)即可，不过实际场景这样可不够用，比如你要模拟登录的地址并非是要访问的目标地址时，比如登录过程有302重定向之类的，上述文章中的实现都会使得您携带的cookie并不是目标站点需要的，

那么我们来对它再做一下改进，既然重写了GetWebRequest，不如把GetWebResponse也重写一下吧：

   1:      /// <summary>

   2:      /// 支持cookie的webclient

   3:      /// <remarks>

   4:      /// 请求完成后会自动将响应cookie填充至CookieContainer

   5:      /// </remarks>

   6:      /// </summary>

   7:      internal class CookieAwareWebClient : WebClient

   8:      {

   9:          internal CookieContainer _cookieContainer = new CookieContainer();

10:

  11:          protected override WebRequest GetWebRequest(Uri address)

  12:          {

  13:              var request = base.GetWebRequest(address);

  14:              if (request is HttpWebRequest)

  15:                  (request as HttpWebRequest).CookieContainer = this._cookieContainer;

  16:              return request;

  17:          }

  18:          protected override WebResponse GetWebResponse(WebRequest request)

  19:          {

  20:              var r = base.GetWebResponse(request);

  21:              if (r is HttpWebResponse)

  22:                  this._cookieContainer.Add((r as HttpWebResponse).Cookies);

  23:              return r;

  24:          }

  25:      }

上述便是完整代码：）

本文链接

keepalived安装和使用

2011-04-12T09:27:00Z

keepalived：http://www.keepalived.org/index.html

它是一个基于VRRP协议来实现的WEB服务高可用方案，可以利用其来避免单点故障。一个WEB服务至少会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。（摘）

可以使用lvs或haproxy+keepalived做高可用的负载均衡方案

记录一下安装过程和问题处理过程

首先需要安装ipvsadm：

yum -y install ipvsadm

或者：

   1:  #在这里查找适合的版本http://www.linuxvirtualserver.org/software/ipvs.html

   2:  wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24-6.src.rpm

   3:  tar –zxvf ipvsadm-1.24.tar.gz

   4:  cd ipvsadm-1.24

   5:  make&&make install

然后安装keepalived

   1:  wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz

   2:  tar –zxvf keepalived-1.2.2.tar.gz

   3:  cd keepalived-1.2.2

   4:  ./configure

   5:  make && make install

configure时若出现以下结果：

只有一项为yes，因为keepalived没有找到内核目录导致的，解决的方法是在编译的时候：

./configure --with-kernel-dir=/usr/src/kernels/2.6.18-194.el5-i686/

若/usr/src/kernel目录下没有内核目录，则需要安装内核开发包：

用命令uname -a查看内核版本，然后可以在这里查找对应的http://zid-luxinst.uibk.ac.at/linux/rpm2html/centos/5/os/i386/CentOS/kernel-devel-2.6.18-194.el5.i686.html

不推荐使用yum install -y kernel-devel安装

安装完成后建立一下链接：

ln -s /usr/src/kernels/2.6.18-194.el5-i686/ /usr/src/linux/

上述过程完毕后，在进行configure：

若还是出现no或者make的时候出现：“ error: linux/ip_masq.h: No such file or directory”之类的错误时，在/usr/src/kernels/2.6.18-194.el5-i686/include/linux/version.h中增加声明：

#define UTS_RELEASE "2.6.18"

再进行configure就会都是yes了：

接着执行make是若出现“types.h:62: error: conflicting types for ‘dev_t’”错误，需要修改源码目录下的keepalived/libipvs-2.6/ip_vs.h

把#include linux/types.h移到#include sys/types.h 这行的下面

上述错误都解决后make&&make install就可以通过了，然后运行：

#查看帮助

keepalived -h

#运行 由于keepalived配置文件不是在启动时一次性加载并读取完成的，所以必须是完整路径，可以根据log判断是否加载了正确的配置文件

keepalived –f /usr/local/etc/keepalived/keepalived.conf

运行过程可以查看log：

tail -f /var/log/message

本文链接

NHibernate分享 PPT

2011-04-07T06:47:00Z

NHibernate分享(1) share

View more presentations from wsky

最近在部门内做的NHibernate的分享，这份主要讲的一些nh几个主要设计原理上的，这几个概念弄清楚了剩下的就是使用经验问题了。

本文链接

开源选型关注点

2011-04-07T02:16:00Z

开源框架、产品非常多，部分框架的相似度也比较高，下面列了一些我在选型时会关注的点，随着使用经验积累再继续补充

是否主流
是否有实际案例
是否有理论支持
是否有社区支持
若是服务器技术，是否有运维能力
若是组件技术，是否有源码阅读能力
技术是否容易被大部分团队成员学习和理解

ORM：

POCO支持
对象状态管理
关系映射
设计侵入性
自动事务控制，管理
SQL支持
文档，源码质量
数据库无关性支持
存储过程支持
SQL跟踪，调优
批处理
多级缓存
开源
contrib丰富
lazyload
api粒度，设计优雅

容器：

注册方式灵活
支持主流模式
api优雅
多级容器,父子容器对象管理是否有内存溢出问题
加载卸载方便
拦截器支持
动态静态依赖
属性注入
完全代码初始化
配置文件易于理解可维护
文档，范例齐全
高性能反射
轻量
多种生命周期管理
源码质量
contrib丰富

本文链接

SocketAsyncEventArgs

2011-04-06T13:08:00Z

SocketAsyncEventArgs是.net提供的关于异步socket类，封装了IOCP的使用，可以用它方便的实现NIO（non-blocking IO）

NIO对于提升某些场景下Server性能和吞吐量有很大益处，准备在服务框架中使用它来编写简易rpc的部分

微软官方的demo代理有所缺少：

http://msdn.microsoft.com/en-us/library/system.net.sockets.socketasynceventargs.aspx

还有篇老外写的补充了缺少的代码：

http://www.codeproject.com/KB/IP/socketasynceventargssampl.aspx

不过例子还是感觉复杂了点，我只是需要知道SocketAsyncEventArgs本身如何使用而已，于是自行简化了一下：

   1:  using System;

   2:  using System.Net;

   3:  using System.Net.Sockets;

   4:  using System.Text;

5:

   6:  namespace SocketAsyncServer

   7:  {

   8:      public static class Program

   9:      {

  10:          public static void Main(String[] args)

  11:          {

  12:              IPAddress[] addressList = Dns.GetHostEntry(Environment.MachineName).AddressList;

  13:              new TcpListener().Listen(new IPEndPoint(addressList[addressList.Length - 1], 9900));

14:

  15:              Console.ReadKey();

  16:          }

  17:      }

18:

  19:      public class TcpListener

  20:      {

  21:          private SocketAsyncEventArgs Args;

  22:          private Socket ListenerSocket;

  23:          private StringBuilder buffers;

  24:          public TcpListener() { }

  25:          public void Listen(EndPoint e)

  26:          {

  27:              //buffer

  28:              buffers = new StringBuilder();

  29:              //socket

  30:              ListenerSocket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);

  31:              ListenerSocket.Bind(e);

  32:              ListenerSocket.Listen(10);

  33:              //异步socket事件

  34:              Args = new SocketAsyncEventArgs();

  35:              Args.Completed += new EventHandler<SocketAsyncEventArgs>(ProcessAccept);

  36:              BeginAccept(Args);

  37:              Console.WriteLine("server run at {0}", e.ToString());

  38:          }

39:

  40:          //开始接受

  41:          void BeginAccept(SocketAsyncEventArgs e)

  42:          {

  43:              e.AcceptSocket = null;

  44:              if (!ListenerSocket.AcceptAsync(e))

  45:                  ProcessAccept(ListenerSocket, e);

  46:          }

  47:          //接受完毕 开始接收和发送

  48:          void ProcessAccept(object sender, SocketAsyncEventArgs e)

  49:          {

  50:              Socket s = e.AcceptSocket;

  51:              e.AcceptSocket = null;

52:

  53:              int bufferSize = 10;//1000 * 1024;

  54:              var args = new SocketAsyncEventArgs();

  55:              args.Completed += new EventHandler<SocketAsyncEventArgs>(OnIOCompleted);

  56:              args.SetBuffer(new byte[bufferSize], 0, bufferSize);

  57:              args.AcceptSocket = s;

  58:              if (!s.ReceiveAsync(args))

  59:                  this.ProcessReceive(args);

60:

  61:              BeginAccept(e);

  62:          }

63:

  64:          //IOCP回调

  65:          void OnIOCompleted(object sender, SocketAsyncEventArgs e)

  66:          {

  67:              switch (e.LastOperation)

  68:              {

  69:                  case SocketAsyncOperation.Receive:

  70:                      this.ProcessReceive(e);

  71:                      break;

  72:                  case SocketAsyncOperation.Send:

  73:                      this.ProcessSend(e);

  74:                      break;

  75:                  default:

  76:                      throw new ArgumentException("The last operation completed on the socket was not a receive or send");

  77:              }

  78:          }

79:

  80:          //接收完毕

  81:          void ProcessReceive(SocketAsyncEventArgs e)

  82:          {

  83:              if (e.BytesTransferred > 0)

  84:              {

  85:                  if (e.SocketError == SocketError.Success)

  86:                  {

  87:                      //读取

  88:                      var data=Encoding.ASCII.GetString(e.Buffer, e.Offset, e.BytesTransferred);

  89:                      buffers.Append(data);

  90:                      Console.WriteLine("Received:{0}", data);

91:

  92:                      if (e.AcceptSocket.Available == 0)

  93:                      {

  94:                          //读取完毕

  95:                          Console.WriteLine("Receive Complete.Data:{0}", buffers.ToString());

  96:                          //重置

  97:                          buffers = new StringBuilder();

  98:                          //发送反馈

  99:                          Byte[] sendBuffer = Encoding.ASCII.GetBytes("result from server");

 100:                          e.SetBuffer(sendBuffer, 0, sendBuffer.Length);

 101:                          if (!e.AcceptSocket.SendAsync(e))

 102:                          {

 103:

 104:                              this.ProcessSend(e);

 105:                          }

 106:                      }

 107:                      else if (!e.AcceptSocket.ReceiveAsync(e))

 108:                      {

 109:                          this.ProcessReceive(e);

 110:                      }

 111:                  }

 112:                  else

 113:                  {

 114:                      //this.ProcessError(e);

 115:                  }

 116:              }

 117:              else

 118:              {

 119:                  //this.CloseClientSocket(e);

 120:              }

 121:          }

 122:          //发送完毕

 123:          void ProcessSend(SocketAsyncEventArgs e)

 124:          {

 125:              if (e.SocketError == SocketError.Success)

 126:              {

 127:

 128:                  if (!e.AcceptSocket.ReceiveAsync(e))

 129:                  {

 130:                      this.ProcessReceive(e);

 131:                  }

 132:              }

 133:              else

 134:              {

 135:

 136:              }

 137:          }

 138:      }

 139:

 140:  }

上述代码run起来之后，打开cmd用telnet测试下即可

telnet 127.0.0.1 9900

顺便推荐一下园子兄弟写的一个框架实现了nio的rpc

http://shuttler.codeplex.com/

http://www.cnblogs.com/overred/archive/2009/12/20/Shuttler_Net_2.html

本文链接

stunnel+haproxy SSL以及问题记录

2011-04-06T10:03:00Z

最近在用stunnel做透明代理，配合haproxy做ssl方案，在用户和原有的反向代理之间加入stunnel，这样可以让用户和stunnel之间走ssl，stunnel之后的真实web就不用负担https的开销。

记录一下配置过程和问题，以下安装方式在centos和ubuntu上都配置通过：

首先先去stunnel官网上获取安装包，因为要给stunnel打haproxy的补丁，而haproxy官方提供的补丁目前版本是4.32的，所以stunnel选择4.32版本，官方提供的ftp上可以找到ftp://ftp.stunnel.org/stunnel/obsolete/4.x/，这里使用rsync同步对应的版本：

   1:  rsync rsync.stunnel.org::stunnel/obsolete/4.x/stunnel-4.32.tar.gz stunnel-4.32.tar.gz

   2:  wget http://haproxy.1wt.eu/download/patches/stunnel-4.32-xforwarded-for.diff

   3:  tar -zxvf stunnel-4.32.tar.gz

   4:  cd stunnel-4.32

   5:  patch -p1 < ../stunnel-4.32-xforwarded-for.diff

   6:  ./configure

   7:  make && make install

在上述过程中如果出现"Couldn't find your SSL library installation dir"，是缺少openssl，安装后在进行上述过程即可：

   1:  apt-get install libcurl3-openssl-dev

或：

yum install openssl-devel

配置stunnel.conf:

   1:  sslVersion=all

   2:  fips=no

   3:  cert=/usr/local/etc/stunnel/stunnel.pem

   4:  CAfile=/usr/local/etc/stunnel/cacert.pem

   5:  pid =/var/run/stunnel.pid

   6:  setuid=root

   7:  setgid=root

8:

   9:  socket=l:TCP_NODELAY=1

  10:  socket=r:TCP_NODELAY=1

  11:  output=/var/log/stunnel.log

12:

  13:  [https]

  14:  accept=443

  15:  connect=127.0.0.1:8080

  16:  TIMEOUTclose=0

  17:  xforwardedfor=yes

-----------------------------------------------------------------------------

搞定上面的步骤就可以运行了：

   1:  stunnel

在运行stunel的时候若出现routines:FIPS_mode_set:fingerprint does not match错误，可以通过设置上述参数fips=no解决。若出现nobody权限，可设置：

   1:  chmod 755 /var/run/stunnel/

-------------------------------------------------------------------------------

关于ssl证书

使用自己签发的证书：

   1:  openssl req -new -x509 -days 365 -nodes -out stunnel.pem -keyout stunnel.pem

若是现有的证书导入pfx和CA(配置文件中设置对应的CAfile参数)：

   1:  openssl

   2:  //cer转pem

   3:  openssl>x509 -in cacert.cer -out cacert.pem

   4:  //pfx转pem

   5:  openssl>pkcs12 -in stunnel.pfx -out stunnel.pem -nodes

通常为了简化证书的使用，我们会签发或购买如 *.xxx.org的证书，这样二级域名下的站点都可共用，要注意的是*.*.xxx.org是无效的

-------------------------------------------------------------------------------

其他

stunnel只能对linux机器进行代理

可以区分ip，ip+端口来代理

简单高效，系统利器：）

顺便附带haproxy安装：

在这里找你要安装的版本http://haproxy.1wt.eu/download/1.4/src/

以centos5安装为例：

   1:  wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.9.tar.gz

   2:  tar -zxvf haproxy-1.4.9.tar.gz

   3:  cd haproxy-1.4.9

   4:  make TARGET=linux26 PREFIX=/usr/local/

   5:  make install PREFIX=/usr/local/

一些实际应用中的问题和解决方法

IE6下使用SSL通道时出现“Page can not load”问题，是由于openssl支持的问题，官方有一段FAQ：

http://www.stunnel.org/?page=faq

http://www.daniweb.com/hardware-and-software/microsoft-windows/web-browsers/threads/50765

stunnel做了兼容，不过没有附上具体的解决方法，下面是解决方法，修改一下stunnel.conf配置文件即可：

   1:  ciphers=RC4-SHA

   2:  options=DONT_INSERT_EMPTY_FRAGMENTS

顺便列一下IE6支持的加密方式以供选择（完整的可到openssl官网上查找）：

SSL_RSA_WITH_RC4_128_MD5

SSL_RSA_WITH_RC4_128_SHA

SSL_RSA_WITH_3DES_EDE_CBC_SHA

SSL2_CK_RC4 SSL2_CK_3DES

SSL2_CK_RC2 SSL_RSA_WITH_DES_CBC_SHA

SSL2_CK_DES SSL_RSA_EXPORT1024_WITH_RC4_56_SHA

SSL_RSA_EXPORT1024_WITH_DES_CBC_SHA

SSL_RSA_EXPORT_WITH_RC4_40_MD5

SSL_RSA_EXPORT_WITH_RC2_CBC_40_MD5

SSL2_CK_RC4_EXPORT40

SSL2_CK_RC2_EXPORT40

SSL_DHE_DSS_WITH_3DES_EDE_CBC_SHA

SSL_DHE_DSS_WITH_DES_CBC_SHA

SSL_DHE_DSS_EXPORT1024_WITH_DES_CBC_SHA

选取合适的加密算法即可，可以通过log来查看算法加载是否成功：

tail -f /var/log/stunnel.log

上图说明ciphers设置不正确，还要注意的是配置文件中的sslVersion会影响相关算法的匹配

-------------------------------------------------------------------------------------------------------

由于客户端到stuunel是ssl，haproxy到web走的是http，也就是说实际请求的url是http的，为了让web端能知晓客户端请求的url是http还是https，可通过如下配置：

   1:  option forwardfor

   2:  option httpclose

   3:  reqadd X-Forwarded-Proto:\ https

在web端可通过获取request header[“X-Forwarded-Proto”]来分辨

需要注意的是关于httpclose配置：若没有此项，只有第一次请求才会传递X-Forwarded，开启此项则无法keepalive,如无法windows验证

-------------------------------------------------------------------------------------------------------

xp系统ie打补丁后，导致https无法打开的问题：

http://www.microsoft.com/downloads/zh-cn/details.aspx?FamilyID=6429fd02-8138-4919-9942-80d62ecef22e&DisplayLang=zh-cn

本文链接

快速实现一个简单的bigpipe模型

2010-12-17T04:48:00Z

在这篇http://www.cnblogs.com/wsky/archive/2010/12/11/1902969.html文章中对facebook的bigpipe作了较长篇幅的描述，现在我们来快速实现一个简单的bigpipe模型

先描述几个概念：

Pagelet：页面功能模块化的单位

BigPipeClient：解释并呈现Pagelet的客户端，可以是javascript或服务器端语言编写（如c#）

其实重点在于模块化以及模块化之后随之带来的好处，功能开发分工，页面级别的功能隔离、功能降级等都可以以模块为单位进行，从而简化web项目的模型，在这个基础上再构建一系列的开发框架来支撑这种开发模式即可

先看一下Pagelet的定义：

   1:      /// <summary>

   2:      /// 模块

   3:      /// </summary>

   4:      public class Pagelet

   5:      {

   6:          /// <summary>

   7:          /// 模块标识

   8:          /// </summary>

   9:          public string Name { get; set; }

  10:          /// <summary>

  11:          /// 获取数据Url

  12:          /// </summary>

  13:          public string Url { get; set; }

  14:          /// <summary>

  15:          /// 目标容器

  16:          /// </summary>

  17:          public string Target { get; set; }

  18:          /// <summary>

  19:          /// HTML内容模板

  20:          /// </summary>

  21:          public string Template { get; set; }

22:

  23:          //and so on

  24:      }

它包含了模块的Html模板内容，呈现的位置，获取数据的地址等，

这是一个pagelet实例，

然后编写一个页面，把这个页面需要的模块都输出到页面中：

   1:     <%foreach (var let in ViewData["pagelets"] as IEnumerable<BigPipe.Controllers.Pagelet>)

   2:        { %>

   3:        <script type="text/javascript">

   4:            $(function () {

   5:              <%="client.add(" + new JavaScriptSerializer().Serialize(let) + ");" %>

   6:            });

   7:        </script>

   8:      <%}%>

BigPipe.js客户端的简易实现：

   1:  (function ($) {

2:

   3:      //pagelets holder

   4:      var pagelets = {};

   5:      //bipipe

   6:      var bigpipe = function () { this._init.apply(this, arguments); };

   7:      bigpipe.prototype = {

   8:          _init: function () { },

   9:          add: function (let) {

  10:              pagelets[let['Name']] = let;

  11:              $.getJSON(let['Url'], function (data) {

  12:                  $('#' + let['Target']).append(let['Template']

  13:                      .replace('${name}', data['name'])

  14:                      .replace('${description}', data['description']));

  15:              });

  16:          }

  17:      }

  18:      window.client = new bigpipe();

  19:  })(jQuery);

调用add的时候将pagelet加入客户端缓存，同时执行ajax请求数据并和html模板装配后呈现到指定位置

本文实现了两种呈现方式的pagelet：服务器端并行push和客户端pull方式

下图为使用bigpipe.js客户端进行ajax pull方式拉取数据并呈现pagelet

生成的pagelet内容如下：

下图为使用服务器端并行push多个pagelet内容并呈现，可以看到模块并不会按顺序加载，而是根据各自加载情况决定顺序，这样可以使得更快被处理完的模块立刻被呈现给用户：

原理就是对respone并行写入内容并立刻flush到客户端：

   1:  context.Response.Write(string.Format(

   2:                  "<script type=\"text/javascript\">client.add({0});</script>"

   3:                  , new JavaScriptSerializer().Serialize(let)));

   4:              context.Response.Flush();

本文只简易实现了pagelet的处理模型，描述一下思路，相信有思路之后针对各自的应用或项目情况编写一套合适模块化框架会有些益处的

在完成bigpipe加载后，pageCache以及记录回放等在浏览器中的优化技巧也是很有意思的，之后会尝试做一些实现

DEMO源码可以在这里下载：https://github.com/wsky/wsky.github.com/tree/master/bigpipe

DEMO中用到简单并行实现：http://www.cnblogs.com/wsky/archive/2009/12/23/1630548.html

本文链接

Velocity2010大会回顾

2010-12-11T06:30:00Z

velocity 2010 北京之行收获良多，选择的几个session都很有料，当然也有个别还是比较虚

这次大会主题是web性能和运维，主题也基本分为两大块：web前端性能，分布式

接下来就把我参加的session逐个回顾一下：

《Facebook网站的Ajax化、缓存和流水线》Changhao Jiang(Facebook)

在这个报告中，我将介绍在Facebook网站前端性能优化中采用的最主要的一些技术。这些技术不光降低了服务器的开销，而且同时极大地提高了Facebook网站的用户体验性能。

我将首先介绍Quickling技术。通过Quickling，Facebook将所有的用户点击访问自动地转变成AJAX调用，避免了大量的服务器端重复计算和客户端的重复渲染。
然后我将介绍基于Quickling的PageCache技术，通过JavaScript自动缓存用户访问过的页面，极大的加速Facebook主页的性能并降低服务器开销。
最后，我将介绍BigPipe技术，通过采用微处理器内的流水线技术，将Facebook网站用户感知性能加速一倍以上。

《静态网页资源的管理和优化》David Wei(Facebook)

静态网页资源包括Javascript、CSS和图标图片，它们是现代网站不可缺少的部分。而这部分的性能又直接影响了网页的速度。在这个讲座里，我将与大家分享我们在静态网页资源的管理和优化上的经验。Facebook的五亿活跃用户来自五湖四海：不同文化、不同的语言、不同的网络链接质量。巨大的用户差异性给我们的静态网页资源管理提出了很多新的挑战。这个讲座将围绕这些挑战讨论：

系统架构：为全公司开发团队的提供简易透明的固态网页资源编程接口；

系统扩展性：研发一个可扩展的固态资源管理，以满足不断增长的网站功能、不断增加的用户语言和不断变化的个性化策略

自适应性：为固态资源管理研发自适应的优化模块，让系统随功能的增减和用户使用方式的变化自动调节，几乎不需要人力干预。

facebook本次的几个分享都相当给力，绝对让听的人不虚此行，想必对fb的bigpipe技术早有耳闻，这次算是大揭秘了，把技术细节和思路都详细介绍并用实例进行了说明

上图就是fb的前端优化使用到的三个主要技术，Quickling是他们的异步（ajax）框架，用于整个fb网站的ajax化，

使用过fb的话可以发现，网站在页面切换过程中并不像传统页面加载一样，进入一个新页面浏览器就整个页面重新渲染，特别是当你点击后退的时候，上一个页面几乎是立刻出现的，这里便是quickling+pagecache的优化，quickling负责在切换页面的时候清空主体内容区域，发送ajax加载新的内容，下载需要的JavaScript、CSS等资源，然后呈现新的页面，被清空的页面被保存在pagecache中，当用户点击后退的时候立刻从中恢复上一个页面，他们在这个过程中还模拟了浏览器加载效果，地址变换等。

上面描述了要实现这样一个页面前端处理模型所使用到的具体技术细节，要模拟游览器前进后退行为，因而需要记录用户的操作历史，在同一个窗口频繁加载卸载页面，页面中积累了大量的css资源，也需要能够在不需要的时候被卸载掉，一些settimeout定时器也需要被管理，在切换页面的时候被重置或移除。

在使用quickling+pagecache提升性能的同时，也存在一些挑战：

被缓存的页面和用户当前操作的页面存在数据关联时如何同步pagecahce？缓存一致性如何保障？

fb的用户主页（home）有用户的动态（新鲜事），会随着用户在其他页面的操作而产生更新，当home被从缓存中重建后如何知晓这个变化并作出更新的呢？

这里使用到了一个“replayable”记录重播技术来解决这个问题：

所有的ajax post调用均会被记录，在缓存页面被重新呈现的时候，进行“重播”，来达到更新的效果，pagecache本身也提供了callback机制，在重建页面的时候允许指定执行一些额外的动作

最后一个bigpipe，前面2个技术加上这个，算是把web前端性能做到极致了，bigpipe更带来了工程上的意义，在达到优化页面并行加载的同时，模块化的开发也让fb的优雅降级，分工，超短周期迭代成为可能。

讲bigpipe之前，先需要介绍pagelet，

pagelet就是作为模块的单位，定义了一个模块需要的js,css,html等信息，bigpipe.js便作为一个客户端按照pagelet的信息来解释并呈现一个个模块，

值得一提的是，pagelet在模块化的同时，还提供了高级特性，比如：嵌套，优先级，关联性等，来满足应用层面的需求，使用上，对php而言，只是继承一个pagelet基类，提供该有信息，然后再在bigpipe客户端注册这个pagelet。

这次大会的几个主题还有一个共同点就是：都在努力设计和实现一个适合于自己业务的框架或平台，使得这种性能优化等最佳实践可以被传播应用在任何一个具体业务应用中，而无须让产品开发者过多关注，可以简易的被使用而达到好的效果，并通过架构约束来实现大型团队的开发模式管理，fb的另外一个静态资源优化方面的主题就是一个很好例子

静态资源管理，看似简单，而fb算是做到极致了，之前也曾思考并尝试一些方式来做自动化的资源管理，但离fb的深入度还是差一个量级~

自动化的伸缩性，自适应性，用节点模型来描述资源，通过绘制节点关系图，和引用计数等方式生成一张成本/收益图来自动进行决策，从而自动的进行打包并输出给客户端，同时还会根据用户的区域，语言等信息，选取合适的资源进行打包

在开发使用上，通过开发人员的注释约定识别这种引用关系，监控各种资源文件的使用情况

《腾讯相册存储系统》谢明 (腾讯)

低调的tx的分享，全场爆满，听后不得不说是一个让人敬畏的对手

tx的TFS分为LogFileSystem和ImageFileSystem，相册会生成多种规格的图片，他们也有自己的KV叫TDB，值得一提的是TFS是直接读写裸设备，他们也同样大量定制自己规格的server，存储等

《构建高性能的MySQL系统》杨海朝(新浪)

海量数据已经是近年来很火的话题了，使得存储，数据库的话题备受关注，特别是云存储概念出来后，各种热议，国内的各大互联网公司也都开始有大规模的实践案例

不过这位sina的首席DBA没有往大的讲，而是选择讲了一些MySql优化原则方面的东西，介绍了MYSQL的两个表存储引擎MyISAM和InnoDB的差异和使用场景，

前者关系型，不适合做HA，因为一旦down了之后repaire时间太长，锁级别是tablelock

后者适合大字段R/W高的，具有高可用性高并发，锁级别是rowlock

索引个数在3-5个以内合适，在需要的时候覆盖索引可以获得很好的性能，如sort,count，组合索引要注意索引和列的次序

MySql特别适合分布式场景，读写分离架构下甚至可以让M、S使用不同的存储引起来根据场景优化

对于应用，有一个重要观点就是：对于应用层面应该弱化DB，只需要认为DB是一个存储即可，这样的设计才能做到scacle-out,说到这点，再加上盛大创新院许式伟的《分布式存储与Web服务伸缩性》，基本上可以说，存储还是让有资源的巨头去捣腾吧，关注应用才是更能快速获取价值的：）

《构建Yahoo下一代Mail》 Daniel Hunt(Yahoo!)

从几场老外的主题里，基本得出一个结论，他们对性能和体验的重视程度远高于国内企业

《卷土重来：服务器端JavaScript》 Douglas Crockford(Yahoo!)

老道的主题自然吸引无数人，服务器端js也是近期火起来的话题了，只是实在不懂为什么是在chrome的v8引擎起来了才火了，相信js的语言魅力已经让大多数web开发者爱上它了，而今让它不仅跑在浏览器里，还能run在server上，让server编程也获得事件模型的好处，是不是很让人兴奋？

node.js是一个尝试，之后准备关注一下，其实乍一看这个标题，你可能或想到另外一种解释：浏览器不支持js的时候让它跑在服务器端，这样是不是更有吸引力？恰巧这个想法在yahoo的《构建Yahoo下一代Mail》中有提高，用户多样性使得他们必须满足这种情况，他们因此提供了这样一种模型来支撑这种编程模型，让你只需要知晓一个中间语言，从而能编写出client or server script，很诱人吧，所以这个也准备去关注了。

《Facebook: 一个可持续发展的高性能网站》 David Wei(Facebook)

这个主题就是上文提到的一个观点的完整版，用架构去支撑你的网站持续的发展，保持简单，而又能获得性能的收益。Fase By Default（与生俱来的快）

我归纳的几点：

数据驱动，获取足够的数据来支撑你的优化决策，要让性能工作可以被测量
让开发人员遵循简单的约定就可以编写出高性能的应用
不符合约定的代码应越早被发现，开发过程中就要暴露出来，这要求你的框架有这样严谨的支持
减少人工的，临时的优化工作，通过建立各种模型来提供支持
组件化，模块化，丰富的开发参考文档，便于使用和理解的代码片段参考
隐藏细节，让性能小组、架构者获得主动权

还有几个技巧点：

把脚本作为文本加载避免阻塞
利用iframe的沙箱环境来实现一些缓存，预加载之类的效果
用new Image()来预加载js

《分布式存储与Web服务伸缩性》许式伟(盛大创新院)

最深的印象是：存储不是谁都需要去做的，太消耗脑细胞，对创业者的规劝

《移动互联网内容平台的架构与性能优化》孙立(凤凰网)

很务实的一位speaker，把ifeng的IMCP平台架构描述的清清楚楚，他们的场景使得CodeOnline尤为合适，人员成本，开发管理等思想也是我比较倾向的。

《CWF：C++用于web开发的实践》邵军辉(人人网)

很有意思的哥们，号称愿望是让C++在web开发有一席之地，对于Mashup比较感兴趣，所以特地来听了这场，确实有不少的亮点，CTemplate号称没有XSS问题，

这场让我看到了主流web技术之外的实践，算是偏好+性能追求极致的实践吧

不过自行构建这样一个web框架，一系列的工具都需要自行开发，同时还要考虑开发成本，难度等，不容易啊

这也让我想到：各种各样的团队，主导者往往有这样的幸运能够有机会能主导自己的架构，并组建一个团队共同发展，不过这个发展一旦主导者离开而没有能够完成足够的沉淀，恐怕之后很难维持吧

IE9&Mozilla Firefox4

两个知名浏览器在同一个屋檐下宣传，相敬如宾啊，哈

IE9演示了GPU加速的性能，和chrome对比，让现场如此多的google迷情何以堪啊…

PPT下载：http://velocity.oreilly.com.cn/index.php?func=slidesvideos

视频：http://www.youku.com/playlist_show/id_5333814.html

本文链接

小结一下关于bpm实施方面的交流

2010-10-11T14:20:00Z

下午部门和几位资深专家交流了一个下午，了解了一下对方在国内几家大型企业做BPM实施和工作流产品构建的心得，小结一下，他人的见解结合自身的分析：

需求调研，业务分析设计在项目中的占比和重要最高，业务是最有价值和最需要被关注的，同时它复杂也难以整理，获取最高层的支持很重要
几个视图来帮助分析和全面的反应你的项目状况和期望成效：流程视图，数据视图，逻辑视图
技术框架很重要，严谨和健壮的设计来支撑系统，同时这也是成本控制和团队建设方向的重要一环
流程开发工作也重要，但这一块工作是可以通过需求（上层）和架构（下层设施）来简化和弱化的，它不应该是IT部门的重点，外包可能是更合理的方案
流程的深度广度应该在项目启动前就被明确，不同层次投入不同的成本，过度承诺毫无意义，长期只停留于浅的层次，追求数量也毫无意义，这种项目只有上升到管理层面，真正的提供管理，控制，决策支持才能放大项目和你的价值，否则你只是工人
电子化-->BPR-->Controller-->KPI
流程链，流程组：我们不是在接需求，而是给业务方提供咨询和建议，优化业务流程，应该提出有管理价值的建议，如果这个东西不是你该有职责，你或许可以交给其他部门去完成，关注你该关注的
不要吝啬在流程分析上投入的时间，因为不只是分析需求方告诉你的东西，而是要挖掘更大的流程价值，沿着链条往上，得到最完整的业务模型，并把它列入你的计划里
做流程，是要创造价值，更是为你的老板服务：）
做流程，你要耐得住~也要有魄力~

本文链接