博客园_eaglet

C# 程序自动批量生成 google maps 的KML文件

2011-12-05T04:59:00Z

google maps 的 KML 文件可以用于静态的地图标注，在某些应用中，我们手上往往有成百上千个地址，我们需要把这些地址和描述批量标注到 google maps 上去，如果手工来做，太耗时间，在这里我写了一个程序批量来生成这个 KML 文件。

首先看一下 KML 文件的格式：

<?xml version="1.0" encoding="UTF-8"?>
<kml xmlns="http://www.google.com/earth/kml/2">
<Document>
    <name>kml_sample2.kml</name>

    <Style id="red">
      <IconStyle>
        <Icon>
          <href>http://www.google.com/intl/en_us/mapfiles/ms/icons/red-dot.png</href>
        </Icon>
      </IconStyle>
    </Style>

    <Style id="green">
      <IconStyle>
        <Icon>
          <href>http://www.google.com/intl/en_us/mapfiles/ms/icons/green-dot.png</href>
        </Icon>
      </IconStyle>
    </Style>

    <Style id="blue">
      <IconStyle>
        <Icon>
          <href>http://www.google.com/intl/en_us/mapfiles/ms/icons/blue-dot.png</href>
        </Icon>
      </IconStyle>
    </Style>

  <Placemark>
    <name>Google Inc.</name>
    <description><![CDATA[
      Google Inc.<br />
      1600 Amphitheatre Parkway<br />
      Mountain View, CA 94043<br />
      Phone: +1 650-253-0000<br />
      Fax: +1 650-253-0001<br />
      <p>Home page: <a href="http://www.google.com">www.google.com</a></p>
    ]]>
    </description>
    <styleUrl>#red</styleUrl> 
    <Point>
      <coordinates>-122.0841430, 37.4219720, 0</coordinates>
    </Point>
  </Placemark>

  <Placemark>
    <name>Yahoo! Inc.</name>
    <description><![CDATA[
      Yahoo! Inc.<br />
      701 First Avenue<br />
      Sunnyvale, CA 94089<br />
      Tel: (408) 349-3300<br />
      Fax: (408) 349-3301<br />
      <p>Home page: <a href="http://yahoo.com">http://yahoo.com</a></p>
      ]]>
    </description>
    <styleUrl>#green</styleUrl> 
    <Point>
      <coordinates>-122.0250403,37.4163228</coordinates>
    </Point>
  </Placemark>

</Document>
</kml>

这个是一个典型的用于google maps 的 KML 文件，（注意不同应用的KML 格式会有所不同，比如 google earth 的 kml 格式就复杂得多)

从这个kml 文件格式来看，其实它就是一个 xml 文件，我们只要自动生成这个文件中各个元素的信息就可以得到这个xml 文件。这里其实最大的问题是如何自动通过地址获取经纬度坐标。值得庆幸的是 google 提供了这方面的 api 函数。google api 获取地理坐标的官方例子见：geocodingapi

我的实现稍微复杂一些，因为我需要在函数中为不同的位置自动分配颜色

   1:          /// <summary>

   2:          /// Generate placemark by address description

   3:          /// </summary>

   4:          /// <param name="addrDescription">address and description</param>

   5:          /// <returns>if no matched, return false</returns>

   6:          public bool Generate(AddressDescription addrDescription)

   7:          {

   8:              _LastErrorOrWarning = null;

9:

  10:              Thread.Sleep(DelayInMs);

11:

  12:              List<GeographicCoordinate> coordinates = Geocoding.Geocode(addrDescription.Address);

13:

  14:              if (coordinates.Count == 0)

  15:              {

  16:                  _LastErrorOrWarning = string.Format("Address:{0}, Description:{1} does not find the coordinates, please make sure the address is correctly.",

  17:                      addrDescription.Address, addrDescription.Description);

18:

  19:                  return false;

  20:              }

21:

  22:              if (coordinates.Count > 1)

  23:              {

  24:                  _LastErrorOrWarning = string.Format("Address:{0}, Description:{1} has more than one coordinates.",

  25:                      addrDescription.Address, addrDescription.Description);

  26:              }

27:

  28:              string colorId = Colors[_ColorIndex];

29:

  30:              _ColorIndex++;

31:

  32:              if (_ColorIndex >= Colors.Count)

  33:              {

  34:                  _ColorIndex = 0;

  35:              }

36:

  37:              _Kml.Document.Add(new Placemark(addrDescription.Address, addrDescription.Description, colorId,

  38:                  coordinates[0].Latitude, coordinates[0].Longitude));

39:

  40:              return true;

  41:          }

第32行有个bug，应该是 >= ，我原来写成 > 了，博客中我改过来了，源码我就不改了。

如上代码，第12行就是通过GeocodingApi 获取指定地址的物理坐标，由于有时候获取不到坐标，有时候由于地址不确切，有多个坐标，所以我加了一个错误和警告的属性，用于调用者得到相关的信息。

_Kml 这个对象是一个 Kml 类的实例，这个类用于生成 KML 文件结构，并可以保存到KML文件中。这个类在后面介绍。

下面的 _Color 部分是自动的顺序分配标注点的颜色，我为了省事，在代码中写死了4种颜色，你也可以修改代码增加颜色或其他图标。

标注颜色这里其实还有一个问题，就是如果让相邻的节点显示不同颜色，这个算法比较复杂了，我没有实现，各位如果有兴趣可以思考一下这个怎么做。

好了，最大的问题解决了，剩下就是写 xml 文件了，这个很简单，我就不深入讲了，直接把代码贴出来。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Xml;
using System.Xml.Serialization;
using System.IO;

namespace GenerateKML
{
    public class Placemark
    {
        public class KMLPoint
        {
            public KMLPoint()
            {
            }

            public KMLPoint(double latitude, double longitude)
            {
                SetCoordinates(latitude, longitude);
            }

            private string _coordinates;

            public void SetCoordinates(double latitude, double longitude)
            {
                _coordinates = longitude.ToString() + "," + latitude.ToString();
            }

            public string coordinates
            {
                get
                {
                    return _coordinates;
                }

                set
                {
                    _coordinates = value;
                }
            }
        }

        [XmlElement("name")]
        public string Name { get; set; }

        [XmlElement("description")]
        public string Description { get; set; }

        [XmlElement("styleUrl")]
        public string StyleUrl { get; set; }

        public KMLPoint Point { get; set; }

        public Placemark()
        {
        }

        public Placemark(string name, string description, string styleUrl,
            double latitude, double longitude)
        {
            Name = name;
            Description = description;
            StyleUrl = styleUrl;

            Point = new KMLPoint(latitude, longitude);
        }

    }

    public class kml
    {
        [XmlIgnore]
        string Name { get; set; }


        List<Placemark> _Placemarks = new List<Placemark>();

        [XmlArray()]
        public List<Placemark> Document
        {
            get
            {
                return _Placemarks;
            }

            set
            {
                _Placemarks = value;
            }
        }

        public kml()
        {
        }

        public kml(string name)
        {
            Name = name;
        }

        private XmlNode GetColorStyle(XmlDocument xmlDoc,  string color)
        {
            XmlNode style = xmlDoc.CreateNode(XmlNodeType.Element, "Style", "");
            XmlAttribute attr = style.OwnerDocument.CreateAttribute("id");
            attr.Value = color;
            style.Attributes.Append(attr);

            XmlNode iconStyle = xmlDoc.CreateNode(XmlNodeType.Element, "IconStyle", "");
            XmlNode icon = xmlDoc.CreateNode(XmlNodeType.Element, "Icon", "");
            XmlNode href = xmlDoc.CreateNode(XmlNodeType.Element, "href", "");
            href.InnerText = string.Format("http://www.google.com/intl/en_us/mapfiles/ms/icons/{0}-dot.png",
                color);
            
            
            style.AppendChild(iconStyle);
            iconStyle.AppendChild(icon);
            icon.AppendChild(href);

            return style;
        }


        public void SaveToFile(string xml)
        {
            using (FileStream fs = new FileStream(xml, FileMode.Create, FileAccess.ReadWrite))
            {
                using (StreamWriter sw = new StreamWriter(fs, System.Text.Encoding.UTF8))
                {
                    XmlSerializer serializer = new XmlSerializer(this.GetType());
                    serializer.Serialize(sw, this);
                }
            }


            XmlDocument xmlDoc = new XmlDocument();
            xmlDoc.Load(xml);
            xmlDoc.CreateXmlDeclaration("1.0", "utf-8", null);

            XmlNode documentNode = xmlDoc.SelectSingleNode(@"/kml/Document");

            XmlNode nameNode = xmlDoc.CreateNode(XmlNodeType.Element, "name", "");
            nameNode.InnerText = this.Name;

            XmlNode placeMarkNode = documentNode.FirstChild;
            documentNode.InsertBefore(nameNode, placeMarkNode);

            documentNode.InsertBefore(GetColorStyle(xmlDoc, "red"), placeMarkNode);
            documentNode.InsertBefore(GetColorStyle(xmlDoc, "green"), placeMarkNode);
            documentNode.InsertBefore(GetColorStyle(xmlDoc, "blue"), placeMarkNode);
            documentNode.InsertBefore(GetColorStyle(xmlDoc, "yellow"), placeMarkNode);

            XmlNode kmlNode = xmlDoc.SelectSingleNode(@"/kml");

            XmlAttribute attr = kmlNode.OwnerDocument.CreateAttribute("xmlns");
            attr.Value = "http://earth.google.com/kml/2.0";

            kmlNode.Attributes.Append(attr);

            xmlDoc.Save(xml);
        }
    }

}

下面看一下调用的方法，使用者如果不想仔细研究细节，那就关注这个就可以了，调用方法非常简单

   1:          static void Main(string[] args)

   2:          {

   3:              Generator kmlGenerator = new Generator("Test");

4:

   5:              kmlGenerator.Generate(new AddressDescription("1600 Amphitheatre Parkway, Mountain View, CA 94043",

   6:                  "Google"));

7:

   8:              if (!string.IsNullOrEmpty(kmlGenerator.LastErrorOrWarning))

   9:              {

  10:                  Console.WriteLine(kmlGenerator.LastErrorOrWarning);

  11:              }

12:

  13:              kmlGenerator.Generate(new AddressDescription("1 Microsoft Way, Redmond, WA 98052",

  14:                  "Microsoft"));

15:

  16:              if (!string.IsNullOrEmpty(kmlGenerator.LastErrorOrWarning))

  17:              {

  18:                  Console.WriteLine(kmlGenerator.LastErrorOrWarning);

  19:              }

20:

  21:              kmlGenerator.Generate(new AddressDescription("1601 S. California Ave., Palo Alto, CA 95304",

  22:                  "Facebook"));

23:

  24:              if (!string.IsNullOrEmpty(kmlGenerator.LastErrorOrWarning))

  25:              {

  26:                  Console.WriteLine(kmlGenerator.LastErrorOrWarning);

  27:              }

28:

  29:              kmlGenerator.Generate(new AddressDescription("701 First Ave, Sunnyvale, CA 94089",

  30:                  "Yahoo"));

31:

  32:              if (!string.IsNullOrEmpty(kmlGenerator.LastErrorOrWarning))

  33:              {

  34:                  Console.WriteLine(kmlGenerator.LastErrorOrWarning);

  35:              }

36:

  37:              kmlGenerator.Save("test.kml");

  38:          }

  39:      }

第三行，实例化 KML 生成器，并指定一个名字，这个名字对于 kml 文档中的 name 字段。

第五行，在kml 文件中标注 google 总部的地址

第八行，判断是否有最新的错误，每次执行第五行的Generate 方法，会将最新错误清空，所以这里永远是得到最近一次调用 Generate 方法的错误或警告。

后面以此类推了。

最后 Save 到一个kml文件中就OK了。

最后，我们可以把这个 kml 文件导入到我们自己创建的 google map 中。这个在 google maps 里面有相应的导入功能，这里就不介绍了。

完整源码下载

完整源码

注意源码中 app.config 文件中

<add key="GeocodingApi.Key" value="google api key" />
    <add key="GeocodingApi.Url" value="http://maps.google.com/maps/geo?" />

GeocodingApi.key 这里要填写你自己的 google api key，你可以在 google 网站上获取，地址如下：

http://code.google.com/apis/maps/signup.html

本文链接

通过 Windows 7 共享上网

2011-11-01T01:41:00Z

要实现多台机器共享上网通常有两种方法，一种是通过路由器共享上网，一种是通过软网关共享上网。在某些情况下，比如要通过3G，或4G无线网卡共享上网，我们需要特殊的3G或4G无线路由器才能共享，在没有这种路由器的情况下，我们只能通过软件共享上网。windows 7 提供了这样的共享功能，而且配置非常简单。下面我就把我如何配置办公室的共享上网的步骤写下来，供大家参考。

在开始这篇文章之前，我先介绍一下我的网络环境。

办公室里面有一台台式电脑，操作系统是 windows 7 professional 64bit。通过 4G 无线网卡上网，上网速度为 20Mbps(下行)/16Mbps(上行)。一台无线路由器，若干办公电脑和网络打印机。没有有线的上网线路。其实普通的 ADSL2+ 的下行速度在我们这里最高只能达到10Mbps，还不如 4G 无线网卡的速度快。注：中国大陆地区目前好像还没有开通4G无线网络，不过无所谓，电脑只要能上网就可以进行共享。

我的目标就是让所有的设备都通过4G无线网卡访问 internet.

首先考虑的是通过路由器来共享，但由于 4G 无线网络在澳大利亚刚刚开通才一个月，还没有相应的无线路由器，找到一个3G的无线路由器 NetComm 的 N3G002W。如下图所示：

测试了一下，不支持4G无线网卡，只支持3G的，不过3G的无线网卡上网速度实在太慢了，放弃这个想法。

既然不能通过路由器共享，接下来就只能通过软网关来共享上网了。一开始我并不知道 windows 7 自带有类似的功能，在网上找了两个软网关，一个是WinRoute,这个软件是收费的，399美元，而且从网站说明上看，不支持 windows 7. 还有一个是 AnyRouter，这个软件有免费版本，但界面是中文的（公司里面只有我能看懂中文) ，而且从网站说明上看好像也不支持 windows 7。看来都不符合我的要求。还是 google 吧。一搜不要紧，发现windows 7 本身就自带 internet share 的功能，叫 ICS (Internet Connection Sharing)。参见 Using ICS (Internet Connection Sharing)

下面就把我的设置步骤说明一下，很简单。

首先进入 Control Panel->Network and Internet->Network and Sharing Center，如下图

这里有个 Telstra Mobile 的网络适配器，这个就是我前面说的 4G 无线网卡的网络适配器，那个台式机就是通过这个无线网卡上网的。点圆圈里面那个蓝色链接再点 Properites(中文系统这里应该是属性)。进入到这个网络适配器的属性配置。

在属性设置中，选第二个tab->Sharing （共享），然后将我红圈部分选中就可以了。下面有一个 Home networking connection 要选择一下，这个设置的意思是通过哪个网络适配器进行共享。通常情况下我们都是通过本地的以太网网卡进行共享，在这里我选择的是本地网络的网络适配器。

点OK后，会有个提示，说本地网络适配器的IP地址将被强行改为 192.168.137.1，这是因为要做软网关，需要一个固定IP地址，windows 7 就强行把这个地址固定在了192.168.137.1 上了。点确认，设置结束。

下面的工作就是配置路由器了。

路由器的链接方法是用直连网线连接路由器的LAN 口和上面那个 windows 7 的台式机的本地网卡。可能也可以连WAN 口，然后配置为级联，不过我没有试过。

路由器的配置方法如下：

首先路由器的IP网段要设置为 192.168.137.* 这个网段(当然也可以用级联)，直接改了路由器的本地IP地址为 192.168.137.2 ，这样网段就一致了。

然后就是配置网关和DNS 地址，这两个地址都设置为 192.168.137.1，即指向 windows 7 的软网关，如下图所示：

有的路由器还要手工设置一下 DHCP 的地址范围，比如设置为 192.168.137.100 – 192.168.137.254

配置好后，重启路由器。

打开我的笔记本电脑，用无线网卡连接无线路由器自动获取IP地址后，测试了一下，可以正常访问internet 了。至此配置结束。

本文链接

正确理解 SqlConnection 的连接池机制

2011-10-31T05:44:00Z

作者: eaglet

转载请注明出处

.net 中通过 SqlConnection 连接 sql server，我们会发现第一次连接时总是很耗时，但后面连接就很快，这个其实和SqlConnection 的连接池机制有关，正确的理解这个连接池机制，有助于我们编写高效的数据库应用程序。

很多人认为 SqlConnection 的连接是不耗时的，理由是循环执行 SqlConnection.Open 得到的平均时间几乎为0，但每次首次open 时，耗时又往往达到几个毫秒到几秒不等，这又是为什么呢？

首先我们看一下 MSDN 上的权威文档上是怎么说的

Connecting to a database server typically consists of several time-consuming steps. A physical channel such as a socket or a named pipe must be established, the initial handshake with the server must occur, the connection string information must be parsed, the connection must be authenticated by the server, checks must be run for enlisting in the current transaction, and so on.

以上摘自 http://msdn.microsoft.com/en-us/library/8xx3tyca%28VS.80%29.aspx

也就是说物理连接建立时，需要做和服务器握手，解析连接字符串，授权，约束的检查等等操作，而物理连接建立后，这些操作就不会去做了。这些操作是需要一定的时间的。所以很多人喜欢用一个静态对象存储 SqlConnection 来始终保持物理连接，但采用静态对象时，多线程访问会带来一些问题，实际上，我们完全不需要这么做，因为 SqlConnection 默认打开了连接池功能，当程序执行 SqlConnection.Close 后，物理连接并不会被立即释放，所以这才出现当循环执行 Open操作时，执行时间几乎为0.

下面我们先看一下不打开连接池时，循环执行 SqlConnection.Open 的耗时

public static void OpenWithoutPooling()
        {
            string connectionString =
                "Data Source=192.168.10.2; Initial Catalog=News; Integrated Security=True;Pooling=False;";

            Stopwatch sw = new Stopwatch();

            sw.Start();
            using (SqlConnection conn =
                new SqlConnection(connectionString))
            {
                conn.Open();
            }

            sw.Stop();
            Console.WriteLine("Without Pooling, first connection elapsed {0} ms", sw.ElapsedMilliseconds);

            sw.Reset();

            sw.Start();

            for (int i = 0; i < 100; i++)
            {
                using (SqlConnection conn = new SqlConnection(connectionString))
                {
                    conn.Open();
                }
            }

            sw.Stop();
            Console.WriteLine("Without Pooling, average connection elapsed {0} ms", sw.ElapsedMilliseconds / 100);
        }

SqlConnection 默认是打开连接池的，如果要强制关闭，我们需要在连接字符串中加入 Pooling=False

调用程序如下：

Test.SqlConnectionTest.OpenWithoutPooling();
                Console.WriteLine("Waiting for 10s");
                System.Threading.Thread.Sleep(10 * 1000);
                Test.SqlConnectionTest.OpenWithoutPooling();
                Console.WriteLine("Waiting for 600s");
                System.Threading.Thread.Sleep(600 * 1000);
                Test.SqlConnectionTest.OpenWithoutPooling();

下面是测试结果

Without Pooling, first connection elapsed 13 ms
Without Pooling, average connection elapsed 5 ms
Wating for 10s
Without Pooling, first connection elapsed 6 ms
Without Pooling, average connection elapsed 4 ms
Wating for 600s
Without Pooling, first connection elapsed 7 ms
Without Pooling, average connection elapsed 4 ms

从这个测试结果看，关闭连接池后，平均每次连接大概要耗时4个毫秒左右，这个就是建立物理连接的平均耗时。

下面再看默认情况下的测试代码

public static void OpenWithPooling()
        {
            string connectionString =
                "Data Source=192.168.10.2; Initial Catalog=News; Integrated Security=True;";
            
            Stopwatch sw = new Stopwatch();

            sw.Start();
            using (SqlConnection conn =
                new SqlConnection(connectionString))
            {
                conn.Open();
            }

            sw.Stop();
            Console.WriteLine("With Pooling, first connection elapsed {0} ms", sw.ElapsedMilliseconds);

            sw.Reset();

            sw.Start();

            for (int i = 0; i < 100; i++)
            {
                using (SqlConnection conn = new SqlConnection(connectionString))
                {
                    conn.Open();
                }
            }

            sw.Stop();
            Console.WriteLine("With Pooling, average connection elapsed {0} ms", sw.ElapsedMilliseconds / 100);
        }

调用代码

Test.SqlConnectionTest.OpenWithPooling();
                Console.WriteLine("Waiting for 10s");
                System.Threading.Thread.Sleep(10 * 1000);
                Test.SqlConnectionTest.OpenWithPooling();
                Console.WriteLine("Waiting for 600s");
                System.Threading.Thread.Sleep(600 * 1000);
                Test.SqlConnectionTest.OpenWithPooling();

测试结果

With Pooling, first connection elapsed 119 ms
With Pooling, average connection elapsed 0 ms
Waiting for 10s
With Pooling, first connection elapsed 0 ms
With Pooling, average connection elapsed 0 ms
Waiting for 600s
With Pooling, first connection elapsed 6 ms
With Pooling, average connection elapsed 0 ms

这个测试结果看，第一次耗时是119ms，这是因为我在测试代码中，首先运行的是这个测试过程，119 ms 是程序第一次启动时的首次连接耗时，这个耗时可能不光包括连接数据库的时间，还有 ado.net 自己初始化的用时，所以这个用时可以不管。10秒以后在执行这个测试过程，首次执行的时间变成了0ms，这说明连接池机制发生了作用，SqlConnection Close 后，物理连接并没有被关闭，所以10秒后再执行，连接几乎没有用时间。

但我们发现一个有趣的现象，10分钟后，首次连接时间变成了6ms，这个和前面不打开连接池的测试用时几乎一样，也就是说10分钟后，物理连接被关闭了，又重新打开了一个物理连接。这个现象是因为连接池有个超时时间，默认情况下应该在5-10分钟之间，如果在此期间没有任何的连接操作，物理连接就会被关闭。那么我们有没有办法始终保持物理连接呢？方法是有的。

连接池设置中有一个最小连接池大小，默认为0，我们把它设置为大于0的值就可以保持若干物理连接始终不释放了。看代码

public static void OpenWithPooling(int minPoolSize)
        {
            string connectionString =
                string.Format("Data Source=192.168.10.2; Initial Catalog=News; Integrated Security=True;Min Pool Size={0}",
                    minPoolSize);

            Stopwatch sw = new Stopwatch();

            sw.Start();
            using (SqlConnection conn =
                new SqlConnection(connectionString))
            {
                conn.Open();
            }

            sw.Stop();
            Console.WriteLine("With Pooling Min Pool Size={0}, first connection elapsed {1} ms", 
                minPoolSize, sw.ElapsedMilliseconds);

            sw.Reset();

            sw.Start();

            for (int i = 0; i < 100; i++)
            {
                using (SqlConnection conn = new SqlConnection(connectionString))
                {
                    conn.Open();
                }
            }

            sw.Stop();
            Console.WriteLine("With Pooling Min Pool Size={0}, average connection elapsed {1} ms", 
                minPoolSize, sw.ElapsedMilliseconds / 100);
        }

其实只要在连接字符串中加入一个 Min Pool Size=n 就可以了。

调用代码

Test.SqlConnectionTest.OpenWithPooling(1);
                Console.WriteLine("Waiting for 10s");
                System.Threading.Thread.Sleep(10 * 1000);
                Test.SqlConnectionTest.OpenWithPooling(1);
                Console.WriteLine("Waiting for 600s");
                System.Threading.Thread.Sleep(600 * 1000);
                Test.SqlConnectionTest.OpenWithPooling(1);

With Pooling Min Pool Size=1, first connection elapsed 5 ms
With Pooling Min Pool Size=1, average connection elapsed 0 ms
Waiting for 10s
With Pooling Min Pool Size=1, first connection elapsed 0 ms
With Pooling Min Pool Size=1, average connection elapsed 0 ms
Waiting for 600s
With Pooling Min Pool Size=1, first connection elapsed 0 ms
With Pooling Min Pool Size=1, average connection elapsed 0 ms

我们可以看到当 Min Pool Size = 1 时，除了首次连接用时5ms以外，即便过了10分钟，用时还是0ms，物理连接没有被关闭。

多线程调用问题

多线程调用我也做了测试，这里不贴代码了，我大概讲一下结果。如果是多线程访问 SqlConnection ，注意是通过 new SqlConnection 方式访问，

那么这里有两个问题，如果后一个线程在前一个线程 Close 前调用了Open操作，那么 Ado.net 不可能复用一个物理连接，它将为第二个线程分配一个新的物理连接。如果后一个线程 Open 时，前一个线程已经 Close 了，则新的线程使用前一个线程的物理连接。也就是说，如果同时有n个线程连接数据库，最多情况下会创建n条物理连接，最少情况下为1条。如果创建n条物理连接，则用时理论上等于 n * t / cpu , n 为线程数，t 为每次创建物理连接的用时，前面测试的结果大概是5-10ms左右，cpu 为当前机器的CPU数量。另外网络，服务器的负荷也影响这个用时。为了保证在大并发时，尽量少的创建新的物理连接，我们可以适当把 Min Pool Size 调大一些，但也不要太大，因为单个机器TCP链路的数量是有限的，详见我另外一篇文章 Windows 下单机最大TCP连接数

连接字符串中关于连接池方面的参数

见下面链接 SqlConnection.ConnectionString Property

IIS 回收应用程序池对连接池的影响

在做 ASP.NET 程序时，我们会发现，如果网站20分钟不访问，再次访问就会比较慢，这是因为IIS默认的 idle timeout 是20分钟，如果在20分钟内没有一个访问，IIS 将回收应用程序池，回收应用程序池的结果就相当于应用程序被重启，所有原来的全局变量，session, 物理连接都将清空。回收应用程序池后首次访问，相当于前面我们看到的程序启动后第一次访问数据库，连接的建立时间将比较长。所以如果网站在某些时段访问量很少的话，需要考虑 idle timeout 是否设置合理。

本文链接

Windows 2008 server + IIS 7 设置身份模拟(ASP.NET impersonation)

2011-10-24T23:48:00Z

作者：eaglet

转载请注明出处

IIS7 与 IIS 6 相比有了很大的改动，原来在 IIS 6 下可以的设置到了 IIS 7 下有的会发生变化。身份模拟的配置上，IIS7 和 IIS6有很大不同，网上IIS6的身份模拟的文章比较多，但介绍IIS7的比较少，我把的一些折腾的经验在这篇博客中写下来，以供参考。

IIS 7 有两种 ASP.NET Application Mode。

一种是集成模式(Integrated Mode) 这个是默认的模式，也是微软推荐的模式，另一种是经典模式(Classic Mode) ，这种模式是用于兼容老版本。集成模式使用更方便而且安全性更好，不需要把模拟帐户的用户名和密码写在配置文件中，这样更安全也更方便。既然我们已经用了IIS 7，那么我们还是按微软推荐的方式使用集成模式比较好。

集成模式下，身份模拟可以完全通过界面来完成：

首先如上图所示，IIS 7 在 Server Level 下有个 IIS-> Authentication ，双击这个图标我们看到下面这个图：

在这个图中我们看到 IIS7 多了一个 ASP.NET Impersonation 的功能，在 Actions 里面点 Enable 开启身份模拟功能，然后点 Edit 编辑身份模拟。

我们看到上面这个编辑框，在这个编辑框中，我们指定要进行身份模拟的帐号，这个帐号必须是本地已经存在的帐号，点 Set 输入这个帐号的名称和密码。

然后点OK。

到这里，按照 MSDN 中的帮助文档，身份模拟应该就算设置成功了。

然后我做了一个简单的测试页面看看身份模拟是否成功，测试程序如下：

protected void Page_Load(object sender, EventArgs e)
{
Response.Write(System.Security.Principal.WindowsIdentity.GetCurrent().Name);
}

运行的结果居然是：

NT AUTHORITY\IUSR

也就是说 Asp.net 没有用我设置的这个 MyAccount 帐号模拟运行，而是仍然用IUSR 帐号模拟运行。查了好久，才发现是下面问题造成：

用 Virtual Studio 2008 生成网站时，web.config 文件中默认会有这样一个设置：

<identity impersonate="true" />

这个设置是为 IIS 6 做身份模拟而设置的。在这种情况下，用户身份的认证交给IIS来进行。当允许匿名登录时，IIS将一个匿名登录使用的标识（缺省情况下是IUSR）交给ASP.NET应用程序。当不允许匿名登录时，IIS将认证过的身份标识传递给ASP.NET应用程序。ASP.NET的具体访问权限由该账号的权限决定。

这个设置在 IIS 7 下已经过时了，如果用古典模式，才需要这样设置。

找到问题原因后，我把 <identity impersonate="true" /> 这个配置项从 web.config 中删除了。删除后，就可以用到前面在界面上配置的用户名来模拟帐号了。

然而先不要高兴的太早，紧接着就出现了新的问题。错误如下：

Could not load file or assembly 'xxxx' or one of its dependencies. Access is denied.

Description: An unhandled exception occurred during the execution of the current web request. Please review the stack trace for more information about the error and where it originated in the code.
Exception Details: System.IO.FileLoadException: Could not load file or assembly 'GetPathFileLib' or one of its dependencies. Access is denied.
Source Error:

从错误提示看，应该是目前这个模拟帐户没有足够的权限去执行 bin 目录下的 xxxx.dll ，于是我把bin 目录赋予模拟帐户 MyAccount 完全控制的权限，结果还是不行，我在网上搜了一下，有人说需要将C:\WINDOWS\Microsoft.NET\Framework\v2.0.50727\Temporary 这个目录也设置为完全控制，于是照做了，还是不行。无奈之下，我把MyAccount 帐户加入了 IIS_IUSRS这个群组，问题终于解决。

现在我们再运行上面那个显示当前用户的代码显示结果为

MachineName\MyAccout

注意：我们必须要把 <identity impersonate="true" /> 删除才行，如果仅仅是设置为 <identity impersonate="false" />

模拟的帐户会变成 IIS APPPOOL\DefaultAppPool，这个设置是不正确的。

到这里IIS7 下设置身份模拟就全部完成了。

本文链接

IIS 7.5 配置 FTP Passive 模式

2011-10-24T00:38:00Z

第一步:

进入 Server Level 的FTP Firewall Support

第二步:

在 Data Channel Port Range 下配置 Passive mode 的端口号范围，注意这个范围的端口号必须要大于1023

第三步:

配置防火墙设置

如下图所示，我们需要将 Inbound Rules 的FTP Server Passive(FTP Passive Traffic-In) 这个规则开启，这个规则默认是开启的。

第四步：

重启服务器

配置好以上这些以后，必须要重启服务器防火墙才生效，我尝试过重启FTP 站点，重启IIS 或者重启那个 WWW Publish 服务，都无法使防火墙生效。不知道为什么。如果有哪位朋友知道不重启服务就让防火墙生效的方法，麻烦在回复中告知一下，谢谢。

本文链接

web site publish 时几个问题的解决

2011-10-14T01:04:00Z

一直做后台程序和winform ，很少做网站。我以前做的网站，都是直接把cs文件拷贝到服务器上执行，土得一塌糊涂。最近打算痛改前非，改成用发布功能发布，结果就出现了一些问题。

问题1：

Compiler Error Message: CS0433: The type 'ASP.global_asax' exists in both 'c:\Windows\Microsoft.NET\Framework64\v2.0.50727\Temporary ASP.NET Files\root\e22c2559\92c7e946\assembly\dl3\179fe88d\0064257c_f086cc01\App_global.asax.DLL' and 'c:\Windows\Microsoft.NET\Framework64\v2.0.50727\Temporary ASP.NET Files\root\e22c2559\92c7e946\App_global.asax.idkrgdjy.dll'

这个错误，我折腾了好久，后来发现是发布后，bin 目录下已经有了一个 App_global.asax.dll ，而我的根目录下的 global.asax 没有删除，结果重复了。

删掉 global.asax ，问题解决了。但又出现另外一个问题，就是原来 global.asax 里面的代码不执行了。我用反编译工具检查了一下 App_global.asax.dll ，代码都已经编译了，但就是不执行，郁闷。

后来还是一个朋友提醒我要把 PrecompiledApp.config 这个文件拷贝到网站根目录下。拷贝上去后，问题解决。

本文链接

HubbleDotNet 开源全文搜索数据库项目--内存索引

2011-08-09T22:09:00Z

经过2周多的努力，HubbleDotNet 的内存索引功能终于搞好了。有了内存索引，搜索不再去读硬盘，实时性大大提高了。hubble的内存索引不同于lucene 的内存索引，本文将具体介绍一下hubble 的内存索引功能。

hubbledotnet 的内存索引被设计为一个可管理的可以持久化的内存索引，它和lucene 的内存索引有很大不同。lucene 的内存索引是不能持久化的，就是如果你用lucene 的内存索引，那么一旦机器重启，索引就没有了，要持久化，要同时做内存索引和文件索引。（lucene老版本是这样的，不知道新版本是否改进了)。另外 lucene 的内存索引是不可管理的，不能动态分配内存，所有索引全部加载到内存，如果索引很大，内存消耗非常大。hubbledotnet 的内存索引在设计上考虑到这些问题，下面具体谈谈。

索引的持久化

hubbledotnet 的内存索引采用了读写分离的设计。写索引还是写入到文件中，读索引从内存中读取。这样即使机器重启，索引也不会丢失。而且由于读写分离，查询时完全不读取硬盘，查询的响应时间基本上非常确定，实时性比读取文件要提高很多。对于一些实时性要求比较高的搜索项目，由于数据修改非常频繁，并且要实时显示，在这种情况下，不可能每次增量或修改都优化索引，这样必然导致产生大量的索引碎片，如果不采用内存索引，每次搜索时就要读取大量的文件，搜索速度会受到很大影响，采用内存索引后，不管有多少文件，都是从内存读取，这个问题就得到彻底的解决。

内存索引类型

如上图所示，要让表具备内存索引功能，只要在 tableinfo 中设置 RamIndexType 就可以了。

内存索引有如下4种类型：

NoCache : 这种类型表示不把索引加载到内存

Full: 这种类型表示把索引全部加载到内存

Dynamic: 这种类型表示动态加载内存，这个类型要和 RamIndex Min Load Size 参数配合使用，当一次读取超过最小加载大小时，将把相应的一块内存加载到内存中，这个最小加载大小的设置是为了控制加载内存的数量，较少的文件读取对搜索速度不会产生太大的影响，如果不论读取多少都加载到内存，会导致内存增长过快。最小加载大小默认值为80KB。hubbledotnet 的倒排索引压缩率比较高，每个文档在倒排索引中只占用2-4个字节，80KB大概相当于单个单词匹配2万到4万条记录左右。由于GC的大对象堆的门槛是85KB，所以我将这个默认值设置为80KB，以避免频繁到大对象堆中分配内存。

Small: 这种类型只对大小小于8MB的索引文件加载内存，这个类型主要用于那些索引更新比较频繁，且内存又不是很充裕的项目，因为这些项目往往会产生很多小的索引文件碎片。

内存管理

内存索引有个很重要的问题就是随着索引文件的增大和搜索覆盖索引的增大，内存会逐渐增长，我们必须要有一个机制来控制这个内存的总数，不能把内存全部用光。hubbledotnet 专门做了这方面的设计。

如上图所示，HubbleDotNet 提供了三个参数

RamIndexMemoryLimited: 这个参数指定内存索引的最大占用内存数，默认为64GB。一旦内存索引占用的内存数量超过这个设置或者hubbledotnet 发现申请内存时系统的物理内存可用数量少于100MB，这时HubbleDotNet 会对内存进行整理，将不经常访问的内存清除出去以腾出足够的内存。

RamIndexAllocedMemory: 这个参数是一个只读参数，它返回当前内存索引占用的内存数量。

LastSystemAvaliableMemory:这个参数是一个只读参数，它返回上一次分配内存时系统的可用物理内存数量。

设置最大内存数

设置最大内存数的方法很简单，只要执行如下语句就可以，比如我们要设置内存索引最大占用内存数为2GB，我们只要执行:

sp_configure 'RamIndexMemoryLimited', 2048

注意：这个参数的设置不需要重启Hubble服务，执行这个语句后，参数会立即生效。如果当前占用的内存数大于设置的内存数量，系统会自动整理内存，释放出多余的内存。

适用版本

1.1.5.4 版本及其以上版本

返回 HubbleDotNet 技术详解

本文链接

1.1.4.0 改动说明(这个版本单个关键字的查询速度大幅提高了)

2011-07-24T09:11:00Z

1.1.4.0 版本对底层的查询算法做了很大改进，特别是对单个关键字的查询速度，原来版本当匹配100万时用时 130ms，这个版本用时只有30ms。
原来版本的测试报告见 http://www.cnblogs.com/eaglet/archive/2010/09/03/1816856.html 这个速度大概是 lucene.net 的三倍左右。
查询的性能应该还有进一步提高空间，等完全优化好，我出一个最新的测试报告。
这个版本加载的速度有了显著提高，加载1000万行记录的索引，原来版本用时 23秒，这个版本用时只有1.9秒。
由于底层算法改进，多关键字的查询速度也相应有了提高。
这个版本对异步通信的连接池算法进行了优化，异步通信方式更加稳定和快速。
这个版本我测出了 hubbledotnet 的单个关键字查询理论最快速度(多关键字的查询速度比单关键字快，这个是hubble 的算法特点)，这个速度建立在内存索引和部分代码用C++完成的基础上(目前还没有实现，只是理论值)，理论上在 2GHZ CPU 单核运行，匹配100万记录时,hubble的理论最快速度是 8ms. 这个速度已经非常快了，查询结果平均匹配100万行的话，总记录数一般应该在1亿以上了，这么大的数据量，单核8ms完成的话，4核的普通服务器一秒钟可以做500次查询，单机可以支持1亿以上行记录索引每天超过4000万次查询，如果再加上缓存，每天可以达到1亿次以上查询。

本文链接

性能测试的一些备忘

2011-07-07T04:57:00Z

1. C# 和 C++ 执行指令的速度

测下来 C# 要慢1倍，这个和微软官方公布的是一致的。

对400 万 VInt 读取，C# 用时最快为76ms， C++ 为 34ms

2. 虚拟方法比普通方法速度慢8倍

3. DLLImport win32 动态库，调用win32 函数的速度比直接调用 C# 自身函数速度慢100倍

4. InterLock 比 lock 速度快1倍

5. 用 Marshal.AllocHGlobal 连续申请和释放4M-400M之间大小的内存1000万次，没有发现明显内存碎片产生的迹象。

本文链接

盘古分词 2.3.3.0 -- 改进了批量导入功能

2011-06-30T11:28:00Z

V 2.3.3.0 版本改进了批量导入功能

可以批量导入单词，词性和词频了。
输入文件的格式为：
单词|0x00000010|119
子弹|0x00000008|28
文本|0x00000100|2052
其中第一个参数为单词，第二个参数为词性，第三个参数为词频

需要下载代码编译，代码位置：

http://pangusegment.codeplex.com/SourceControl/list/changesets

本文链接