博客园_钱李峰的博客

使用动态编译验证用户输入合法性

2012-05-15T07:27:00Z

需求描述：

现在一个页面有4个输入框，每个输入框都绑定有一个验证规则。要求在用户输入完毕后根据每个输入的规则对用户输入进行验证。而且这些验证规则是用户在后台可以动态更改的。如下图所示：

最初的想法：

我们最初的想法使用正则表达式实现。后台数据库中只要存储验证的正则表达式就行了。需要验证的时候，从后台数据库中取得对应的正则表达式即可。想法很好，就是真正到了实现的时候有点问题。比如上图中的第一个要求如果使用正则表达式来实现就会比较复杂，在网上查了一些资料也没有发现比较通用的能够检测数字范围的正则表达式。最要命的是上面第一个是可以更改的，如果用户突然哪一天更改为：>34.5 && < 999999.9 那这个正则又该怎么写呢？目前还没有找到一个比较通用的验证数字范围的正则表达式。所以这种不可行。

不过上面有一点肯定的是，将验证规则提取到数据库中达到可配置这个是一定的，只是现在缺少一种行之有效并且简单的表达式。表达式啊表达式...突然想到lambda表达式不也是一种表达式么，如果如果让他来进行类似于范围判断的话也会简单很多。例如，如果要进行上面的范围判断可以写成：o=> o >100 && o < 499，比正则表达式不知道高到哪里去了。现在需要考虑的问题就是如何让后台代码从数据库中取出这段lambda表达式，并且能够成功执行返回结果。自然而然的想到了动态编译这个词，只要能够动态编译这些代码片段，那么就能执行并返回结果了。

动态编译c#代码

初步的想法有了，下面就是验证其是否可行了。google了一番动态编译c#代码，在园子里面搜索到这篇文章http://www.cnblogs.com/jailu/archive/2007/07/22/827058.html 。很详细的教程，在这里谢谢作者。作者给出的代码显然还不能直接用到我们这里。我们需要的接口应该是这样的 bool Validate(string lambda, string userInput); 第一个参数是从数据库取出的lambda表达式字符串，第二个参数是用户输入的需要进行验证的值。

static bool validateInput(string lambda, string input)
{
// 1.CSharpCodePrivoder
CSharpCodeProvider objCSharpCodePrivoder = new CSharpCodeProvider(new Dictionary<string, string>() { { "CompilerVersion", "v3.5" } });
// 2.ICodeComplier
ICodeCompiler objICodeCompiler = objCSharpCodePrivoder.CreateCompiler();
// 3.CompilerParameters
CompilerParameters objCompilerParameters = new CompilerParameters();
objCompilerParameters.ReferencedAssemblies.Add("System.dll");
objCompilerParameters.ReferencedAssemblies.Add("System.Core.dll");
objCompilerParameters.ReferencedAssemblies.Add("System.Xml.Linq.dll");
objCompilerParameters.GenerateExecutable = false;
objCompilerParameters.GenerateInMemory = false;
// 4.CompilerResults
CompilerResults cr = objICodeCompiler.CompileAssemblyFromSource(objCompilerParameters, GenerateCode(lambda, input));

if (cr.Errors.HasErrors)
{
Console.WriteLine("编译错误：");
foreach (CompilerError err in cr.Errors)
{
Console.WriteLine(err.ErrorText);
}
}
else
{
Assembly objAssembly = cr.CompiledAssembly;
object objHelloWorld = objAssembly.CreateInstance("DynamicCodeGenerate.DynamicValidate");
MethodInfo objMI = objHelloWorld.GetType().GetMethod("Validate");

return (bool)objMI.Invoke(objHelloWorld, null);
}

return false;

}

通过CompileAssemblyFromSource这个方法就能动态编译代码了。因为需要用到lambda表达式，所以在创建CSharpCodeProvider的时候指定编译器的版本为3.5的。编译完了之后，可以通过反射进行调用相应的动态编译的方法。在本例中，我们需要重点注意的还是怎么样构造一个可以执行lambda表达式的代码片段。

static string GenerateCode(string lambda, string input)
{
StringBuilder sb = new StringBuilder();
sb.Append("using System;");
sb.Append(Environment.NewLine);
sb.Append(Environment.NewLine);
sb.Append("namespace DynamicCodeGenerate");
sb.Append(Environment.NewLine);
sb.Append("{");
sb.Append(Environment.NewLine);
sb.Append(" public class DynamicValidate");
sb.Append(Environment.NewLine);
sb.Append(" {");
sb.Append(Environment.NewLine);
sb.Append(" public delegate TResult Func<T, TResult>(T arg);");
sb.Append(Environment.NewLine);
sb.Append(" public bool Validates(Func<string, bool> f)");
sb.Append(Environment.NewLine);
sb.Append(" {");
sb.Append(Environment.NewLine);
sb.Append(" return f(\"" + input + "\");");
sb.Append(Environment.NewLine);
sb.Append(" }");
sb.Append(Environment.NewLine);
sb.Append(" public bool Validate()");
sb.Append(Environment.NewLine);
sb.Append(" {");
sb.Append(Environment.NewLine);
sb.Append(" return Validates(" + lambda + ");");
sb.Append(Environment.NewLine);
sb.Append(" }");
sb.Append(Environment.NewLine);
sb.Append(" }");
sb.Append(Environment.NewLine);
sb.Append("}");

string code = sb.ToString();
Console.WriteLine(code);
Console.WriteLine();

return code;
}

可以看到，我声明了一个Validates方法，这个方法接受一个委托Func。输入是字符串，返回值是bool。然后再声明一个Vlidate调用Validates方法并传入lambda。通过这样的方式就可以成功动态编译并执行我们指定的lambda表达式了。

关于效率

　这段代码既用到动态编译，又用到反射效率上肯定不是太高。不过灵活性和效率向来就很难兼得。如果还有其他更好的兼得的方法欢迎不吝赐教！

本文链接

python设置windows桌面壁纸

2012-05-10T03:25:00Z

每天换一个壁纸，每天好心情。

# -*- coding: UTF-8 -*- 

from __future__ import unicode_literals
import Image
import datetime
import win32gui,win32con,win32api
import re
from HttpWrapper import SendRequest

StoreFolder = "c:\\dayImage"

def setWallpaperFromBMP(imagepath):
    k = win32api.RegOpenKeyEx(win32con.HKEY_CURRENT_USER,"Control Panel\\Desktop",0,win32con.KEY_SET_VALUE)
    win32api.RegSetValueEx(k, "WallpaperStyle", 0, win32con.REG_SZ, "2") #2拉伸适应桌面,0桌面居中
    win32api.RegSetValueEx(k, "TileWallpaper", 0, win32con.REG_SZ, "0")
    win32gui.SystemParametersInfo(win32con.SPI_SETDESKWALLPAPER,imagepath, 1+2)

def setWallPaper(imagePath):
    """
    Given a path to an image, convert it to bmp and set it as wallpaper
    """
    bmpImage = Image.open(imagePath)
    newPath = StoreFolder + '\\mywallpaper.bmp'
    bmpImage.save(newPath, "BMP")
    setWallpaperFromBMP(newPath)

def getPicture():
    url = "http://photography.nationalgeographic.com/photography/photo-of-the-day/"
    h = SendRequest(url)
    if h.GetSource():
        r = re.findall('<div class="download_link"><a href="(.*?)">Download',h.GetSource())
        if r:
            return SendRequest(r[0]).GetSource()
        else:
            print "解析图片地址出错，请检查正则表达式是否正确"
            return None


def setWallpaperOfToday():
    img = getPicture()
    if img:
        path = StoreFolder + "\\%s.jpg" % datetime.date.today()
        f = open(path,"wb")
        f.write(img)
        f.close()
        setWallPaper(path)

setWallpaperOfToday()
print 'Wallpaper set ok!'
 
 
其中的httpwrapper是我写的一个http访问的封装：

#!/usr/bin/env python 
# -*- coding: UTF-8 -*-
#-------------------------------------------------------------------------------
# Name: 对http访问的封装
#
# Author: qianlifeng
#
# Created: 10-02-2012
#-------------------------------------------------------------------------------

import base64
import urllib
import urllib2
import time
import re
import sys

class SendRequest:
  """
  网页请求增强类
  SendRequest('http://xxx.com',data=dict, type='POST', auth='base',user='xxx', password='xxx')
  """
  def __init__(self, url, data=None, method='GET', auth=None, user=None, password=None, cookie = None, **header):
    """
    url: 请求的url，不能为空
    date: 需要post的内容，必须是字典
    method: Get 或者 Post，默认为Get
    auth: 'base' 或者 'cookie'
    user: 用于base认证的用户名
    password: 用于base认证的密码
    cookie: 请求附带的cookie，一般用于登录后的认证
    其他头信息:
    e.g. referer='www.sina.com.cn'
    """

    self.url = url
    self.data = data
    self.method = method
    self.auth = auth
    self.user = user
    self.password = password
    self.cookie = cookie

    if 'referer' in header:
        self.referer = header[referer]
    else:
        self.referer = None

    if 'user-agent' in header:
        self.user_agent = header[user-agent]
    else:
## self.user_agent = 'Mozilla/5.0 (Windows NT 5.1; rv:8.0) Gecko/20100101 Firefox/8.0'
        self.user_agent = 'Mozilla/5.0 (iPhone; U; CPU iPhone OS 3_0 like Mac OS X; en-us) AppleWebKit/528.18 (KHTML, like Gecko) Version/4.0 Mobile/7A341 Safari/528.16'

    self.__SetupRequest()
    self.__SendRequest()

  def __SetupRequest(self):

    if self.url is None or self.url == '':
        raise 'url 不能为空!'

    #访问方式设置
    if self.method.lower() == 'post':
        self.Req = urllib2.Request(self.url, urllib.urlencode(self.data))

    elif self.method.lower() == 'get':
        if self.data == None:
            self.Req = urllib2.Request(self.url)
        else:
            self.Req = urllib2.Request(self.url + '?' + urllib.urlencode(self.data))

    #设置认证信息
    if self.auth == 'base':
        if self.user == None or self.password == None:
            raise 'The user or password was not given!'
        else:
            auth_info = base64.encodestring(self.user + ':' + self.password).replace('\n','')
            auth_info = 'Basic ' + auth_info
            self.Req.add_header("Authorization", auth_info)

    elif self.auth == 'cookie':
        if self.cookie == None:
            raise 'The cookie was not given!'
        else:
            self.Req.add_header("Cookie", self.cookie)


    if self.referer:
        self.Req.add_header('referer', self.referer)
    if self.user_agent:
        self.Req.add_header('user-agent', self.user_agent)


  def __SendRequest(self):

    try:
      self.Res = urllib2.urlopen(self.Req)
      self.source = self.Res.read()
      self.code = self.Res.getcode()
      self.head_dict = self.Res.info().dict
      self.Res.close()
    except:
      print "Error: HttpWrapper=>_SendRequest ", sys.exc_info()[1]


  def GetResponseCode(self):
    """
    得到服务器返回的状态码(200表示成功,404网页不存在)
    """
    return self.code

  def GetSource(self):
    """
    得到网页源代码，需要解码后在使用
    """
    if "source" in dir(self):
        return self.source
    return u''

  def GetHeaderInfo(self):
    """
    u'得到响应头信息'
    """
    return self.head_dict

  def GetCookie(self):
    """
    得到服务器返回的Cookie，一般用于登录后续操作
    """
    if 'set-cookie' in self.head_dict:
      return self.head_dict['set-cookie']
    else:
      return None

  def GetContentType(self):
    """
    得到返回类型
    """
    if 'content-type' in self.head_dict:
      return self.head_dict['content-type']
    else:
      return None

  def GetCharset(self):
    """
    尝试得到网页的编码
    如果得不到返回None
    """
    contentType = self.GetContentType()
    if contentType is not None:
        index = contentType.find("charset")
        if index > 0:
           return contentType[index+8:]
    return None

  def GetExpiresTime(self):
    """
    得到网页过期时间
    """
    if 'expires' in self.head_dict:
      return self.head_dict['expires']
    else:
      return None

  def GetServerName(self):
    """
    得到服务器名字
    """
    if 'server' in self.head_dict:
      return self.head_dict['server']
    else:
      return None

__all__ = [SendRequest,]

if __name__ == '__main__':
    b = SendRequest("http://www.baidu.com")
    print b.GetSource()

本文链接

EasyVS 0.3版本发布 -- 给力变换vs编辑器主题

2012-03-28T13:48:00Z

之前版本介绍

http://www.cnblogs.com/qianlifeng/archive/2012/01/09/2317625.html

0.3版本

下载：http://visualstudiogallery.msdn.microsoft.com/7310649d-87d9-45d2-b7da-99e5b001549e

距离上次发布0.2版本也快三个多月了，这次的0.3版本增加了一些实用的功能。具体介绍如下：

增加主题功能 (内置7种不同风格主题)

主题功能是这个版本的亮点。我收集了七个比较流行的编辑器主题样式，有了这个功能再也不用到网上寻找安装这样那样的主题了。

增加文件右键“在资源管理器中打开”功能

我们知道VS2010对文件夹支持“在资源管理器中打开”的功能，而对于普通的代码文件则没有这个功能。每次如果想用资源管理器打开对应的代码文件都很麻烦。所以这一版加入了直接对代码文件用资源管理器打开的功能（据同事反馈，这个功能比较实用^_^）。

新建的文件自动头信息功能（可关闭）

这种自动添加文件头信息，作者信息的功能网上有许多的实现方法，比如直接修改模板文件。加入这个功能只是为了简化实现这个操作的步骤。直接在设置里面更改就有效果了，而且还可以自己选择是否关闭。

增加克隆选中文本功能 (Ctrl + E, Ctrl + E)

这个功能是仿照Resharper的ctrl+d功能实现的，使用Resharper的同学肯不定不陌生。具体的使用方法就是按快捷键Ctrl+E,Ctrl+E后会对选中的文本克隆到下面一行，如果没有选中则克隆鼠标所在那一行的文本到下一行。比如：我先选中两行文本

然后快捷键Ctrl + E, Ctrl + E，变成如下效果：

引入这个功能是因为我觉得平常用的蛮多的，可能会对大家有一些帮助，特别是那些没有使用resharper插件的同学。

增加“重启”功能

至于这个功能，我只能说不管你要不要，它就在那里。总有你需要的时候。

Bug修复

修复less tab的打开winform窗体出错的一个BUG

最后，希望各位同学能够提供使用意见，感激不尽！^_^

本文链接

在chrome中利用“油猴”为每个网页增加“返回顶部”功能

2012-03-08T05:46:00Z

今天在网上看到了“油猴”这么个东西的介绍，感觉蛮有趣，跟大家分享一下。这个东西本来是火狐的插件，后来一查原来chrome从4.0以后也支持用户脚本了。所谓的“油猴”实际上是一段以*.user.js结尾的js脚本，通过油猴你可以在每个网页上执行你的这段脚本。利用这个js脚本你可以对网站页面做一些个性化的修改，比如像我们今天提到在每个页面上增加“返回顶部”的功能，其效果就是在每个页面自动添加返回顶部的功能：

效果图：

创建“油猴”脚本

下面介绍一下如何在chrome中编写自己的用户脚本（以增加返回顶部功能为例）

1. 去谷歌扩展中心下载 Tampermonkey ,这个东西可以用来管理各种用户脚本。当然，新建一个脚本也会变得比较容易。

2. 安装后进入Tampermonkey的设置界面，然后创建一个新的脚本：

在编辑脚本页面输入下面的一段js脚本（用于实现“返回顶部”功能）

// ==UserScript== 
// @name GotoTop
// @version 0.1
// @description 给每个网页增加返回顶部按钮
// @match http://*
// @match https://*
// @copyright scott qian
// @require http://ajax.googleapis.com/ajax/libs/jquery/1.6/jquery.min.js
// ==/UserScript==

ImportCss();
ScriptWithJquery();
BindHotKey();

function ImportCss() {
    var jqueryScriptBlock = document.createElement('style');
    jqueryScriptBlock.type = 'text/css';
    jqueryScriptBlock.innerHTML = "#gototop{position:fixed;bottom:20%;right:1px;border:1px solid gray;padding:3px;width:12px;font-size:12px;cursor:pointer;border-radius: 3px;text-shadow: 1px 1px 3px #676767;}";
    document.getElementsByTagName('head')[0].appendChild(jqueryScriptBlock);
}


function ScriptWithJquery() {
     $(document.body).append("<div id='gototop' title='快捷键： alt + up alt+鼠标滚轮向上'> 返 回 顶 部 </div>");
     $('#gototop').click(function () { $('html,body').animate({ scrollTop: '0px' }, 800); return false; });
}

function BindHotKey(){
    document.onkeydown = function(){
        var a = window.event.keyCode; 
        if((a == 38)&&(event.altKey)) 
        { 
            //alt + up
            $('html,body').animate({ scrollTop: '0px' }, 800);
        }
    };

    //绑定alt+鼠标向上滚轮事件
    window.addEventListener('mousewheel', function(event){
        if(event.wheelDelta > 0 && event.altKey)
        {
            $('html,body').animate({ scrollTop: '0px' }, 800);
            //防止滚动条向上滚动，导致多重效果
            window.event.preventDefault();
        }
    }, false);
}

这里有一个地方需要说明一下。为了方便js的开发，我这里使用了jquery，所以需要在头部声明中声明以下一段话。这样我们就可以在其中使用jquery了。

// @require http://ajax.googleapis.com/ajax/libs/jquery/1.6/jquery.min.js

3. 保存该用户脚本然后随便打开一个网页，效果如下：

调试用户脚本

如果需要调试我们写的脚本，可以在Tempermonkey的设置界面开启Debug Scripts功能。然后在打开页面的时候按F12开启 developer tools，就会自动进入调试模式了。如下图所示：

本文链接

python使用matplotlib绘图 -- barChart

2012-02-13T14:18:00Z

matplotlib 是python最著名的绘图库，它提供了一整套和matlab相似的命令API，十分适合交互式地进行制图。而且也可以方便地将它作为绘图控件，嵌入GUI应用程序中。它的文档相当完备，并且 Gallery页面中有上百幅缩略图，打开之后都有源程序。因此如果你需要绘制某种类型的图，只需要在这个页面中浏览/复制/粘贴一下，基本上都能搞定。 -----引用自：http://hyry.dip.jp/pydoc/matplotlib_intro.html

你可以从 http://www.lfd.uci.edu/~gohlke/pythonlibs/#matplotlib 下载安装matplotlib。

这篇我们用matplotlib从构造最简单的bar一步一步向复杂的bar前行。什么是最简单的bar，看如下语句你就知道她有多么简单了：

import matplotlib.pyplot as plt  

plt.bar(left = 0,height = 1)
plt.show()

执行效果：

是的，三句话就可以了，是我见过最简单的绘图语句。首先我们import了matplotlib.pyplot ，然后直接调用其bar方法，最后用show显示图像。我解释一下bar中的两个参数：

left：柱形的左边缘的位置，如果我们指定1那么当前柱形的左边缘的x值就是1.0了
height：这是柱形的高度，也就是Y轴的值了

left，height除了可以使用单独的值（此时是一个柱形），也可以使用元组来替换（此时代表多个矩形）。例如，下面的例子：

import matplotlib.pyplot as plt 

plt.bar(left = (0,1),height = (1,0.5))
plt.show()

可以看到 left = (0,1)的意思就是总共有两个矩形，第一个的左边缘为0，第二个的左边缘为1。height参数同理。

当然，可能你还觉得这两个矩形“太胖”了。此时我们可以通过指定bar的width参数来设置它们的宽度。

import matplotlib.pyplot as plt 

plt.bar(left = (0,1),height = (1,0.5),width = 0.35)
plt.show()

此时又来需求了，我需要标明x，y轴的说明。比如x轴是性别，y轴是人数。实现也很简单，看代码：

import matplotlib.pyplot as plt 

plt.xlabel(u'性别')
plt.ylabel(u'人数')
plt.bar(left = (0,1),height = (1,0.5),width = 0.35)
plt.show()

注意这里的中文一定要用u（3.0以上好像不用，我用的2.7），因为matplotlib只支持unicode。接下来，让我们在x轴上的每个bar进行说明。比如第一个是“男”，第二个是“女”。

import matplotlib.pyplot as plt 

plt.xlabel(u'性别')
plt.ylabel(u'人数')

plt.xticks((0,1),(u'男',u'女'))

plt.bar(left = (0,1),height = (1,0.5),width = 0.35)

plt.show()

plt.xticks的用法和我们前面说到的left,height的用法差不多。如果你有几个bar，那么就是几维的元组。第一个是文字的位置，第二个是具体的文字说明。不过这里有个问题，很显然我们指定的位置有些“偏移”，最理想的状态应该在每个矩形的中间。你可以更改(0,1)=>( (0+0.35)/2 ,(1+0.35)/2 )不过这样比较麻烦。我们可以通过直接指定bar方法里面的align="center"就可以让文字居中了。

import matplotlib.pyplot as plt 

plt.xlabel(u'性别')
plt.ylabel(u'人数')

plt.xticks((0,1),(u'男',u'女'))

plt.bar(left = (0,1),height = (1,0.5),width = 0.35,align="center")

plt.show()

接下来，我们还可以给图标加入标题。

plt.title(u"性别比例分析")

当然，还有图例也少不掉:

import matplotlib.pyplot as plt 

plt.xlabel(u'性别')
plt.ylabel(u'人数')


plt.title(u"性别比例分析")
plt.xticks((0,1),(u'男',u'女'))
rect = plt.bar(left = (0,1),height = (1,0.5),width = 0.35,align="center")

plt.legend((rect,),(u"图例",))

plt.show()

注意这里的legend方法，里面的参数必须是元组。即使你只有一个图例，不然显示不正确。

接下来，我们还可以在每个矩形的上面标注它具体点Y值。这里，我们需要用到一个通用的方法：

def autolabel(rects): 
    for rect in rects:
        height = rect.get_height()
        plt.text(rect.get_x()+rect.get_width()/2., 1.03*height, '%s' % float(height))

其中plt.text的参数分别是：x坐标，y坐标，要显示的文字。所以，调用代码如下：

import matplotlib.pyplot as plt 

def autolabel(rects):
    for rect in rects:
        height = rect.get_height()
        plt.text(rect.get_x()+rect.get_width()/2., 1.03*height, '%s' % float(height))

plt.xlabel(u'性别')
plt.ylabel(u'人数')


plt.title(u"性别比例分析")
plt.xticks((0,1),(u'男',u'女'))
rect = plt.bar(left = (0,1),height = (1,0.5),width = 0.35,align="center")

plt.legend((rect,),(u"图例",))
autolabel(rect)

plt.show()

到这里这个图形已经基本完备了，不过可以看到你一个矩形紧靠这顶部，不是很好看。最好能够空出一段距离出来就好了。这个设置我没有找到具体的属性。不过，我还是通过一个小技巧来实现了。就是bar属性的yerr参数。一旦设置了这个参数，那么对应的矩形上面就会有一个竖着的线，我不知道他是干什么的。不过当我把这个值设置的很小的时候，上面的空白就自动空出来了。如图：

rect = plt.bar(left = (0,1),height = (1,0.5),width = 0.35,align="center",yerr=0.000001)

对于左右两边能否空出空白来暂时还没有找到（xerr参数不行）

本文链接

使用python进行新浪微博应用开发

2012-02-12T13:43:00Z

如何在新浪开放平台上创建一个应用？

在开放平台-我的应用下面创建新的应用。按照提示一步一步创建，傻瓜式的。
点击刚才创建的应用进入详细页面，然后查看应用信息-基本信息下面。在程序开发过程中，我们需要app key 和 app secret来调用新浪API。

3. 下载对应语言的sdk，当然这里以python为例。下载地址：http://code.google.com/p/sinaweibopy/。下载完成后将里面的weibo.py复制到你的应用程序同一目录下，或者复制到lib/site-package下。这样你的应用就可以调用sdk了。

4. 在你的程序里面做如下测试，如果你幸运的话你应该能得到正确的返回结果了。

        from weibo import APIClient

        APP_KEY = 'xxxx' # app key
        APP_SECRET = 'xxxx' # app secret
        CALLBACK_URL = 'xxxxxx'# callback url       

        #利用官方微博SDK
        client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)

        #用得到的url到新浪页面访问
        url = client.get_authorize_url()
        webbrowser.open_new(url)

        #手动输入新浪返回的code
        code = raw_input()

        #新浪返回的token，类似abc123xyz456，每天的token不一样
        r = client.request_access_token(code)
        access_token = r.access_token
        expires_in = r.expires_in # token过期的UNIX时间

        #设置得到的access_token
        client.set_access_token(access_token, expires_in)

        #有了access_token后，可以做任何事情了
        client.get.friendships__followers()

5. 利用API做你能想到的任何事情，比如我做了一个粉丝和关注者的性别分析：

要实现这个统计很简单，首先获得某个用户的所有关注者：

def GetAllFriends(self,uid):
    """
    得到所有的关注对象
    返回：(screenName,gender)元组数组
    """
    resFollows = []
    nextCursor = -1
    while nextCursor != 0:
        followers = self.client.get.friendships__friends(uid=uid,count=200,cursor=nextCursor)
        nextCursor = followers["next_cursor"]
        for follower in followers["users"]:
            resFollows.append( (follower["screen_name"],follower["gender"]) )
    print len(resFollows)
    return resFollows

然后利用matplotlib这个第三方库进行绘图即可。关于matplotlib我想我后面会写一些文章进行说明的，很强大的一个二维绘图库。

def FriendsMaleOrFemale(uid):
    wb = MySinaWeiBo()
    m = 0
    f = 0
    n = 0
    for i in wb.GetAllFriends(uid):
       if i[1] == "m":
            m = m+1
       elif i[1] == "f":
            f = f+1
       else:
            n = n+1

    ind = np.arange(1,4) # np.arange(1,N+1)  # the x locations for the groups
    width = 0.25       # the width of the bars

    plt.subplot(111)
    rects1 = plt.bar(ind, (m,f,n), width,bottom = 0,align = 'center')

    #增加Y轴说明
    plt.ylabel(u'关注数')
    #增加标题
    plt.title(u'我关注的人性别分析(有效样本：%d)' % (m+f+n))
    #设置x坐标位置和文字
    plt.xticks(ind, (u"男",u"女",u"未知") )
    autolabel(rects1)
    plt.legend(rects1,(u"用户：%s" % wb.GetUserByUid(uid),))
    plt.show()

本文链接

利用python简化sql server数据导入导出

2012-02-08T14:17:00Z

前面我们介绍了如何使用sqlserver的BCP命令进行数据的导出和导入。使用这个命令一个不足的地方的是不能对整个数据库进行一次性操作。如果表很多的时候就要一个个命令操作，不可谓不麻烦！

正好最近在学习python，于是打算用python实现了一个简化bcp操作的程序。点击程序后就会自动将指定的数据库所有的表的备份数据放到一个特定的目录下。当然，程序也提供对应的自动化导入功能～～

源码：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
#-------------------------------------------------------------------------------
# Name:        导出数据库数据.py
# Purpose:
#
# Author:      SQ1000
#
# Created:     08-02-2012
#-------------------------------------------------------------------------------

import os
import pymssql
import sys

class MSSQLHelper:
    """
    对pymssql的简单封装
    pymssql库，该库到这里下载：http://www.lfd.uci.edu/~gohlke/pythonlibs/#pymssql
    使用该库时，需要在Sql Server Configuration Manager里面将TCP/IP协议开启

    用法：

    """

    def __init__(self,host,user,pwd,db):
        self.host = host
        self.user = user
        self.pwd = pwd
        self.db = db

    def __GetConnect(self):
        """
        得到连接信息
        返回: conn.cursor()
        """
        if not self.db:
            raise(NameError,"没有设置数据库信息")
        self.conn = pymssql.connect(host=self.host,user=self.user,password=self.pwd,database=self.db,charset="utf8")
        cur = self.conn.cursor()
        if not cur:
            raise(NameError,"连接数据库失败")
        else:
            return cur

    def ExecQuery(self,sql):
        """
        执行查询语句
        返回的是一个包含tuple的list，list的元素是记录行，tuple的元素是每行记录的字段

        调用示例：
                ms = MSSQLHelper(host="localhost",user="sa",pwd="123456",db="PythonWeiboStatistics")
                resList = ms.ExecQuery("SELECT id,NickName FROM WeiBoUser")
                for (id,NickName) in resList:
                    print str(id),NickName
        """
        cur = self.__GetConnect()
        cur.execute(sql.encode("utf8"))
        resList =  cur.fetchall()

        #查询完毕后必须关闭连接
        self.conn.close()
        return resList

    def ExecNonQuery(self,sql):
        """
        执行非查询语句

        调用示例：
            cur = self.__GetConnect()
            cur.execute(sql)
            self.conn.commit()
            self.conn.close()
        """
        cur = self.__GetConnect()
        cur.execute(sql.encode("utf8"))
        self.conn.commit()
        self.conn.close()


def RemoveDirectory (top):
    while 1:
        if os.path.exists(top):
            if len(os.listdir(top)) == 0:
                os.rmdir (top)
                break
            else:
                for root, dirs, files in os.walk(top, topdown=False):
                    for name in files:
                        os.remove(os.path.join(root, name))
                    for name in dirs:
                        os.rmdir(os.path.join(root, name))
        else:
            break

def export(db,user,password):
    """导出数据库"""
    #得到当前脚本的执行目录
    currentDirectory = os.getcwd()

    #查看是否已经存在备份目录，如果有则删除，没有则新建目录
    backUpDirectory = "%s\\%s" %( currentDirectory,db+"Backup")
    if os.path.exists(backUpDirectory):
        RemoveDirectory(backUpDirectory)
        os.mkdir(backUpDirectory)
    else:
        os.mkdir(backUpDirectory)

    #得到要到处的数据库的所有表
    ms = MSSQLHelper(host="localhost",user=user,pwd=password,db=db)
    for (name,) in ms.ExecQuery("select name from sysobjects where xtype='U'"):
        currentTablePath = "%s\\%s.txt"%(backUpDirectory,name)
        r = os.popen('BCP %s..%s out %s -c -U"%s" -P"%s"' % (db,name,currentTablePath,user,password))
        print r.read()
        r.close()

def inport(db,user,password):
    """导入数据库"""
    #得到当前脚本的执行目录
    currentDirectory = os.getcwd()

    #查看是否已经存在备份目录，如果有则删除，没有则新建目录
    backUpDirectory = "%s\\%s" %( currentDirectory,db+"Backup")
    if os.path.exists(backUpDirectory):
        #得到要到处的数据库的所有表
        ms = MSSQLHelper(host="localhost",user=user,pwd=password,db=db)
        for (name,) in ms.ExecQuery("select name from sysobjects where xtype='U'"):
            currentTablePath = "%s\\%s.txt"%(backUpDirectory,name)
            r = os.popen('BCP %s..%s in %s -c -U"%s" -P"%s"' % (db,name,currentTablePath,user,password))
            print r.read()
            r.close()


def main():

    db = "PythonWeiboStatistics"
    user = "sa"
    password = "123456"

    #这边可以根据不同的参数选择不同的操作
    #我是使用了两个文件，一个是导入一个导出
    export(db,user,password)

if __name__ == '__main__':
    main()

    print u"\n导出完成...\n回车键退出"
    raw_input()

因为要获得一个数据库中所有的表，所以我使用了pymssql来进行数据库操作并进行理论简单的封装，形成了MSSQLHelper类。具体的pymssql的下载和用法大家可以到网上进行搜索。思路很简单：

导入的时候查看是否已经存在特定的导出目录，如果存在则删除该目录下所有的文件
利用pymssql读取指定数据库中所有的表名字，对每个表进行bcp命令

导入的功能则是省去了删除已存在文件那个操作，其他都差不多。

本文链接

SQL Server数据的导入导出

2012-02-08T02:28:00Z

这两天在用新学习的python抓新浪微博首页的数据，这些数据都被存在的sql server当中。因为白天在公司和晚上在宿舍用的数据库版本不一样，所以如果在宿舍直接附加公司的数据库的话会报错。没办法，只好通过SQL server中提供的BCP导入导出的办法来同步两个地方的数据。

这里简单记录一下如何使用BCP工具进行数据的导入导出。首先BCP是sql server自带的工具，所以只要你安装了sql server后就自带了。在cmd中输入cmd，你会发现他的一些参数说明选项。具体的参数选项大家可以在具体用到的时候再去查看，这里就不一一解释了（实际上我也用的不多 ^_^）

一个最简单的导出示例：

如果你有个数据库A，里面有一个表B，那么导出B数据的命令如下：

BCP A..B out c:\currency1.txt -c -u"sa" -p"123456"

注意A和B中间有两个..，如果是使用继承验证的话可以去掉-u -p选项改为-t就行了。下图是我执行的截图：

此时如果要导入已经导出的数据，执行如下命令：

BCP A..B in c:\currency1.txt -c -U"sa" -P"123456"

可以看到与导出唯一不同的地方就是out换成了in。至此，最简明sql server数据导入导出记录完毕！

本文链接

python 使用pymssql连接sql server数据库

2012-02-06T08:45:00Z

#coding=utf-8 
#!/usr/bin/env python
#-------------------------------------------------------------------------------
# Name: pymssqlTest.py
# Purpose: 测试 pymssql库，该库到这里下载：http://www.lfd.uci.edu/~gohlke/pythonlibs/#pymssql
#
# Author: scott
#
# Created: 04/02/2012
#-------------------------------------------------------------------------------

import pymssql


class MSSQL:
    """
    对pymssql的简单封装
    pymssql库，该库到这里下载：http://www.lfd.uci.edu/~gohlke/pythonlibs/#pymssql
    使用该库时，需要在Sql Server Configuration Manager里面将TCP/IP协议开启

    用法：

    """

    def __init__(self,host,user,pwd,db):
        self.host = host
        self.user = user
        self.pwd = pwd
        self.db = db

    def __GetConnect(self):
        """
        得到连接信息
        返回: conn.cursor()
        """
        if not self.db:
            raise(NameError,"没有设置数据库信息")
        self.conn = pymssql.connect(host=self.host,user=self.user,password=self.pwd,database=self.db,charset="utf8")
        cur = self.conn.cursor()
        if not cur:
            raise(NameError,"连接数据库失败")
        else:
            return cur

    def ExecQuery(self,sql):
        """
        执行查询语句
        返回的是一个包含tuple的list，list的元素是记录行，tuple的元素是每行记录的字段

        调用示例：
                ms = MSSQL(host="localhost",user="sa",pwd="123456",db="PythonWeiboStatistics")
                resList = ms.ExecQuery("SELECT id,NickName FROM WeiBoUser")
                for (id,NickName) in resList:
                    print str(id),NickName
        """
        cur = self.__GetConnect()
        cur.execute(sql)
        resList = cur.fetchall()

        #查询完毕后必须关闭连接
        self.conn.close()
        return resList

    def ExecNonQuery(self,sql):
        """
        执行非查询语句

        调用示例：
            cur = self.__GetConnect()
            cur.execute(sql)
            self.conn.commit()
            self.conn.close()
        """
        cur = self.__GetConnect()
        cur.execute(sql)
        self.conn.commit()
        self.conn.close()

def main():
## ms = MSSQL(host="localhost",user="sa",pwd="123456",db="PythonWeiboStatistics")
## #返回的是一个包含tuple的list，list的元素是记录行，tuple的元素是每行记录的字段
## ms.ExecNonQuery("insert into WeiBoUser values('2','3')")

    ms = MSSQL(host="localhost",user="sa",pwd="123456",db="PythonWeiboStatistics")
    resList = ms.ExecQuery("SELECT id,weibocontent FROM WeiBo")
    for (id,weibocontent) in resList:
        print str(weibocontent).decode("utf8")

if __name__ == '__main__':
    main()

注意事项：

使用pymssql进行中文操作时候可能会出现中文乱码，我解决的方案是：

文件头加上 #coding=utf8
sql语句中有中文的时候进行encode
insertSql = "insert into WeiBo([UserId],[WeiBoContent],[PublishDate]) values(1,'测试','2012/2/1')".encode("utf8")
连接的时候加入charset设置信息
pymssql.connect(host=self.host,user=self.user,password=self.pwd,database=self.db,charset="utf8")

本文链接

EasyVS -- 快速整理region的Visual Studio扩展

2012-01-09T15:30:00Z

简介

前前后后研究VSX也一个多月了，这两天终于做了一个小的插件EasyVS，该插件目前只支持VS2010，vs2008的支持可能要过一段时间。还好我没有使用MEF的内容，所以移植到vs2008上应该困难不大。写这个插件的主要目的希望像Resharper那样提供许多实用的功能，让在vs中进行编码成为一种享受。

特色

Quick Region

所谓快速region功能，就是在代码视图里面通过快捷键Ctrl+Q,Ctrl+R快捷键将代码自动分类到不同的region下，目前的region包括“变量”，“构造函数”，“事件”，“方法”，“属性”等。下面是一个例子演示：

下面这个类是我从随便翻出来的，可以看到他的代码格式很乱

下面通过EasyVS提供的快速Region功能进行代码的自动分类

整理后的代码

说白了就是让一些region的功能让程序帮你做了，省时省力。不过有一个缺点也很明显就是使用这个工具格式化出的region都一样，就缺少了自己特定的region了（原来自己的reigon会消失，以后的版本打算增加保留自己自定义region的功能）

Less Tab
通过设置指定的tab数量，插件能够自动为您关闭多余的Tab，减少VS内存占用，还您一个清爽的VSTab栏。例如，我在设置里面设置了只打开5个Tab
那么以后在VS中你能同时打开的tab数不会超过5个。这样能够减少不知不觉中打开的Tab数，关闭不必要的tab以释放占用的内存。至于哪些tab会被关闭。你使用的越频繁的tab越不会被关闭。而很长时间没有使用的tab则关闭的几率会比较高。一句话，这个东西不会影响你正常的代码操作。

更新日志

V0.2

1.增加Quick Region自定义region名字功能

2.修改Quick Region的分组规则，对于已经存在的region不处理。如果设置的region在当前代码中已经存在，则将外部的此类型加入已经存在的region中

3.增加Less Tab功能

4.增加自动更新功能

5.修复Quick Region的一个BUG（如果存在region嵌套，则出错的问题）

6.增加网络代理设置

V0.1

1.增加Quick Region功能

下载

该插件我目前已经发布到了微软的官方VS插件库，该插件的地址为：

http://visualstudiogallery.msdn.microsoft.com/7310649d-87d9-45d2-b7da-99e5b001549e

本文链接