博客园_Lae's Blog

[转]程序员应知：海量数据如何分析

2010-12-04T01:29:00Z

这个云计算热炒的时代，如果你没有处理过海量数据的话，你将不再是个合格的Coder。现在赶紧补补吧~

前一阵子分析了一个将近1TB的数据群(gz文件，压缩10%)。因为第一次分析如此巨大的数据，没有经验，所以浪费了许多时间。下面是我整理的一些经验，方便后者。

下载数据

　　Q：怎么自动下载多个文件?

这是我遇到的第一个问题。当数据量很大时，一般都会分成很多个文件存放。这时下载文件比较麻烦。

A：用Wget命令。Windows下花费一点时间去下载安装。但之于手动下载，能省不少时间。

我提供两种方式方式下载文件，

a)用Wget的递归下载选项 “-r”。一般命令如下

wget –r http://<下载数据的根目录>/ -o <下载记录文件名> -np

因为递归下载没法控制进度，所以建议不一要次递归下载太多的文件

b)用Bat+Wget，多次执行Wget。一般命令如下

wget –r http://<下载数据的根目录分支1>/ -o <下载记录文件名> -np

wget –r http://<下载数据的根目录分支2>/ -o <下载记录文件名> -np

wget –r http://<下载数据的根目录分支3>/ -o <下载记录文件名> -np

…… ……

wget –r http://<下载数据的根目录分支N>/ -o <下载记录文件名> -np

用Bat可以降低出错带来的影响。

另外，Wget可以通过 –A 选项来指定希望下载的文件的后辍，通过 –P 选项来指定下载文件存放路径。更多命令，参见wget -h

　　Q：这速度。。。什么时候才能下完?

网速永远是个瓶颈

A：如果下载服务很远的话，你应该考虑代理。wget设置代理的方式如下

set http_proxy=http://<代理服务器>

不要忘了多开几个进程，20个试试?

　　打开文件

　　Q：怎么打开文本文件

这不是弱智问题。你用记事本打开一个100MB的文件试试

A：LTF viewer

Large Text File viewer, 打开速度会让你惊奇

　　Q：怎么打开二进制文件

A：Hex Editor Neo

你可以通过下面方式来选择进制：

你可以通过下面方式来选择按多少字节显示：

右击数据区 => Group By => Bytes|Words|Double|Quad

　　编程语言

当数据量很大时，选择语言要慎重了。因为不同语言有不同的特点，你要在编程时间和运行时间之间权衡。

　　模型测试

开始时，一般挑几个小的数据进行测试，获取第一份分析结果。这时当然希望能快速编程实现。脚本语言是一个很好的选择，比如Python。

　　大量处理

开始遍历处理所有数据时，用脚本语言来处理就不太合适了。因为脚本语言的运行时间不能让人接受。另外，还有内存使用，文件读写这些你都没法控制。不幸的是，很少语言会为你处理海量文件做优化。

这时，C/C++是最好的选择。

　　结果展示

漫长的等待终于过去了，眼看就要出结果了。如果你还执着于陪伴你度过漫长等待的C/C++的话，你迟早会沮丧的。

我尝试了很多方式之后，得出的结论是，让Matlab来接手C/C++。Matlab能轻而易举地展示大量数据。更重要的是Matlab支持读取二进制文件。

filename = 'out.bin'; % binary file

fid = fopen( filename );

data = fread( fid, itemsNumber, '*uint32');

fclose(fid);　

------------------------------

原文链接：http://publish.itpub.net/a2010/1203/1133/000001133931.shtml

本文链接

[转]Web开发者必备的12款超赞jQuery插件

2010-12-02T05:24:00Z

jQuery插件能够增强网站的可用性，有效地改善用户体验，还可以大大减少创建一个新站点的开发时间。现在的jQuery插件很多，尽可以根据您的项目要求来选择，不过也有一些插件很好用，几乎各种项目都能够用得上。这里就为您介绍12款开发中最常用的jQuery插件。

　　1. jQuery BBCode Editor

下载地址：http://www.w3theme.com/jquery-bbedit/

Bbcode简单易用，它是BBS、论坛、Blog等网络应用上的一种常用输入语法。jQuery BbCode Editor提供自定义设置，可以打造出很个性化的bbcode编辑器，它的源代码都可以根据需求灵活修改。

　　2. Exposure

下载地址：http://plugins.jquery.com/project/Exposure/

Exposure是一个图片预览插件，用于创建丰富，自定义的视觉体验，可以处理海量图片。

　3. jQuery YouTube Plugin

下载地址：http://www.tikku.com/jquery-youtube-tubeplayer-plugin

这个插件基本上是个标准的YouTube播放器API了。开发者省略了一些功能，但足够用了。

　　4. PoshyTip Tooltips

下载地址：http://vadikom.com/tools/poshy-tip-jquery-plugin-for-stylish-tooltips/

用它可以很方便地创建工具提示框，很有型哦，而且该有的功能都有了。

　　5. InputNotes jQuery Plugin

下载地址：http://fredibach.ch/jquery-plugins/inputnotes.php#demo

一个用于在文本域下方添加注释的jQuery插件，基于正则表达式。

　　6. Infinite Scroll

下载地址：http://www.infinite-scroll.com/

用了这个插件，用户访问你的网站就不用翻页啦!实际上它是预读了后续页的内容并将其直接添加到了当前页面。

　　7. jQuery xColor Plugin

下载地址：http://www.xarg.org/project/jquery-color-plugin-xcolor/

一个简单易用的混色器。

　8. Bit.ly jQuery

下载地址：http://www.moretechtips.net/2010/07/bitly-button-jquery-plugin-for-your.html

这个插件可以创建能够动态显示点击次数的按钮(方形的或者长方形的)，还可以实现文章转推功能。

　9. Inset Border Effect

下载地址：http://css-tricks.com/inset-border-effect/

这是一个非常简单但整洁的效果。它能够给图像加上一个边框，这个边框涵盖了图像的一部分，与CSS做出来的边框是不同的。

　　10. Apple Zoom

下载地址：http://tutorialzine.com/2010/06/apple-like-retina-effect-jquery-css/

不多解释了

　11. jTweetsAnywhere

下载地址：http://thomasbillenstein.com/jTweetsAnywhere/

jTweetsAnywhere是一个jQuery 的Twitter小工具，它可以很方便地在网站里添加Twitter功能。

12. Form Validation with Hints

下载地址：http://www.icograma.com/nuestro-trabajo/open-source/jquery-form- validation-and-hints/jquery-form-validation-and-hints-client-side-form-validation.html

这个jQuery插件使表单验证开发工作更简单了，预置了常见的验证规则，方便开发者自行设置。

本文链接

NOSql数据库特性对比

2010-11-17T07:14:00Z

2010-11-17T07:14:00Z2010-11-17T07:14:00Zlaehttp://www.cnblogs.com/lae/

本文链接

NHibernate3新特性初尝

2010-11-12T05:27:00Z

配置文件如下　　

尽管配置了缓存，性能问题依然出现在picture保存上面，竟然需要20多秒，期待有人能研究出这个解决办法。

-------------------------------------------------------------

构造领域模型时需要使用如下代码，等同于在*.hbm.xml文件将实体列映射的类型显式声明

var mapper = new Mapper(orm);
            mapper.Class<Domain>(dm =>
            {
                dm.Property(x => x.Picture,
                            m => m.Type(NHibernate.NHibernateUtil.BinaryBlob));
            });

本文链接

微软回答“关于数据的10个问题”

2010-07-13T11:26:00Z

微软回答了他们称之为“关于数据的10个问题”，解释了Oslo、ADO.NET Data Services、WCF、LINQ to SQL、T-SQL以及其它技术的发展情况和未来的计划。

Oslo

微软宣称“会继续开发这些技术”，但不会继续使用“Oslo”这个代号，而是改名为SQL Server Modeling CTP。由于与SQL相关技术的紧密联系，特别是Quadrant（译注：用来查看和修改数据库中数据的工具）和Repository（现在叫做SQL Server Modeling Services），这些技术将来会被集成到SQL Server中。

微软还解释了SQL Server Modeling和.NET之间的联系：它使得创建模型驱动的应用程序更加容易。

ADO.NET Data Services和.NET RIA Services ADO.NET Data Services变成了WCF Data Services，而.NET RIA Services则变成了WCF RIA Services，目的是使WCF成为创建服务和多层应用的一站式框架，ADO.NET Data Services和.NET RIA Services在此方面完善了WCF。

LINQ to SQL

LINQ to SQL在.NET 4.0中将会继续得到增强：

没错，我们会继续开发LINQ to SQL。但是我们会更偏重于Entity Framework，因为此框架是围绕Entity Data Model（EDM)构件的。而EDM代表了微软很多产品的主要战略方向，包括SQL Server、.NET和Visual Studio。

这条消息明确表明：LINQ to SQL将不会被包含在更长远的计划中。

“M”语言

微软对于这个语言的定位很模糊。首先，他们说M将会和Oslo一样，被集成到SQL Server中：

很重要的一点是，SQL Server并不仅仅是一个核心引擎，而是范围更广泛的产品，它包括很多其它的服务和工具。“M”语言及相关的工具将会成为它的一部分，并为其它使用SQL Server的产品所使用。

然后，他们又说：

微软正在整合“M”语言和Entity Data Model，以便Entity Framework和Data Services可以使用。这将导致同一种数据模型拥有两种不同的表现方式：CSDL，目前Entity Data Model所使用的基于XML的语言，更适合互操作；或者“M”语言，更适合开发人员。

目前仍不清楚M语言将会走向何方。可能将会被包含在SQL Server中，但以后将会整合到Entity Data Model中。

“M” vs. T-SQL

由于M语言还没有发布，微软建议目前还是继续使用T-SQL，但以后则会不同：

一旦“M”语言发布，就可以使用“M”语言在更高的抽象层次描述问题域。然后可以将“M”语言转换为成T-SQL、C#或者其他格式，以便在本地运行环境中做进一步的优化。

WCF Data Services

微软强调了.NET 4.0和VS 2010中包含的WCF Data Services新特性：

双向数据绑定
计算数据的总行数
Feed定制化
服务器端分页
增强的BLOB支持
为Custom Provider Writers 提供的新的“Data Service Provider”接口
Projections

ADO.NET Entity Framework

ADO.NET Entity Framework最重要的特性是：

外键
支持POCO
新模型默认使用延迟加载
为Query Extender和POCO提供的EntityDataSource
支持二进制类型的主键和外键
ObjectMaterialized事件
改进的Object Service API，支持N层架构和Self Tracking Entities
改进的SQL生成机制
Navigation Property管理
改进数据库生成机制
新的扩展API
根据存储过程的返回值生成复杂类型
改进的管理工具
改进的LINQ to Entities

微软还解释了什么是Quadrant－“用于显示、查询和编辑SQL数据库中数据的工具，具有多种不同的视图，如树形、列表、表格以及master/detail”，以及什么是Open Data Protocol（OData)，

本文链接

SubSonic 3.0新特性

2010-04-16T14:52:00Z

1. 引言

大多数数据访问程序包提供从“数据库外”访问，意思是这种方式将您的数据库的表在应用程序中用对象表示。这种方式可以在大多数案例中工作，但是关系理论与面向对象编程将变的不一致，即“错误的匹配”。

许多人喜欢只使用类工作，但不想关心数据库的具体实现。为了释放他们的工作，同时又不开放数据库设计内部实现。SubSonic创建了一个免费基类且单独存在的，作为纯粹的CLR对象（也称为POCO）。

如果你是这些人之一，你不需要特别关心的数据库结构的，那么SimpleRepository是给你准备的。

2. 使用SimpleRepository

使用Rails的有关工作的有趣的事情之一就是你可以建立从代码和专注于您的应用程序的数据库。许多开发者发现这种非常自由（包括我自己在内）。它的一个缺点，就是你需要学习的迁移代码，你需要知道它是如何工作的。这对我们来说，不是一个好的办法，而是一直希望Rails将“只知道”我们要迁移的东西。

这就是为什么我们想使用SubSonic的自动迁移。这里的目标是,如果您在构造SimpleRepository对象时设置一个标志，告诉它迁移模式：自动创建和同步数据库，其关键是在构造函数中设置适当的选项,如：

var repository = new SimpleRepository(SimpleRepositoryOptions.RunMigrations);

设置选项RunMigrations告诉SubSonic在更新或保存数据时同步你的模型对象到数据库。

l 添加对SubSonic的引用,这部分非常简单,右键单击您的项目，添加引用，浏览以查找SubSonic的3.0的DLL(SubSonic.Core.dll)。

l 本例子使用的是SQLite数据库，添加对System.Data.SQLite的引用

l 设置数据库连接字符串

<add name="Northwind" connectionString="server=.\SQLExpress;database=SubSonic;integrated security=true;" providerName="System.Data.SqlClient"/>

<add name="NorthwindSQLite"

connectionString="Data Source=D:\Program Files\Sqliteman\test.db"

         providerName="System.Data.SQLite"/>

<add name="NorthwindMySql" connectionString="server=localhost;database=northwind;user id=root; password=" providerName="MySql.Data.MySqlClient"/>

2.1 自动迁移

例如有以下post对象：

public class Post

{

public Guid ID { get; set; }

public string Title { get; set; }

public string Body { get; set; }

}

当使用SimpleRepository对象时，设置构造函数选项RunMigrations，他将会自动创建你需要的表。

//基于NorthwindSQLite数据库创建一个repository对象并自动迁移

var repo = new SubSonic.Repository.SimpleRepository("NorthwindSQLite", SimpleRepositoryOptions.RunMigrations);

//var post = repo.Single<Post>(x => x.Title == "My Title");

Post post = new Post();

post.ID = Guid.NewGuid().ToString();

post.Title = "My Title";

post.Body = "My Titlessssssssssssss";

            var obj = repo.Add<Post>(post);

在这个例子中是不能查询Title是” My Title”的记录，因为没有Post表。执行Single()方法后，SubSonic将运行迁移，并创建表，这样就不会有错误。当第一次运行，下面的SQL将被执行之前选择：

CREATE TABLE [Posts] (

 [ID] uniqueidentifier NOT NULL PRIMARY KEY,

 [Title] nvarchar(255) NOT NULL,

 [Body] nvarchar(255) NOT NULL,

);

ALTER TABLE [Posts]

ADD CONSTRAINT PK_Posts_Key PRIMARY KEY([ID])";

请注意,表名是复数（默认），“ID”属性选定为主键（默认）和字符串长度默认为255。

你也可以改变SubSonic生成方法，并使用小的属性设置

Ø 主键：如果你调用一列“ID”或“Key”或“[ClassName]ID”，无论它的类型都将是表的主键。如果你想到其他的属性列，你可以使用一个主键属性（“SubSonicPrimaryKey”），SubSonic将使用该列作为主键。

Ø 字符串长度：有两种方法告诉SubSonic的如何处理这一点,包括使用属性。第一类是“SubSonicStringLength（int length）”，第二是“SubSonicLongString”为nvarchar（max）或LONGTEXT设置，依赖于您的提供程序。

Ø 空：默认为不为null，但你可以修改属性为空类型的。

Ø 数值精度：默认值是10精度和2位小数点，但你可以改变，随着“SubSonicNumericPrecision（(int precision, int scale）”属性。

Ø 忽略属性：你可以使用“SubSonicIgnore”忽略生成的属性。

2.2 更新模型

开始部分都是容易的，但是随着你的开发将会更改或移除类的属性，SubSonic将会很好的配合你的改变。

例如，假设你已经添加了PublishDate到您的Post类：

public class Post

{

public string ID { get; set; }

public string Title { get; set; }

public string Body { get; set; }

public DateTime PublishDate { get; set; }

当下次使用SimpleRepository进行（Save/Find/Get）数据操作时，下面的SQL命令将在此之前执行：

ALTER TABLE [Posts] ADD DateTime datetime NOT NULL CONSTRAINT DF_Posts_PublishDate DEFAULT ('01/01/0001');

UPDATE SubSonicTests SET PublishDate ='01/01/0001';

在这里发生有如下几件事：

第一，增加的列（不可为空，可以通过使用DateTime？）。

第二，默认修改的地方（使用DateTime.MinValue）,一个非空列应在生成的时候约定默认值。

UPDATE语句依据设置的默认值处理现有的数据库设置（像SQLite和MySQL或其他数据库）。另删除的属性将导致列从数据库中删除。

2.3 查询

可以通过SimpleRepository对象从数据库中查询数据，甚至于使用LINQ:

var repo=new SimpleRepository(SimpleRepositoryOptions.RunMigrations);

//see if a record exists

bool exists=repo.Exists<Post>(x=>x.Title=="My Title");

//use IQueryable

var qry=from p in repo.All<Post>()

        where p.Title=="My Title"

        select p;

//get a post

var post=repo.Single<Post>(x=>x.Title=="My Title");

var post=repo.Single<Post>(key);

//a lot of posts

var posts=repo.Find<Post>(x=>x.Title.StartsWith("M"));

//a PagedList of posts - using 10 per page

var posts=repo.GetPaged<Post>(0,10);

//sort by title

var posts=repo.GetPaged<Post>("Title",0,10);

//add a post

var newKey=repo.Add(post);

//add a lot of posts - using a transaction

IEnumerable<Post> posts=GetABunchOfNewPosts();

repo.AddMany(posts);

//update a post

repo.Update(post);

//update a bunch of posts in a transaction

IEnumerable<Post> posts=GetABunchOfNewPosts();

repo.UpdateMany(posts);

//delete a post

repo.Delete<Post>(key);

//delete a lot of posts

repo.DeleteMany <Post>(x=>x.Title.StartsWith("M"));

//delete posts using a transaction

IEnumerable<Post> posts=GetABunchOfNewPosts();

repo.DeleteMany(posts);

3. 使用ActiveRecord

针对您的数据和数据库ActiveRecord的是最简单，最容易的方法。该模式是，每个实例对应的是一个数据库中的数据行，这意味着每个对象类型可以被认为是你的数据库表。

许多开发人员不喜欢与他们的数据库紧耦合工作，但其他人认为这是非常理想方式，消除了与数据库抽象工作有利于面向对象的“阻抗不匹配”。

SubSonic的ActiveRecord是给你需要的，然后自己决定如何做。你会发现你有能力使用LINQ是如此易用的代码，快速和简单的依据数据库生成代码。

3.1设置模板连接

T4模板创造类文件，需要知道连接字符串。要设置：打开文件名为“Settings.ttinclude”，在@ import语句下面，您会看到三个设置，如下：

const string Namespace = "Northwind.Data";

const string ConnectionStringName = "Northwind";

const string DatabaseName = "Northwind";

主要设置是“ConnectionStringName”，这告诉SubSonic的使用的哪个数据库连接。Namespace常量用来SubSonic生成代码的命名空间。注意包含的所有*.tt文件需要匹配您的数据库，如下：

//其他文件: MySQL.ttinclude, SQLite.ttinclude

<#@ include file="SQLServer.ttinclude" #>

3.2项目中增加T4模板

上述设置完成后，只要将T4模板拖入到您的项目。因为Visual Studio 2008中看到一个“*.tt”文件，它会自动执行它。所以你不必做任何事情，只需要运行程序。

文件列表如下：

² ActiveRecord.tt

² Context.tt

² Settings.ttinclude

² SQLServer.ttinclude OR MySQL.ttinclude OR SQLite.ttinclude

² StoredProcedures.tt (可选项，如果执行存储过程需要添加此文件)

² Structs.tt

如果更改了数据库，只需右键单击ActiveRecord.tt，Context.tt和Structs.tt文件并选择“运行自定义工具”，将会自动执行它们。

3.3查询

使用ActiveRecord的查询非常方便，下面是单元测试的一些例子：

//差钱ID=1的默认单条记录

var product = Product.SingleOrDefault(x => x.ProductID == 1);

//查询ProductID <= 10的记录

var products = Product.Find(x => x.ProductID <= 10);

//获取服务器端的分页列表

var products = Product.GetPaged(0,10);

//使用Linq查询

var products = from p in Product.All()

          join od in OrderDetail.All() on p.ProductID equals od.ProductID

          select p;

从上面的代码可以中注意与SubSonic2.0的一些不同。

4. 结论

SimpleRepository使用和测试很简单，因为它从SubSonic.Repository.IRepository继承。如果按照注入模式，即传递一个IRepository，那么你可以使用你最喜欢的模拟工具或创建一个假的Repository查询。

本文链接

System.Data.OracleClient调用带blob等大字段类型参数的存储过程

2009-11-25T09:04:00Z

System.Data.OracleClient在插入大字段类型的时候有32K大小限制，据网络收集的一些方法，整理了一下如下(微软企业库示例):必须在获取临时 LOB 之前开始事务。否则，OracleDataReader 将不能获取后面的数据。还可以通过调用 DBMS_LOB.CREATETEMPORARY 系统存储过程并绑定 LOB 输出参数打开 Oracle 中的临时 LOB。在客户端，...

SubSonic入门(下)

2009-09-21T10:04:00Z

本文导读： 1 引言 2 高级应用 2.1 查询 2.2 事务 3 结论 4 附件 5 参考文献1 引言在《SubSonic入门(上)》一文中介绍了一些SubSonic入门的知识，本文旨在探讨SubSonic更深入的应用，为实际项目中的应用提高生产效率和质量。2 进阶应用2.1 查询2.1.1 关联查询//查询Product表中产品关联的种类名称,并且CategoryID大于4的记录DataSe...

SubSonic入门(上)

2009-09-21T10:02:00Z

本文导读： 1 引言 2 使用步骤 2.1 配置 2.2 操作数据 3 结论 4 附件 5 参考文献1 引言SubSonic是一个类似Rails的开源.NET项目。你可以把它看作是一把瑞士军刀，它可以用来构建Website和通过ORM方式来访问数据。Rob Conery和Eric Kemp是推动SubSonic的主要开发人员，与项目良好的发展有着密切的关系。作为一个开发人员生产力工具，SubSo...

SubSonic的controller类的FetchByID()错误解决办法

2008-10-23T06:27:00Z

使用SubSonic生成的controller类提供的FetchByID（）方法根据主键字段获取对象集合时，在Oracle数据库中出现"ORA-00904"错误。提请大家修改源代码OracleDataProvider.cs文件808行“query = select + columns + " FROM " + table.Name + where + order;”-》&...

博客园_Lae's Blog

[转]程序员应知： 海量数据如何分析

[转]Web开发者必备的12款超赞jQuery插件

NOSql数据库特性对比

NHibernate3新特性初尝

微软回答“关于数据的10个问题”

SubSonic 3.0新特性

System.Data.OracleClient调用带blob等大字段类型参数的存储过程

SubSonic入门(下)

SubSonic入门(上)

SubSonic的controller类的FetchByID()错误解决办法

[转]程序员应知：海量数据如何分析