博客园_悟空-简单就好

分库分表的设计思路让大系统变简单

2012-01-14T14:39:00Z

以铁路的售票系统来说明分库分表对架构的影响。

一、问题：铁路的售票系统的数据量是海量吗？

不是。因为数据量不大，真不大。

每一个车次与车次间是独立的，每车次不超过2000张票，一天发车不超过50万车次；
以预售期15天来讲，15*0.1亿张不超过1.5亿笔的热线数据，称不上海量数据的。
再加上可以按线路分库，更是不到千万级的单表容量。已经发车完成的进入归档分析。
即数据库按路线使用不同的服务器，不同的车次放在不同的表中。并发量锁真不大。

当然，如果不分库分表，再加上不归档处理，铁路的售票系统的数据量看起来是海量的；
关键是这海量的数据没有意义。

二、如何分库分表？

2.1 分库，考虑数据间没有直接关系和服务器如何部署

铁路的售票系统为例来说，按路线分库，再按车次分表是合理的。
设路线有1万条，按每1000条需要两台服务器(一台热机沉余)，不到20台服务器
如果使用SAN存储，则使用SAN作为存储，本机作为热机沉余，只需要10台。
当然使用mySQL这种经济型数据库，服务器需要更多来防灾；
即可以采用双写或多写的方式来保证数据的绝对安全。

2.2分表，考虑数据间不存在重叠，即数据满足二分原则

铁路的售票系统的任意两个车次是没有关系的，所以可以分表。
电信的某个用户的通话和其它用户的通话记录，也是没有关系，所以可以分表处理
（实际上电信的系统，分库分表后也是不大的，难在后台的计费、结算等规则）

三、数据库访问接口

1. 元数据：如何识别到当前要处理的数量在哪张表？

铁路的售票系统会有一个车次管理系统，例2012年2月12日 D3206 车次，
按预先设计的在哪台服务器的哪个库，建哪个表。

2.建立元数据的规则：即具体如何分库分表的规则

这个就是数据库的访问接口。

3.数据库访问接口的透明程度

即哪个层知道哪些元数据信息。
例，是否让窗口售票的客户端来解析元数据的规则然后缓存，还是通过中间件来解析缓存的

具体各层使用怎样透明程度，和业务性质、节点和数据中心的拓扑等有关。

四、历史数据归档与分析

1.使用分库分表后，数据需要归档，分析处理的程序变得复杂，但使联机交易变得简单
2.分析：要注意是针对热线数据分析、归档数据分析、混合分析有关，
通过分库分表和归档，更方便使用分布式的统计方案。

具体可以参考，淘宝的开放平台架构师写的文章：

Beatles小记-分布式数据流分析框架(一) http://www.blogjava.net/cenwenchu/archive/2011/12/07/365776.html

结论：分库分表跟不分库分表，整个架构是完全不一样的。

像铁票的售票系统、淘宝、电信、银行等，绝对要采用分库分表的数据存储方案，

来解决数据量的增长而不影响性能的问题。

像淘宝等互联网应用还要解决带宽即CDN问题。

供大家一起讨论、分享经验。

本文链接

下载针式个人知识库管理软件 V9.08 版

2012-01-12T03:44:00Z

可以通过下述网址下载：
  1、博客园下载 http://files.cnblogs.com/pinpkm/PinPkm.rar
  2、本地下载 http://www.pinpkm.com/pinpkm.rar
3、华军下载 www.onlinedown.net/soft/59630.htm

针式PKM个人知识管理软件，不仅提供一般的笔记软件的收集、查找资料功能，更主要提供通过问答进行辅助学习，通过数据分析，如文章的阅读次数、今天距离最近一次阅读日期间隔的统计分析，来更好帮助用户“从收集资料到吸收知识的转变“。

V9.08版主要增加和完善的功能有：
    1、支持华为网盘同步和备份
  2、增加知识结构分析，有助于对知识是否系统化并有所侧重进行分析等
  3、对问答学习进行完善
  4、对标签功能进行完善，可直接输入关键字，并支持大量标签后快捷搜索等
  5、对知识点列表显示字段格式等保存进行简化
  6、对界面进行一些相关功能的整合，希望让您能更方便相关功能
   等等

内置的6个问答问题如下，
配合针式PKM提供的功能，能更好思考、理解文章的价值：
1、我为什么要学习这些知识？
2、我要掌握哪些核心内容？
3、我准备怎样深入理解、应用这些知识？
4、和主题相关的同义词和近义词有哪些？
5、我要从中获取哪些教训？
6、我怀疑、质疑文章中的哪些观点？

可以通过下述网址下载：
1、博客园下载 http://files.cnblogs.com/pinpkm/PinPkm.rar
2、本地下载 http://www.pinpkm.com/pinpkm.rar
3、华军下载 www.onlinedown.net/soft/59630.htm

本文链接

用Asp.net 就能轻松实现铁道部的订票系统

2012-01-11T19:47:00Z

总结大家的发言，期望中的火车新订票系统：

１）铁付通：允许允值到帐户

２）预订方式：预订不成功退钱回帐户

３）加入分配规则：解决像春节特殊节日下，优先满足回家的人们

（去年有回去的优先级下降一档、不是回家的优先最低。

　什么流量，根本就是最最基本的技术问题，谈流量者SB）

４）加入用户信用评价体系，并和分配优先级挂钩

5）支持PC、智能手机的订票方式，逐渐减少人工售票点(不会在线订票的人群)

6）目标是：用户可以１０分钟内完成预订单(不需要也不提供查余票功能)

在抢票期内５分钟～２４小时给出是否预订成功；

　非抢票期在运输资源出来后１小时内给出是否预订成功。

　节约没有意义的排队、刷屏的国民时间；照顾到需要照顾的人群；

让最基层的老百姓多些满意。

(架构图就不画了，估计铁道部相关的人员也不会理睬这个)

***********************************************************

前言：

最近经常看到买票难，作为搞技术的我TMD的骂一次：

票会增加吗？总是有人能买到，有人不能买到；

就不能换个思路设计订票系统。

要是我是什么什么的来着，早已经实现通过手机短信、网站就能轻松买票了；

还顺便将手机实名制给实现了。

　摘要：

现有的订票方案问题在哪，

１）是即时的，需要很多很多计算资源；搞得订票过程耗时

２）技术难度大：如余票查询、数量扣除锁等，都有很大的架构难度。

即并行访问根本就不是问题，问题在于单个用户的处理时间过长，

造成用户在网站“同一资源过程”停留的过长造成的雪崩效应问题。

最终是：200个用户在A服务器上卡死了，会话时间为２０分钟的话，A服务器基本上是挂了。要等监控进程清理，所以才会出现付钱不给票的情况（强制清除进程造成）

我想解决的是：避免浪费国民的时间，老是作那些没有意义的查询，

直接根据旅客的要求要给有没有票就好了。

而且，能实现很多很多其它的功能，又没有什么技术难度。

　正文：

不知是我想简单了，还是专家们想复杂了。

　铁道部的专家还停留在线下售票方案中拨不出来；

　线上售票系统简单得多了。
　骂完铁道部后，提供一简单又可行的解决方案。

查询余票、防止超售、防止黄牛，一般的设计思路是有难度，

换个思路，TMD太简单的就能搞定。

一、总体方案

　1、正常情况：预订交钱-->后台自动验证规则-->不符合购买限制的钱原路退回-->
-->提醒用户预订成功（但不一定有票）-->运输资源出来，根据先到可先得+优化级的原则分配
-->短信通知用户取票

　２、用户不取票：没有关系，因为铁道部已经收到钱，所以你开车前两小时取即可。
多方便啊，就不用为了票多走一次车站。

　３、用户退票：春运有人退吗？　平时要是退了，就退吧

二、前台网站设计

　只需要预订，根本不需要查余票什么的。所以很简单的架构就能搞定，甚至不用CDN

三、后台设计

　预订后，后台慢慢处理，看资源情况增加服务器。即使后台的服务器挂了，前台用户也感觉不出来。
　运输资源出来，看有多少是分配给网上订票的，依规则分配即可。

　这样后台的架构要有多灵活，就可以设计成多灵活。
　后台由验证服务器+分配服务器+取票及跟踪服务器组成。
　具有分配资格的，满足了身份证唯一、已付款、优先级等等要求了；
　而且是一票一票分配的，根本就没有什么复杂的逻辑处理，也没有什么数据库表锁；
　因为能分配的已经满足了锁的要求了，用单线程分配就好了。
　２核的一秒就可以处理1000张票以上。

四、可能的问题

１、有存在海量的处理的情况吗？　没有，预订对数据只是增加操作，不需要扣除数量锁表
２、有峰值压力吗？　没有，预订时要处理的事情很少很少
３、能不能订到票，心里没底？　预订和抢票，没有区别啊，
关键一点的是，预订可以有复杂的预计，比如允许自动安排下一趟什么的；
多灵活啊。也不要做哪些没有意义的重复提交。
４、如果铁道部的内部人员想作弊，采用什么方式都可能存在作弊

五、优点

　１、能提前１０年预订都没有问题，只要铁道部和旅客愿意。将来的目标发展为：个人旅行管理系统
　２、前台轻量，爱怎样扩展就怎样扩展
3、后台爱怎样处理都行，而且可以很容易监控，有异常还可以人工偷偷处理一下，用户根本感觉不到
　４、实际上这样一套系统上线，在家中买票，要坐车再去取票就可以了。不够铁道部的关系人少了点代理收入。

六、经@诺贝尔的启发，完善系统如下：

　１、前台部分：
　PC端：由前台预订系统、身证验证子系统、网银子系统、防止入侵子系统、业务监控系统
　智能手机：修改适合手机特点的预订系统
（前台预计系统很简单，就一般的小公司都没做再来的那一种，就是往数据库里增加记录，不验证不看余票等规则）
　２、后台部分

订票确权服务器（是否有预计资格）、车票分配服务器、取票通知服务器、业务监控系统、资源管理和分配规则管理系统等组成

　３、结算部分

　另开发结算管理系统，处理帐务、退钱、退票等

　经以上分析，结论：用Asp.net+SQL２００８就可以轻松实现。特别是后台，用C#.net　开发绝对是优势。

本文链接

解决WebDev.Webserver4(.net 4) 只能用于本机调试的问题

2011-12-15T17:10:00Z

最近在弄针式PKM的支付宝在线支付，才发现VS2010自带的Asp.net Web 服务器只能在本机访问，在网上搜索了不少资料。

1、尝试方案一：有一个一键访问的叫Aspnet4.0的没有解决这个问题，只是简单调用了自带的WebDev.WebServer40.exe 这个文件

2、找到方案二：在园子中另外找到这篇：使WebDev.WebServer.exe 当web服务器，很有帮助，但没有解决本机访问的调试问题，后来找到更简单的方法，支持任意IP访问，即使用 socket.Bind(new IPEndPoint(IPAddress.Any , port)); 初始服务器的监听端口（此时用netstat -a 显示 0.0.0.0 本机地址）

2.1 用ILSpy 反编译了WebDev.WebServer40.exe 和WebDev.WebHost40.dll，修改后重新编译

2.2 要将编译好的WebDev.WebServer40.exe 替换到：C:\Program Files\Common Files\microsoft shared\DevServer\10.0

2.3 要将WebDev.WebHost40.dll 每次复制到要调试的asp.net 项目的bin 文件夹（没有则手工建一个）

经以上折腾，可以在本机完成支付宝在线支付的调试。后续也可以作为简单的Asp.net Web 服务器（有安全问题，不能用于互联网）

3、源代码下载 http://files.cnblogs.com/fjwuyongzhi/WebDevWebServer40_fjwuyongzhi.rar

（仅用学习参考使用）

本文链接

关于“无效的FORMATETC 结构”解决方法

2010-03-16T01:05:00Z

现象：在开发asp.net自定义控件，在测试项目拖动控件进提示，无效的FORMATETC 结构分析：之前已经将此自定义控件部署到GAC区，估计只认到GAC区的DLL，没有认到当前新生成的DLL 解决：关闭所有相关的项目，重新部署到GAC区，并重新打开项目后OK。

从用友致远“佣金门”看软件价值

2010-03-04T06:00:00Z

近期在网上流传的用友致远“佣金门”，很大程度上可以说明软件的价值所在。一、软件是好东西，但同时容易为别人留下证据用友致远“佣金门”的资料来自于自身的OA系统，说明软件可以将东西很好的将过程记下来；也容易成为“证据”。用友致远“佣金门”的资料是来自于高管，还是来自“用友致远OA自身的不安全...

以过桥算法来谈如何满足客户的需求和程序设计步骤

2009-09-06T11:52:00Z

以过桥算法来谈如何满足客户的需求和程序设计步骤如果答案只停留在解决题目的表面，而不能抽象出此类问题，是不及格的。正如，开发应用型软件，应站在行业的高度和全局去思考，而不仅仅是解决局部的问题。所以实际的项目中，应有架构师来统领全局，看得更多更远一些。一、需求四个女人过桥，夜间有一火把，每次最多过两个，必需带火把，过桥速度不一样no.1 1minno.2 2minno3 5minno.4 10mi...

选择数据库产品要考虑哪些事项?

2009-09-06T11:51:00Z

选择数据库产品和应用规模、客户对象、运行环境等息息相关；下面总结了几条，可以适当开发多数应用型的软件作参考。请大家一起来完善要考虑的事项，让更多的人减少走弯路。一、开发方面1、数据库连接和并发2、数据库的指标：数据库文件大小限制、表的记录量限制、支持的数据类型、支持的SQL语句、不支持的SQL语句3、参数查询4、多数据库支持的开发代价，是否值得支持二、部署和维护方面1、部署的环境、简便性等2、维护...

阿里SaaS钱掌柜免费的背后

2009-04-02T03:07:00Z

据报导：钱掌柜不但产品免费，更承诺三年内软件升级到服务培训也全面免费，中小企业无需投入即可实现管理体系全面转型。我的观点：免费是真的，这样也就能更精准的收集用户的资料，为公司的其它产品作推销。将广告的钱花在这，真的是高招！大公司确实应有这样的大手笔啊。转载本文请注明来自Cnblogs.com及保留文章链接(针式PKM也开始免费，希望阿里能收购，哈哈)

一款彻底解决企业考勤薪资问题的软件

2008-12-02T14:24:00Z

针式C/5网络版拍照型考勤薪资系统一款彻底解决企业考勤薪资问题的软件针式C/5软件由针式软件(福州)有限公司采用微软最新的 .net 软件网页技术开发，功能强大，真正能满足您的复杂需求的软件；贵公司的考勤薪资制度全部可以用针式C/5软件来实现自动统计、结算，并生成直观的Excel报表。主要特点刷卡拍照，防止代刷卡 Web 版软件，局域网内任意电脑用户可登入系统进行操作和查询强大的人事资...

博客园_悟空-简单就好

分库分表的设计思路让大系统变简单

下载 针式个人知识库管理软件 V9.08 版

用Asp.net 就能轻松实现铁道部的订票系统

解决WebDev.Webserver4(.net 4) 只能用于本机调试的问题

关于“无效的FORMATETC 结构”解决方法

从用友致远“佣金门”看软件价值

以过桥算法来谈如何满足客户的需求和程序设计步骤

选择数据库产品要考虑哪些事项?

阿里SaaS钱掌柜免费的背后

一款彻底解决企业考勤薪资问题的软件

下载针式个人知识库管理软件 V9.08 版