博客园_EmanLee, Eman Lee's Space (blog, website)

自回归模型/向量自回归模型

2012-02-06T07:34:00Z

自回归模: 利用前期若干时刻的随机变量的线性组合来描述以后某时刻随机变量的线性回归模型。

向量自回归模型（简称VAR模型）是一种常用的计量经济模型，由克里斯托弗·西姆斯（Christopher Sims）提出。它是AR模型的推广。

http://zh.wikipedia.org/wiki/%E5%90%91%E9%87%8F%E8%87%AA%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B

http://zh.wikipedia.org/wiki/ARIMA%E6%A8%A1%E5%9E%8B

http://zh.wikipedia.org/wiki/ARMA%E6%A8%A1%E5%9E%8B

http://baike.baidu.com/view/1117298.htm

http://baike.boraid.com/doc.asp?id=73500

http://www.hudong.com/wiki/%E8%87%AA%E5%9B%9E%E5%BD%92%E7%B3%BB%E6%95%B0

http://baike.baidu.com/view/2166720.htm

本文链接

时间序列分析

2012-02-06T02:36:00Z

在生产和科学研究中，对某一个或一组变量x(t)进行观察测量，将在一系列时刻t1, t2, …, tn (t为自变量且t1<t2<…< tn ) 所得到的离散数字组成序列集合x(t1), x(t2), …, x(tn)，我们称之为时间序列，这种有时间意义的序列也称为动态数据。这样的动态数据在自然、经济及社会等领域都是很常见的。如在一定生态条件下，动植物种群数量逐月或逐年的消长过程、某证券交易所每天的收盘指数、每个月的GNP、失业人数或物价指数等等。

时间序列分析是根据系统观测得到的时间序列数据，通过曲线拟合和参数估计来建立数学模型的理论和方法。它一般采用曲线拟合和参数估计方法（如非线性最小二乘法）进行。

时间序列建模基本步骤是：

①用观测、调查、统计、抽样等方法取得被观测系统时间序列动态数据。

②根据动态数据作相关图，进行相关分析，求自相关函数。相关图能显示出变化的趋势和周期，并能发现跳点和拐点。跳点是指与其他数据不一致的观测值。如果跳点是正确的观测值,在建模时应考虑进去,如果是反常现象，则应把跳点调整到期望值。拐点则是指时间序列从上升趋势突然变为下降趋势的点。如果存在拐点，则在建模时必须用不同的模型去分段拟合该时间序列，例如采用门限回归模型。

③辨识合适的随机模型,进行曲线拟合,即用通用随机模型去拟合时间序列的观测数据。对于短的或简单的时间序列，可用趋势模型和季节模型加上误差来进行拟合。对于平稳时间序列，可用通用ARIMA模型（自回归滑动平均模型）及其特殊情况的自回归模型、滑动平均模型或组合-ARIMA模型等来进行拟合。当观测值多于50个时一般都采用ARIMA模型。对于非平稳时间序列则要先将观测到的时间序列进行差分运算，化为平稳时间序列，再用适当模型去拟合这个差分序列。

用途

时间序列分析主要用于：

①系统描述。根据对系统进行观测得到的时间序列数据，用曲线拟合方法对系统进行客观的描述。

②系统分析。当观测值取自两个以上变量时，可用一个时间序列中的变化去说明另一个时间序列中的变化，从而深入了解给定时间序列产生的机理。

③预测未来。一般用ARMA模型拟合时间序列，预测该时间序列未来值。

④决策和控制。根据时间序列模型可调整输入变量使系统发展过程保持在目标值上，即预测到过程要偏离目标时便可进行必要的控制。

时间序列变量的特征

1 时间序列变量的特征非平稳性（nonstationarity，也译作不平稳性，非稳定性）：即时间序列变量无法呈现出一个长期趋势并最终趋于一个常数或是一个线性函数。
2 波动幅度随时间变化（Time－varying Volatility）：即一个时间序列变量的方差随时间的变化而变化。
这两个特征使得有效分析时间序列变量十分困难。

平稳型时间数列（Stationary Time Series）系指一个时间数列其统计特性将不随时间之变化而改变者。

http://zh.wikipedia.org/wiki/%E6%97%B6%E9%97%B4%E5%BA%8F%E5%88%97

本文链接

拉格朗日乘子/拉格朗日乘数（Lagrange multiplier）

2012-02-06T00:58:00Z

基本的拉格朗日乘子法(又称为拉格朗日乘数法)，就是求函数f(x1,x2,...)在g(x1,x2,...)=0的约束条件下的极值的方法。其主要思想是引入一个新的参数λ（即拉格朗日乘子），将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解。

具体方法：

假设需要求极值的目标函数 (objective function) 为 f(x,y)，限制条件为 φ(x,y)=M

设g(x,y)=M-φ(x,y)

定义一个新函数

F(x,y,λ)=f(x,y)+λg(x,y)

则用偏导数方法列出方程：

∂F/∂x=0

∂F/∂y=0

∂F/∂λ=0

求出x,y,λ的值，代入即可得到目标函数的极值.

扩展为多个变量的式子为：

F(x1,x2,...λ)=f(x1,x2,...)+λg(x1,x2...)

则求极值点的方程为：

∂F/∂xi=0 （xi即为x1、x2……等自变量）

∂F/∂λ=g(x1,x2...)=0

以上内容在《数学手册》当中有。另外，可以将这种把约束条件乘以λ（即不定乘子）后加到待求函数上的求极值方法推广到变分极值问题及其它极值问题当中，理论力学当中对非完整约束的处理方法就是利用变分法当中的拉格朗日乘子法。

拉格朗日乘子法的用途：

从经济学的角度来看，λ代表当约束条件变动时，目标函数极值的变化。因为∂F/∂M=λ，当M增加或减少一个单位值时，F会相应变化λ。

例如，假设目标函数代表一个工厂生产产品的数量，约束条件限制了生产中投入的原料和人力的总成本，我们求目标函数的极值，就是要求在成本一定的条件下，如何分配利用人力和原料，从而使得生产量达到最大。此时λ便代表，当成本条件改变时，工厂可达到的生产量最大值的变化率。

---------------------------------------------------

在数学最优化问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个矢量的系数。

很简单的例子

求此方程的最大值：

f(x,y) = x²y

同时未知数满足

x² + y² = 1

因为只有一个未知数的限制条件，我们只需要用一个乘数λ.

g(x,y) = x² + y² − 1

Φ(x,y,λ) = f(x,y) + λg(x,y) = x²y + λ(x² + y² − 1)

将所有Φ方程的偏微分设为零，得到一个方程组，最大值是以下方程组的解中的一个：

2xy + 2λx = 0

x² + 2λy = 0

x² + y² − 1 = 0

---------------------------------------------------

在数学中，卡罗需-库恩-塔克条件（英文原名: Karush-Kuhn-Tucker Conditions常见别名: Kuhn-Tucker，KKT条件，Karush-Kuhn-Tucker最优化条件， Karush-Kuhn-Tucker条件，Kuhn-Tucker最优化条件，Kuhn-Tucker条件）是在满足一些有规则的条件下，一个非线性规划（Nonlinear Programming）问题能有最优化解法的一个必要和充分条件。这是一个广义化拉格朗日乘数的成果。

http://baike.baidu.com/view/2415642.htm

http://zh.wikipedia.org/wiki/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0

http://zh.wikipedia.org/wiki/%E5%8D%A1%E7%BE%85%E9%9C%80%EF%BC%8D%E5%BA%AB%E6%81%A9%EF%BC%8D%E5%A1%94%E5%85%8B%E6%A2%9D%E4%BB%B6

本文链接

相对熵/KL散度（Kullback–Leibler divergence，KLD）

2012-02-05T02:35:00Z

相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。
KL散度是两个概率分布P和Q差别的非对称性的度量。

KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的比特个数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布，模型分布，或P的近似分布。

http://zh.wikipedia.org/zh-tw/%E7%9B%B8%E5%AF%B9%E7%86%B5

http://baike.baidu.com/view/951299.htm

本文链接

最大熵原理/最大熵原则/最大熵模型(the maximum entropy principle,MEP)

2012-02-05T02:16:00Z

最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。因为在这种情况下，符合已知知识的概率分布可能不止一个。我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随机变量最不确定，换句话说，也就是随机变量最随机，对其行为做准确预测最困难。

从这个意义上讲，那么最大熵原理的实质就是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是我们可以作出的唯一不偏不倚的选择，任何其它的选择都意味着我们增加了其它的约束和假设，这些约束和假设根据我们掌握的信息无法作出。

最大熵方法的特点是在研究的问题中，尽量把问题与信息熵联系起来，再把信息熵最大做为一个有益的假设（原理），用于所研究的问题中。由于这个方法得到的结果或者公式往往（更）符合实际，它就推动这个知识在前进和曼延。

把最复杂原理与信息论中的最大熵方法联系起来，既是自然的逻辑推论也显示最复杂原理并不孤立。这样，最大熵方法过去取得的一切成就都在帮助人们理解最复杂原理的合理性。而最复杂原理的引入也使人们摆脱对神秘的熵概念和熵原理的敬畏。在理解了最复杂原理来源于概率公理以后，我们终于明白，神秘的熵原理本质上仅是“高概率的事物容易出现”这个再朴素不过的公理的一个推论。

最漂亮的办法是最大熵(maximum entropy)模型，它相当于行星运动的椭圆模型。“最大熵”这个名词听起来很深奥，但是它的原理很简单，我们每天都在用。说白了，就是要保留全部的不确定性，将风险降到最小。让我们来看一个实际例子。
有一次，我去 AT&T 实验室作关于最大熵模型的报告，我带去了一个色子。我问听众“每个面朝上的概率分别是多少”，所有人都说是等概率，即各点的概率均为1/6。这种猜测当然是对的。我问听众们为什么，得到的回答是一致的：对这个“一无所知”的色子，假定它每一个朝上概率均等是最安全的做法。（你不应该主观假设它象韦小宝的色子一样灌了铅。）从投资的角度看，就是风险最小的做法。从信息论的角度讲，就是保留了最大的不确定性，也就是说让熵达到最大。接着，我又告诉听众，我的这个色子被我特殊处理过，已知四点朝上的概率是三分之一，在这种情况下，每个面朝上的概率是多少？这次，大部分人认为除去四点的概率是 1/3，其余的均是 2/15，也就是说已知的条件（四点概率为 1/3）必须满足，而对其余各点的概率因为仍然无从知道，因此只好认为它们均等。注意，在猜测这两种不同情况下的概率分布时，大家都没有添加任何主观的假设，诸如四点的反面一定是三点等等。（事实上，有的色子四点反面不是三点而是一点。）这种基于直觉的猜测之所以准确，是因为它恰好符合了最大熵原理。
最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。（不做主观假设这点很重要。）在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫“最大熵模型”。我们常说，不要把所有的鸡蛋放在一个篮子里，其实就是最大熵原理的一个朴素的说法，因为当我们遇到不确定性时，就要保留各种可能性。

本文引自： Google 研究员，吴军

本文链接

贝赛尔曲线

2012-02-03T05:18:00Z

贝塞尔曲线又称贝兹曲线或贝济埃曲线，一般的矢量图形软件通过它来精确画出曲线，贝兹曲线由线段与节点组成，节点是可拖动的支点，线段像可伸缩的皮筋，我们在绘图工具上看到的钢笔工具就是来做这种矢量曲线的。当然在一些比较成熟的位图软件中也有贝塞尔曲线工具，如PhotoShop等。在Flash4中还没有完整的曲线工具，而在Flash5里面已经提供出贝塞尔曲线工具。

贝塞尔曲线是应用于二维图形应用程序的数学曲线。曲线的定义有四个点：起始点、终止点（也称锚点）以及两个相互分离的中间点。滑动两个中间点，贝塞尔曲线的形状会发生变化。十九世纪六十年代晚期，Pierre Bézier应用数学方法为雷诺公司的汽车制造业描绘出了贝塞尔曲线。贝塞尔曲线就是这样的一条曲线，它是依据四个位置任意的点坐标绘制出的一条光滑曲线。在历史上，研究贝塞尔曲线的人最初是按照已知曲线参数方程来确定四个点的思路设计出这种矢量曲线绘制法。贝塞尔曲线的有趣之处更在于它的“皮筋效应”,也就是说，随着点有规律地移动，曲线将产生皮筋伸引一样的变换，带来视觉上的冲击。19世纪70年代，法国数学家Pierre Bézier第一个研究了这种矢量绘制曲线的方法，并给出了详细的计算公式，因此按照这样的公式绘制出来的曲线就用他的姓氏来命名,是为贝塞尔曲线。

由于用计算机画图大部分时间是操作鼠标来掌握线条的路径，与手绘的感觉和效果有很大的差别。即使是一位精明的画师能轻松绘出各种图形，拿到鼠标想随心所欲的画图也不是一件容易的事。这一点是计算机万万不能代替手工的工作，所以到目前为止人们只能颇感无奈。使用贝塞尔工具画图很大程度上弥补了这一缺憾。

“贝赛尔曲线”是由法国数学家Pierre Bézier所发现，由此为计算机矢量图形学奠定了基础。它的主要意义在于无论是直线或曲线都能在数学上予以描述。

本文链接

样条曲线 spline curves

2012-02-03T05:13:00Z

所谓样条曲线是指给定一组控制点而得到一条曲线，曲线的大致形状由这些点予以控制，一般可分为插值样条和逼近样条两种，插值样条通常用于数字化绘图或动画的设计，逼近样条一般用来构造物体的表面。

样条曲线是经过一系列给定点的光滑曲线。最初，样条曲线都是借助于物理样条得到的，放样员把富有弹性的细木条（或有机玻璃条），用压铁固定在曲线应该通过的给定型值点处，样条做自然弯曲所绘制出来的曲线就是样条曲线。样条曲线不仅通过各有序型值点，并且在各型值点处的一阶和二阶导数连续，也即该曲线具有连续的、曲率变化均匀的特点。

非均匀有理 B 样条曲线（NURBS），是一种用途广泛的样条曲线，它不仅能够用于描述自由曲线和曲面，而且还提供了包括能精确表达圆锥曲线曲面在内各种几何体的统一表达式。自1983年，SDRC公司成功地将NURBS模型应用在它的实体造型软件中，NURBS已经成为计算机辅助设计及计算机辅助制造的几何造型基础，得到了广泛应用。

AutoCAD 使用的就是这种NURBS数学模型来创建样条曲线，这也是在MDT中进行曲面造型和实体造型的基础。

在详细阐明AutoCAD用于构造和修改NURBS曲线（以下简称“样条曲线”）的各项功能之前，从数学和几何角度了解关于NURBS曲线的几个术语，是非常有必要的。这里仅解释与理解AutoCAD中的NURBS曲线有关的名词，其它相关详细数学知识，请参见有关资料。

NURBS曲线的相关术语

型值点或拟合点

所求的样条曲线应通过的已知给定点。

特征多边形或控制多边形

样条曲线是由一些折线组成的多边形构造出来的。简单地说，以数值计算的方法，用光滑的参数曲线段逼近该折线多边形，就构造出一条样条曲线。改变该多边形的顶点和个数，会影响曲线的形状。这里所说的折线多边形，就是样条曲线的特征多边形或控制多边形。
样条曲线段
样条曲线是由一组逼近控制多边形的光滑参数曲线段构成，这些曲线段就是样条曲线段。特征多边形/控制多边形的顶点/控制点构成特征多边形的各段折线的端点，就是特征多边形的顶点，也叫做控制多边形的控制点。只有在特殊情况下，样条曲线才能通过控制点。
编辑本段样条曲线的次数
样条曲线的次数，是由样条曲线数学定义中所取的基函数所决定的。直观的说，所构成样条曲线的一段光滑参数曲线段，由控制多边形的相邻连续的几段折线段决定，就是几次样条，最常用的就是二次和三次样条。二次样条的某一曲线段只与相应的两段折线段，三个控制多边形顶点有关，改变其中一个顶点，将影响三段样条曲线段。同样的，对三次样条，某一曲线段由相应的三段折线段，四个控制点决定。
样条曲线的阶数(order)
阶数与次数有关，样条曲线的阶是样条曲线的次数加一。样条曲线的阶越高，控制点越多。二次样条的阶数是三，样条曲线段与三个控制点决定；三次样条的阶数是四，样条曲线段与四个控制点决定。
样条曲线的权值
权值可控制样条曲线段在控制多边形范围内做局部调整，反映了曲线靠近控制多边形的程度，权值越大，曲线段越靠近控制多边形。反之，则远离。当权值为1时，NURBS曲线退化为非有理B样条曲线，可见非有理B样条曲线是NURBS的一个子集。
样条曲线的允差
允差是指样条曲线通过型值点的精确程度，允差越小，样条曲线与型值点越接近，允差为零，样条曲线将通过型值点。
AutoCAD产生样条曲线的方法
AutoCAD用 SPLINE 命令创建样条曲线即 NURBS 曲线。还提供用 PEDIT 命令，平滑多段线（POLYLINE）拟合生成近似样条曲线，以下称为“样条拟合多段线”。这种曲线不是真正意义上的样条曲线，而是由若干直线（曲线）段构成的多段线，逼近于样条曲线。但使用 SPLINE 命令可把这种二维和三维样条拟合多段线转换为样条曲线。用SPLINE命令创建的样条曲线和编辑平滑多段线生成的样条拟合多段线相比，有以下不同：样条曲线显然要比样条拟合多段线精确的多。在工程应用中，样条拟合多段线不能作为数学分析的基础，不能在曲线上，生成切线、法线或提取曲线上的点位数据。

本文链接

统计独立性和统计相关性

2012-01-31T12:38:00Z

在随机信号分析中，不相关、正交、统计独立等是非常重要的，这里进一步讨论各自的严格概念和相互关系。

当两个随机过程保持统计独立时，它们必然是不相关的，但反过来则不一定成立，即不相关的两个随机过程不一定能保持统计独立，唯有在高斯随机过程中才是例外。这就是说，从统计角度看，保持统计独立的条件要比不相关还要严格。

另外，在确知信号分析中已知，内积为零可作为两个信号之间正交的定义。对于随机过程来说，除了互协方差函数外，还要求至少其中有一个随机过程的均值等于零，这时两个随机过程才互相正交。因此正交的条件满足了，不相关的条件就自然满足，但是反过来就未必然。可见正交条件要比不相关条件严格些。如果统计独立的条件能满足，则正交条件也自然满足，但反过来也不一定成立。因此统计独立的条件最严格。

1.统计独立必不相关

两随机变量或者两个随机过程，若它们的互相关或互相关函数等于两者均值之积；或者协方差和相关系数都等于0，则它们之间不相关。三个条件实质相同。

统计独立比不相关含义更严格，前者表明一个随机变量的任一取值的变化都不会引起另一个变量的任何取值的变化；而不相关则是统计平均意义下相互无影响，即间或存在的相互影响，经集合平均后显示不出来，宏观影响为0。

但是这一结论对于两个高斯变量或过程却是一例外。

2.不相关与正交关系

在通信系统中，总是力图按不相关或正交关系来设计在同一信道随机发送的二元或多元信号。对于多数通信信号以及噪声来说，基本上均值都为0，于是在实际应用中，不相关与正交没有本质区别。

统计独立的充要条件是两个随机变量的联合概率密度分布函数等于它们各自概率密度分布函数的乘积。
即p(f1,f2)=p(f1)p(f2), 很容易证明，统计独立必然导致不相关。

一些随机现象经过大量观察，在它们出现的结果之间不呈现显著联系，因此认为这些随机现象的规律性相互独立，称为统计独立性。

在机率论里，说两个事件是独立的，直觉上是指一事件的发生不会影响到另一事件发生的机率。例如，骰子掷出“6”的事件和其在下一次也掷出“6”的事件是相互独立的。类似地，两个随机变量是独立的，若其在一事件给定观测量的条件机率分布和另一事件没有被观测的机率分布是一样的。例如，第一次掷骰子掷出的数目和第二次会出现的数目是相互独立的。

相关性是指当两个因素之间存在联系的时候，一个典型的表现是：一个变量会随着另一个变量变化。相关又会分成正相关和负相关两种情况。举例说明，下雪外面就会变冷，这是正相关。出太阳就不会下雨，这是负相关。

相关系数：考察两个事物（在数据里我们称之为变量）之间的相关程度。

如果有两个变量：X、Y，最终计算出的相关系数的含义可以有如下理解：

(1)、当相关系数为0时，X和Y两变量无关系。

(2)、当X的值增大（减小），Y值增大（减小），两个变量为正相关，相关系数在0.00与1.00之间。

(3)、当X的值增大（减小），Y值减小（增大），两个变量为负相关，相关系数在-1.00与0.00之间。

相关系数的绝对值越大，相关性越强，相关系数越接近于1或-1，相关度越强，相关系数越接近于0，相关度越弱。

通常情况下通过以下取值范围判断变量的相关强度：
相关系数     0.8-1.0     极强相关
                 0.6-0.8     强相关
                 0.4-0.6     中等程度相关
                 0.2-0.4     弱相关
                 0.0-0.2     极弱相关或无相关

http://zh.wikipedia.org/wiki/%E7%B5%B1%E8%A8%88%E7%8D%A8%E7%AB%8B

http://blog.csdn.net/wsywl/article/details/5727327

http://zh.wikipedia.org/zh-cn/%E7%9B%B8%E5%85%B3

本文链接

C#开发的软件在Windows7中出现对路径的访问被拒绝异常

2012-01-29T09:22:00Z

C#开发的软件在Windows7中出现对路径的访问被拒绝异常
在VS 2008/ VS2010下, 右键项目=>属性=>安全性=>直接勾选“启用ClickOnce安全设置”即可解决问题。

创建文件夹和文件时，选择其他盘，比如:D,E,F . 不要选择创建到C盘。

本文链接

未能注册模块（程序路径）\ieframe.dll提示

2012-01-29T03:02:00Z

程序安装的时候出现未能注册模块（程序路径）\ieframe.dll提示

这种情况的出现，是因为引用的shdocvw.dll，目前发现了一个折中的解决方法，在安装程序里面，可以看到ieframe.dll的一个引用，右击选择排除。这样安装的时候就不会出现这种提示。只要安装的目标机子上有IE6或者IE7，IE8，程序就不会有任何问题，考虑到这是winform开发，一般情况下，这种方法可行。

本文链接