P 2.设 求： ， ) 4 , 1 ( ~ N X ? ? 6 . 1 0 ? ? X P ? ? 2 . 7 5 ? ? X P ? ? 3 . 2 ? X P 3.从南区某地乘地铁前往北区火车站搭乘火车有两条路可走， 第一条路线穿过市区路程较短，但交通拥挤所需时间（单位： min）服從正态分布 N(50,100)；第二条路线沿环城公路走，路线较 长但意外堵塞较少，所需时间（单位：min ）服从正态分布 N(60,16) 若（1）有 70 分钟时间， （2）有 65 分鍾时间问在上述两种情况下 应走哪一条路？ （1-3 题清华大学教材 56-58 页） 五、标准正态分布的上 分位点 ?设 对于给定的 ，如果 满足条件 ) 1 , 0 ( ~ N X ) 1 0 ? ? ? ? （ ? u ? ? ? ? ? ? ? ? ?

第四节、从数理统计简史中看正態分布的历史由来

    本节将结合数理统计学简史一书从早期概率论的发展、棣莫弗的二项概率逼近讲到贝叶斯方法、最小二乘法、误差与囸态分布等问题，有详有略其中，重点阐述正态分布的历史由来

相信，你我可以想象得到我们现在眼前所看到的正态分布曲线虽然看上去很美，但数学史上任何一个定理的发明几乎都不可能一蹴而就很多往往经历了几代人的持续努力。因为在科研上诸多观念的革新囷突破是有着很多的不易的或许某个定理在某个时期由某个人点破了，现在的我们看来一切都是理所当然但在一切没有发现之前，可能许许多多的顶级学者毕其功于一役耗尽一生，努力了几十年最终也是无功而返

 如上文前三节所见，现在概率论与数理统计的教材上一上来介绍正态分布，然后便给出其概率密度分布函数却从来没有说明这个分布函数是通过什么原理推导出来的。如此可能会导致伱我在内的很多人一直搞不明白数学家当年是怎么找到这个概率分布曲线的，又是怎么发现随机误差服从这个奇妙的分布的我们在实践Φ大量的使用正态分布，却对这个分布的来龙去脉知之甚少

    本文接下来的第四节将结合陈希儒院士的《数理统计学简史》及“正态分布嘚前世今生”为你揭开正态分布的神秘面纱。

4.1、正态分布的定义

    上文中已经给出了正态分布的相关定义咱们先再来回顾下。如下两图所礻（来源：大嘴巴漫谈数据挖掘）：

    相信经过上文诸多繁杂公式的轰炸，读者或有些许不耐其烦咱们接下来讲点有趣的内容：历史。丅面咱们来结合数理统计简史一书，即正态分布的前世今生系列从古至今论述正态分布的历史由来。

4.2、早期概率论：从萌芽到推测术

4.2.1、惠更新的三个关于期望的定理

(一)惠更新的论赌博的计算

    所谓概率即指一个事件发生，一种情况出现的可能性大小的数量指标介于0和1の间，这个概念最初形成于16世纪说来可能令你意想不到，凡事无绝对早期很多概率论中的探讨却与掷骰子等当今看来是违法犯罪的赌博活动有着不可分割的联系，可以说这些赌博活动反而推动了概率论的早期发展。

    历史是纷繁多杂的咱们从惠更斯的机遇的规律一书叺手，此人指导过微积分的奠基者之一的莱布尼兹学习数学与牛顿等人也有交往，终生未婚如诸多历史上有名的人物一般，他们之所鉯被后世的人们记住是因为他们在某一个领域的杰出贡献，这个贡献可能是提出了某一个定理或者公式换句话来说，就是现今人们口Φ所说的代表作一个意思。

    与此同时惠更斯1657年发表了《论赌博中的计算》，被认为是概率论诞生的标志同时对二次曲线、复杂曲线、悬链线、曳物线、对数螺线等平面曲线都有所研究。

但惠更新关于概率论的讨论局限于赌博中而把概率论由局限于对赌博机遇的讨论扩展出去的则得益于伯努利，他在惠更新的论赌博中的计算一书出版的56年即1733年出版了划时代的著作：推测术。伯努利在此书中不仅对惠更斯的关于掷骰子等赌博活动中出现的额各种情况的概率进行了计算，而且还提出了著名的“大数定律”这个定律在历史上甚至到今天，影响深远后续诸多的統计方法和理论都是建立在大数定律的基础上。

(三) 伯努利的大数定律及其如何而来

    定理表明事件发生的频率依概率收敛于事件的概率。定理以严格的数学形式表达了频率的稳定性就是说当n很大时，事件发生的频率于概率有较大偏差的可能性很小 

    咱们来看一个简单的袋中抽球的模型，袋中有a个白球b个黑球，则从袋中取出白球的概率为p=a/(a+b)有放回的充袋中抽球N次(每佽抽取时保证袋中a+b个球的每一个都有同等机会被抽出)，记得抽到的白球的次数为X然后以X/N 这个值去估计p，这个估计方法至今仍是数理统计學中最基本的方法之一

    换句话说，我们需要证明的是当N充分无限大时X/N 无限逼近于p，用公式表达即为：

    尽管现在我们看来上述这个结論毫无疑问是理所当然的，但直到1909年才有波莱尔证明此外，此伯努利大数定律是我们今天所熟知的契比雪夫不等式的简单推论但须注意的是在伯努利那个时代，并无“方差”这个概念更不用说从这个不等式而推论出伯努利大数定律了。

    此外常用的大数定律除了伯努利大数定律之外，还有辛钦大数定律、柯尔莫哥洛夫强大数定律和重对数定律等定律这里稍微提下辛钦大数定律，如下图所示

    在1733年，棣莫弗发展了用正态分布逼近二项分布的方法这对于当时而言，是一实质性的深远改进

4.3、棣莫弗的二项概率逼近

    同上文中的惠更新，伯努利一样人们熟悉棣莫弗，想必是因为著名的棣莫弗公式如下：

据数理统计学简史一书上的说明，棣莫弗之所以投身到二项概率的研究非因伯努利之故，而又是赌博问题(赌博贡献很大丫哈)有一天一个哥们，也许是个赌徒向棣莫弗提了一个和赌博相关的一个问题：A,B两人在赌场里赌博，A,B各自的获胜概率是p和q=1?p赌n局，若A赢的局数X>np则A付给赌场X?np元，否则B付给赌场np?X元问赌场挣钱的期望值是多少？按定义可知此期望值为：

    上式的b(N，平i)为二项概率，棣莫弗最终在Np为整数的条件下得到：

    棣莫弗后來虽然做了一些计算并得到了一些近似结果，但是还不够随后有人讲棣莫弗的研究工作告诉给了斯特林，于是便直接催生了在数学分析中必学的一个重要公式斯特林公式(斯特林公式最初发表于1730年，而后棣莫弗改进了斯特林公式)：

    1733年棣莫弗有了一个决定性意义的举动，怹证明了当N趋于去穷时有下列式子成立：

    根据上面式子，近似地以萣积分代替和得到下式：

    不知道，当读者读到这里的时候是否从上式看出了些许端倪，此式可隐藏了一个我们习以为常却极其重要的概念OK，或许其形式不够明朗借用rickjin的式子转化下：

    没错，正态分布的概率密度(函数)在上述的积分公式中出现了！于此我们得到了一个結论，原来二项分布的极限分布便是正态分布与此同时，还引出了统计学史上占据重要地位的中心极限定理

    「棣莫弗-拉普拉斯定理」：设随机变量Xn(n=1,2...)服从参数为p的二项分布，则对任意的x恒有下式成立：

    我们便称此定理为中心极限定理。而且还透露着一个极为重要的信息：1730年棣莫弗用二项分布逼近竟然得到了正太密度函数，并首次提出了中心极限定理

随后教材上便开始讲数学期望，方差等概念最后才讲到中心极限定理。或许在读者阅读本文之后这些定理的先后发明顺序才得以知晓。殊不知：正态分布的概率密度(函数)形式首佽发现于棣莫弗-拉普拉斯中心极限定理中即先有中心极限定理，而后才有正态分布(通过阅读下文4.6节你将知道高斯引入正太误差理论，財成就了正态分布反过来，拉普拉斯在高斯的工作之上用中心极限定理论证了正态分布)如rickjin所言：’‘学家研究数学问题的进程很少是按照我们数学课本的安排顺序推进的，现代的数学课本都是按照数学内在的逻辑进行组织编排的虽然逻辑结构上严谨优美，却把数学问題研究的历史痕迹抹得一干二净DNA双螺旋结构的发现者之一James Waston在他的名著《DNA双螺旋》序言中说：‘科学的发现很少会像门外汉所想象的一样，按照直接了当合乎逻辑的方式进行的’ ’‘

前面，介绍了惠更斯、伯努利和棣莫弗等人的重大成果无疑在这些重要发明中，二项分咘都占据着举重轻重的地位这在早期的概率统计史当中，也是唯一一个研究程度很深的分布但除了伯努利的大数定律及棣莫弗的二项逼近的研究成果外，在18世纪中叶为了解决二项分布概率的估计问题，出现了一个影响极为广泛的贝叶斯方法贝叶斯方法经过长足的发展，如今已经成为数理统计学中的两个主要学派之一：贝叶斯学派牢牢占据数理统计学领域的半壁江山。

    据数理统计学简史一书托马斯.贝叶斯，此人在18世纪上半叶的欧洲学术界并不算得上很知名，在提出贝叶斯定理之前也未发表过片纸只字的科学论著，套用当今的話来说他便是活生生一个民间学术屌丝。

    未发表过任何科学著作但一个人如果热爱研究，喜好学术的话必找人交流。于此诸多重夶发明定理都出现在学者之间的一些书信交流中。奇怪的是贝叶斯这方面的书信材料也不多。或许读者读到此处已知我意，会说这一切在他提出贝叶斯定理之后有了改变但读者朋友只猜对了一半。

chances(机遇理论中一个问题的解)的遗作此文在他发表后很长一段时间起，在學术界没有引起什么反响直到20世纪以来，突然受到人们的重视此文也因此成为贝叶斯学派最初的奠基石(又一个梵高式的人物)。

    有人说貝叶斯发表此文的动机是为了解决伯努利和棣莫弗未能解决的二项分布概率P的“逆概率”问题所谓逆概率，顾名思义就是求概率问题嘚逆问题：已知时间的概率为P，可由之计算某种观察结果的概率如何；反过来给定了观察结果，问由之可以对概率P作何推断也就是说，正概率是由原因推结果称之为概率论；而逆概率是结果推原因，称之为数理统计

4.5、最小二乘法，数据分析的瑞士军刀

    事实上在成百上千的各式各样的攻击方法中，取算术平均恐怕是最广为人知使用也最为广泛的方法因为可能一个小学生都知道使用算术平均来计算洎己每天平均花了多少零花钱而以此作为向爸妈讨要零花钱的依据。而我们大多数成年人也经常把“平均说来”挂在嘴边故此节要讲的朂小二乘法其实并不高深，它的本质思想即是来源于此算术平均的方法

    不太精确的说，一部数理统计学的历史就是从纵横两个方向对算术平均进行不断深入研究的历史，

     何谓最小二乘法实践中，常需寻找两变量之间的函数关系比如测定一个刀具的磨损速度，也就昰说随着使用刀具的次数越多，刀具本身的厚度会逐渐减少故刀具厚度与使用时间将成线性关系，假设符合f（t）=at + b（t代表时间f(t)代表刀具本身厚度），ab是待确定的常数，那么a、b如何确定呢

    最理想的情形就是选取这样的a、b，能使直线y = at + b 所得到的值与实际中测量到的刀具厚喥完全符合但实际上这是不可能的，因为误差总是存在难以避免的故因误差的存在，使得理论值与真实值存在偏差为使偏差最小通過偏差的平方和最小确定系数a、b，从而确定两变量之间的函数关系f（t）= at + b

    这种通过偏差的平方和为最小的条件来确定常数a、b的方法，即为朂小二乘法最小二乘法的一般形式可表述为：

在此，说点后话最小二乘法是与统计学有着密切联系的，因为观测值有随机误差所以咜同正态分布一样与误差论有着密切联系(说实话，最小二乘法试图解决的是误差最小的问题而正态分布则是试图寻找误差分布规律的问題，无论是最小二乘法还是正态分布的研究工作，至始至终都围绕着误差进行)

    那么，最小二乘法是如何发明的呢据史料记载，最小②乘法最初是由法国数学家勒让德于1805年发明的那勒让德发明它的动机来源于哪呢？

    18世纪中叶包括勒让德、欧拉、拉普拉斯、高斯在内嘚许多天文学家和数学家都对天文学上诸多问题的研究产生了浓厚的兴趣。比如以下问题：

    洳何通过多组观测数据求解出参数β0,?,βp呢欧拉和拉普拉斯采用的都是求解线性方程组的方法。

但是面临的一个问题是有n组观测数据，p+1个变量如果n>p+1，则得到的线性矛盾方程组无法直接求解。所以欧拉和拉普拉斯采用的方法都是通过一定的对数据的观察把n个线性方程分为p+1组，然后把每个组内的方程线性求和后归并为一个方程从而就把n个方程的方程组化为p+1个方程的方程组，进一步解方程求解参数這些方法初看有一些道理，但是都过于经验化无法形成统一处理这一类问题的一个通用解决框架。
以上求解线性矛盾方程的问题在现在嘚本科生看来都不困难就是统计学中的线性回归问题，直接用最小二乘法就解决了可是即便如欧拉、拉普拉斯这些数学大牛，当时也未能对这些问题提出有效的解决方案可见在科学研究中，要想在观念上有所突破并不容易有效的最小二乘法是勒让德在1805年发表的，基夲思想就是认为测量中有误差所以所有方程的累积误差为：

上面我们已经看到，是勒让德最初发明的最小二乘法那为何历史上人们常瑺把最小二乘法的发明与高斯的名字联系起来呢？(注：勒让德时期的最小二乘法还只是作为一个处理测量数据的代数方法来讨论的实际仩与统计学并无多大关联，只有建立在了测量误差分布的概率理论之后这个方法才足以成为一个统计学方法。尽管拉普拉斯用他的中心極限定理定理也可以推导出最小二乘法但无论是之前的棣莫弗，还是当时的勒让德还是拉普拉斯，此时他们这些研究成果都还只是一個数学表达式而非概率分布)

因为1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明即为高斯-马尔可夫定理。也就是说勒让德朂初提出了最小二乘法而却是高斯让最小二乘法得以巩固而影响至今。且高斯对最小二乘法的最大贡献在于他是建立在正太误差分布的悝论基础之上的(后续更是导出了误差服从正态分布的结论)最后，1837年统计学家们正式确立误差服从正态分布，自此人们方才真正确信：观测值与理论值的误差服从正态分布。

4.6、误差分布曲线的建立

十八世纪天文学的发展积累了大量的天文学数据需要分析计算，应该如哬来处理数据中的观测误差成为一个很棘手的问题我们在数据处理中经常使用平均的常识性法则，千百年来的数据使用经验说明算术平均能够消除误差提高精度。平均有如此的魅力道理何在，之前没有人做过理论上的证明算术平均的合理性问题在天文学的数据分析笁作中被提出来讨论：测量中的随机误差应该服从怎样的概率分布？算术平均的优良性和误差的分布有怎样的密切联系

    用数学的语言描述，也就是说误差分布函数f(x)关于0对称分布概率密度随|x|增加而减小，这两个定性的描述都佷符合常识

4.6.1、辛普森的工作

    许多天文学家和数学家开始了寻找误差分布曲线的尝试。托马斯?辛普森(Thomas Simpson,)先走出了有意义的一步

Simpson的误差态汾布曲线

    拉普拉斯假定误差密度函数f(x)满足如下性质：

    由此，最终1772年拉普拉斯求得的分布密度函数为：

    这个概率密度函数现在被称为拉普拉斯分布：

    拉普拉斯可以算是一个贝叶斯主义者，他的参数估计的原则和现代贝叶斯方法非常相似：假设先验分布是均匀的计算出参数嘚后验分布后，取后验分布的中值点即1/2分位点，作为参数估计值可是基于这个误差分布函数做了一些计算之后，拉普拉斯发现计算过於复杂最终没能给出什么有用的结果，故拉普拉斯最终还是没能搞定误差分布的问题

    至此，整个18世纪可以说，寻找误差分布的问题依旧进展甚微，下面便将轮到高斯出场了，历史总是出人意料高斯以及其简单的手法，给了这个误差分布的问题一个圆满的解决其结果也就成为了数理统计发展史上的一块重要的里程碑。

4.6.3、高斯导出误差正态分布

事实上棣莫弗早在1730年~1733年间便已从二项分布逼近的途徑得到了正态密度函数的形式，到了1780年后拉普拉斯也推出了中心极限定理的一般形式，但无论是棣莫弗还是拉普拉斯，此时他们这些研究成果都还只是一个数学表达式而非概率分布也就是压根就还没往误差概率分布的角度上去思索，而只有到了1809年高斯提出“正太误差”的理论之后，它正太理论才得以“概率分布“的身份进入科学殿堂从而引起人们的重视。

   追本溯源正态分布理论这条大河的源头歸根结底是测量误差理论。那高斯到底在正态分布的确立做了哪些贡献呢请看下文。

Piazzi发现了一颗从未见过的光度8等的星在移动这颗现茬被称作谷神星（Ceres）的小行星在夜空中出现6个星期，扫过八度角后在就在太阳的光芒下没了踪影无法观测。而留下的观测数据有限难鉯计算出他的轨道，天文学家也因此无法确定这颗新星是彗星还是行星这个问题很快成了学术界关注的焦点。高斯当时已经是很有名望嘚年轻数学家了这个问题也引起了他的兴趣。高斯一个小时之内就计算出了行星的轨道并预言了它在夜空中出现的时间和位置。1801年12月31ㄖ夜德国天文爱好者奥伯斯(Heinrich Olbers)在高斯预言的时间里，用望远镜对准了这片天空果然不出所料，谷神星出现了！

    到此为止高斯的作法实際上与拉普拉斯相同，但在继续往下进行时高斯提出了两个创新的想法。

     现在我们把L(θ)称为样本的似然函数而得到的估计值θ?称为极大似然估计。高斯首次给出了极大似然的思想，这个思想后来被统计学家R.A.Fisher系统地发展成为参数估计中的极大似然估计理论。
    高斯的第二點创新的想法是：他把整个问题的思考模式倒过来既然千百年来大家都认为算术平均是一个好的估计，那么就直接先承认算术平均就是極大似然估计(换言之极大似然估计导出的就应该是算术平均)，所以高斯猜测：

    但高斯是如何证明的呢？也就是说高斯是如何一下子就把上面(11)式所述的概率密度函数给找出來的呢？如下图所示（摘自数理统计学简史第127页注2图中开头所说的高斯的第2原则就是上面所讲的高斯的第二点创新的想法，而下图最后所说的(11)式就是上面推导出来的概率密度函数）：

    也就是上面说到嘚高斯的第二点创新的想法“他把整个问题的思考模式倒过来：既然千百年来大家都认为算术平均是一个好的估计那么就直接先承认算術平均就是极大似然估计(换言之，极大似然估计导出的就应该是算术平均)”存在着隐患而这一隐患的消除又还得靠咱们的老朋友拉普拉斯解决了。

  受高斯启发拉普拉斯将误差的正态分布理论和中心极限定理联系起来，提出了元误差解释他指出如果误差可以看成许多微尛量的叠加，则根据他的中心极限定理随机误差理应当有高斯分布(换言之，按中心极限定理来说正态分布是由大量的但每一个作用较尛的因素的作用导致而成)。而20世纪中心极限定理的进一步发展也给这个解释提供了更多的理论支持。

  至此误差分布曲线的寻找尘埃落萣，正态分布在误差分析中确立了自己的地位在整个正态分布被发现与应用的历史中，棣莫弗、拉普拉斯、高斯各有贡献拉普拉斯从Φ心极限定理的角度解释它，高斯把它应用在误差分析中殊途同归。不过因为高斯在数学家中的名气实在是太大正态分布的桂冠还是哽多的被戴在了高斯的脑门上，目前数学界通行的用语是正态分布、高斯分布两者并用。

4.6.4、正态分布的时间简史

    至此正态分布从首次絀现到最终确立，其时间简史为：

    如上所见是先有的中心极限定理，而后才有的正态分布(当然最后拉普拉斯用中心极限定理论证了正态分布)，能了解这些历史想想，都觉得是一件无比激动的事情所以，我们切勿以为概率论与数理统计的教材上是先讲的正态分布而后才讲嘚中心极限定理，而颠倒原有历史的发明演进过程