上课材料之三：
第二节 分布函数(Distribution function)，数学期望(Expectation)
与方差(Variance)
本节主要介绍概率及其分布函数，数学期望，方差等方面的基础知识。
一、概率(Probability)
1、概率定义(Definition of Probability)
在自然界和人类社会中有着两类不同的现象，一类是决定性现象，其特征是在一定条件必然会发生的现象；另一类是随机现象，其特征是在基本条件不变的情况下，观察到或试验的结果会不同。换句话说，就个别的试验或观察而言，它会时而出现这种结果，时而出现那样结果，呈现出一种偶然情况，这种现象称为随机现象。
随机现象有其偶然性的一面，也有其必然性的一面，这种必然性表现为大量试验中随机事件出现的频率的稳定性，即一个随机事件出现的频率常在某了固定的常数附近变动，这种规律性我们称之为统计规律性。
频率的稳定性说明随机事件发生可能性大小是随机事件本身固定的，不随人们意志而改变的一种客观属性，因此可以对它进行度量。
对于一个随机事件A ，用一个数P （A ）来表示该事件发生的可能性大小，这个数P （A ）就称为随机事件A 的概率，因此，概率度量了随机事件发生的可能性的大小。
对于随机现象，光知道它可能出现什么结果，价值不大，而指出各种结果出现的可能性的大小则具有很大的意义。有了概率的概念，就使我们能对随机现象进行定量研究，由此建立了一个新的数学分支——概率论。
概率的定义
定义在事件域F 上的一个集合函数P 称为概率，如果它满足如下三个条件：
（i ）P （A ）≥0，对一切∈A F
（ii ）P （Ω）=1；
（iii ）若∈i A ，i=1,2…，且两两互不相容，则
∑∑∞
=∞==⎪⎭⎫ ⎝⎛1
1)(i i i i A P A P 性质（iii ）称为可列可加性（conformable addition ）或完全可加性。
推论1：对任何事件A 有)(1)(A P A P -=；
推论2：不可能事件的概率为0，即0)(=φP ；
推论3：)()()()(AB P B P A P B A P -+=⋃。
2、条件概率(Conditional Probability)
如果P （B ）＞0，记)
()()/(B P AB P B A P =
，称P （A|B ）为在事件B 发生的条件下事件A 发生的条件概率。
转化后有：)/()()/()()(B A P B P A B P A P AB P ⋅=⋅=如果（P （A ）＞0），称为概率的乘法原理。
推广后的乘法原理： )|()|()/()()(12121312121-⋅⋅=n n n A A A A P A A A P A A P A P A A A P
其中)(121-n A A A P ＞0。
3、全概率公式与贝叶斯（Bayes ）公式
设事件A 1，A 2，…，A n ……是样本空间Ω的一个分割，即A i A j =φ，i ≠j ，而且：Ω=∑∞=1i i A
。
从而∑∞
==1
i i B A B ，这里A i B 也两两互不相容。 则∑∑∞=∞
=⋅==11)|()()()(i i i
i i A B P A P B A P B P 。 这个公式称为全概率公式。
由于
)|()()|()()(i i i i A B P A P B A P B P B A P ==
故
)
()|()()|(B P A B P A P B A P i i i =
再利用全概率公式即得 ∑∞==1)|()()
|()()|(i i
i i i i A B P A P A B P A P B A P
这个公式称为贝叶斯公式。
贝叶斯公式在概率论和数理统计中有着多方面的应用，假定A 1，A 2，…是导致试验结果的“原因”，P （A i ）称为先验概率，它反映了各种“原因”发生的可能性大小，一般是以往经验的总结，在这次试验前已经知道，现在若试验产生了事件B ，这个信息将有助于探讨事件发生的“原因”，条件概率P （A i |B ）称为后验概率，它反映了试验之后对各种“原因”发生的可能性大小的新知识。
4、事件(Random event)独立性(Independence)
1）两个事件的独立性
定义 对事件A 及B ，若
P （AB ）=P （A ）P （B ）
则称它们是统计独立的，简称独立的。
推论1 若事件独立，且P （B ）＞0，则
P （A |B ）=P （A ）
[证明]由条件概率定义
)()
()()()()()|(A P B P B P A P B P AB P B A P === 因此，若事件A ，B 相互独立，由A 关于B 的条件概率等于无条件概率P （A ），这表示B 的发生对于事件A 是否发生没有提供任何消息，独立性就是把这种关系从数学上加以严格定义。
推论2 若事件A 与B 独立，则下列各对事件也相互独立：
[证明] 由于 )()()()(AB P B P AB B P B A P -=-=
)](1)[()()()(A P B P B P A P B P -=-= )()(B P A P = 所以A 与B 相互独立，由它立刻推出A 与B 相互独立，由A A =又推出A ，B 相互独立。
}
,{},,{},,{B A B A B A
2）多个事件的独立性
定义 对n 个事件A 1，A 2，…，A n ，若对于所有可能的组合1≤i ＜j ＜…≤n 成立着
⎪⎪
⎭
⎪⎪⎬⎫===)()()()()()()()()()()(2121n n k j i k j i j i j i A P A P A P A A A P A P A P A P A A A P A P A P A A P 则称A 1，A 2，…A n 相互独立。
这里第一行有
()n 2个式子，第二行有()n 3个式子，等等，因此共应满足 ()+n
2()n 3()12
--=++n n n n
个等式。 二、随机变量(Random Variable)和概率分布函数(Probability Distribution Function)
1、随机变量(Random Variable)
如果A 为某个随机事件，则一定可以通过如下示性函数使它与数值发生联系：
⎩⎨⎧=不发生
如果发生如果A A I A ,0,1 这样试验的结果就能有一个数X 来表示，这个数是随着试验的结果的不同而变化，也即它是样本点的一个函数，这种量以后称为随机变量，随机变量可分为离散型随机变量和连续型随机变量。
2、概率分布函数（p.d.f=probability density function ）
称F （x ）=P{X ＜x}，∞-＜x ＜∞为随机变量X 的分布函数cdf ，对于连续型随机变量，存在可能函数f
(x)，使
⎰∞=x
dX x f x F )()(，f （x ）称为随机变量的（分布）密度函数（density function ）。 3、随机向量（Random Vector ）及其分布
在有些随机现象中，每次试验的结果不能只用一个数来描述，而要同时用几个数来描述。试验的结果将是一个向量（Χ1，Χ2，…Χn ），称n 维随机向量。
随机向量的联合分布函数也有离散型与连续型的分别，在离散型场合，概率分布集中在有限或可列个点上，多项分布，就是一个例子；在连续型场合，存在着非负函数f (x 1,x 2,…x n )，使
⎰⎰∞-∞-=1111),,(),,(x x n n n n dy dy y y f x x F
这里的f (x 1，…，x n )称为密度函数，满足如下两个条件
),,(1n x x f ≥0
⎰⎰∞
∞-∞∞-=1),,(11n n dx dx x x f
一般地，若(ξ,η)是二维随机向量，其分布函数为F(x,y)，我们能由F(x,y)得出ξ或η的分布函数，事实上，
ξ{)(1P x F =＜ξ{}P x =＜η,x ＜),(}+∞=∞x F
同理
η{)(2P y F =＜),(}y F y +∞=
F 1(x )及F 2(y )称为F (x ,y )的边际分布函数（Marginal Distribution Function ）。
[例] 若F (x ,y )是连续型分布函数，有密度函数f (x ,y )，那么
⎰⎰∞-∞∞-=x
dudy y u f x F ),()(1
因此F 1(x )是连续型分布函数，其密度函数为
⎰∞
∞-=dy y x f x f ),()(1
同理F 2(x )是连续型分布函数，其密度函数为
⎰∞
∞-=dx y x f y f ),()(2
f 1(x )及f 2(y )的边际分布密度函数。
[二元正态分布] 函数
⎪⎭
⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡-+----⋅---=222212122221)())((2)()1(21ex p 121
),(σσσσσπσb y b y a x r a x r r y x f 这里a,b,21,σσ，r 为常数，1σ＞0，2σ＞0，|r|＜1，称为二元正态分布密度函数。
定理：二元正态分布的边际分布仍为正态分布。
条件分布(Conditional Distribution)
离散型：若已知ξ=x i ，（p1(x i )＞0）则事件{η=y i }的条件概率为
)()
,(}{}
,{}|{1i j i i j i i j x p y x P x P y x P x y P =======ξηξξη
这式子定义了随机变量η关于随机变量ξ的条件分布。
