1. 单调类方法
1.1 单调类定理
如果 A 是代数，则由 A 生成的单调系 和由 A 生成的 代数相同，即
1.2 单调类方法
Motivation: A 上有一个命题 P 成立，验证 上该命题是否成立，验证的方法即为单调类方法。
步骤：
- 令 为所有在其中命题 P 成立的集合的集合，即
- 验证 A 是代数， 是单调系
- 由 ，则 ; 又 A 是代数，所以 , 则 , 故 P 在 上也成立.
示例：已知两个随机变量 独立时，对任意的
期望满足
求证随机变量的函数的期望满足
Proof
由类似 的区间 A 构成的集合系是代数，用 表示使得 成立的 Borel 的子集，可验证 为单调系，因此由单调性定理，在由 A 生成的 代数上都满足 , 而 就是 Borel 集，又任何一个随机变量 可写成两个随机变量 的线性组合（事件函数的逼近），因此有
同理，固定 , 可得
故
成立.
2. 条件期望的直观和定义
2.1 条件期望的直观
设概率空间 , 随机变量 平方可积， 代表全部信息，它的子事件域 代表部分信息.
期望是一种猜测/估计，代表实数空间到 的距离，而函数
在 时达到最小值.
从 Hilbert 空间的角度看待条件期望，我们已知一个 Hilbert 空间 , 关于部分信息 可测的平方可积随机变量全体 是 的闭子空间. 则条件期望就是空间 中距离 最近的那个随机变量，由 Hilbert 空间理论，因为子空间闭，所以存在唯一的随机变量 使得
即最小值点是唯一存在的，记为 (notation, 尚未定义)
给出更加容易计算的等价定义：在 Hilbert 空间理论中， 是子空间中里 最近的地方等价于说 是 在子空间上的正交投影，即 与子空间垂直（正交），即和子空间中所有向量正交，亦即对任何 有
因为子集
张成的线性空间在 稠密，所以正交性等价于对任何 有
记 为 ，理解为 在 A 上的积分.
2.2 条件期望的定义
设 是可积随机变量， 是子事件域， 关于 的条件期望是唯一的一个满足以下条件的随机变量 :
- 是关于 可测的
- 对任何 有
设 是 的可测分类，即它们互斥且
是 生成的事件域. 则 都是 的原子. 假设它们都是正概率的，否则可以把概率为0的事件扔掉.
由定义的第一条， 在原子 上时常数，设为 ，由定义的第二条，
则
推出
分子是 在 上的积分， 称为 在 上的平均.
因此，
（重期望公式）条件期望在每个原子上是常数，等于在原子上的局部平均，显然
即条件期望的期望就是期望.
3. 条件期望的性质
（性质一）条件期望 是线性算子，即
- 条件期望本质是线性映射，当然是线性算子
（性质二）
（性质三）如果 是 可测的，那么 . 因为投影算子在闭子空间自身上是恒等算子
（性质四）条件期望有保正性：如果 a.s. 则 a.s.
- 由条件期望的定义第二条：对任何
因此
（性质五）塔性（相容性）：如果 是两个子事件域，那么
- 第一个等号利用投影算子的性质，因为 是 的闭子空间， 在大的子空间上投影然后再投影到小的子空间上等于它直接投影到小的子空间上.
- 第二个等号从性质（3）推出， 是 可测的，所以第二个等号成立.
（性质六）如果 是 可测的随机变量，那么
使用定义证明：右边是 可测的，要证明右边是 关于 的条件期望，由定义，只需要证明对任何 , 有
等价于证明
而 是 可测的，即属于 , 所以与 垂直.
（性质七）如果 与 独立，那么 . 即 代表的信息对于预测 没有任何作用. 随机变量 与 指对任何 有
这蕴含着
由定义， 是条件期望.
4. Jensen 不等式
对于 R 上凸函数（convex） ：
数学期望本质上是加权平均，有：
对条件期望有：
Proof
凸函数在任何点 的切线肯定在函数一下，即
以上不等式对任何 恒成立，所以令 带入得
两边取条件期望推出 成立
另外两个常见的不等式：
5. 条件期望的计算
按计算期望的方式计算条件期望，求出条件概率密度.
设 是两个随机变量，用 表示条件期望 . 由定义的第一条要求可知，它关于 可测，这等价于它是 的函数，即 . 我们只需计算 的表达式即可.
设 是 2 维随机变量， 是它们的联合分布函数. 那么对任何 , 有：
左边使用 的分布函数表达，右边使用联合分布函数表达，即
如果 有密度函数 , 那么 有边缘密度 与 ，则上式可写为
如果密度函数性质足够好，比如满足分段连续，则两边对 求导得：
因此在密度为正的地方，也就是在 的值域范围内有
固定 时，函数
实际上是一个密度函数，称为是给定 的条件下 的密度，也称为条件密度函数，通常记为 ，函数 是条件密度的期望，形式上也用符号 表示，且
例：设 是二元正态分布的，其边缘分布都是标准正态分布，且相关系数是 . 计算 .
计算条件密度，有
这是正态分布 的密度函数，可推出
此外，对于联合正态分布随机变量，它们独立等价于它们不相关，显然 与 的协方差为零，是不相关的，也是独立的，由条件期望性质得
此方法只能用于正态，对于一般二维正态分布随机变量 它们的期望分别为 ，方差分别为 ，相关系数为 , 则
因为 与 可以相互表示，由性质得
Loading Comments...