第 06a 章 联合分布、独立性与和的分布
本章对应 Ross 第 6 章的 6.1–6.3 节;6.4–6.8 节(条件分布、次序统计量、变换、可交换性)放在第 06b 章。到目前为止我们一次只看一个随机变量,但量化里几乎所有问题都涉及多个变量:多只资产的收益、买单与卖单的数量、多日收益的累积。本章介绍如何描述多个随机变量的联合行为,什么叫它们相互独立,以及独立随机变量之和的分布——卷积。
学习目标
- 掌握联合 CDF、联合 PMF、联合密度与边缘分布,会用矩形概率公式。
- 掌握多项分布及其合并性质。
- 理解随机变量独立的定义及其等价形式,会用因子分解判据判断独立性,注意支撑集必须是乘积形。
- 掌握泊松分拆:泊松总数按概率分类后,各类计数是独立的泊松变量。
- 会用卷积公式求独立随机变量之和的分布;掌握正态、伽马、泊松、二项的可加性,以及卡方分布与伽马分布的关系。
- 能把这些结论用于订单流拆分、多期收益聚合和多日风险的数值计算。
读前导读
这一章在解决什么问题。 量化问题几乎都涉及多个随机变量:两只股票的收益、买单与卖单数、连续多天的收益。CFA 里你处理过它们的"二阶信息":协方差、相关系数、组合方差 \(w_1^2\sigma_1^2+w_2^2\sigma_2^2+2w_1w_2\rho\sigma_1\sigma_2\);也见过两只资产收益的联合概率表。本章讨论的是比协方差更完整的东西——联合分布,以及多个变量之和的整个分布,而不仅是均值和方差。
比 CFA 深在三处。第一,连续变量的联合分布用二重积分描述:\(P\{(X,Y)\in C\}=\iint_Cf(x,y)\,dx\,dy\),概率是曲面下的体积;边缘分布是把另一个变量"积分掉"。第二,独立被精确定义为"联合分布等于边缘分布的乘积",它比"相关系数为 0"强得多:独立一定不相关,不相关不一定独立。第三,独立变量之和的分布由卷积积分给出。CFA 告诉你"独立正态之和是正态,方差相加",本章会推出来,并告诉你哪些分布也有这种"可加性"(泊松、伽马、二项),以及非正态(厚尾)的日收益聚合成多日收益时尾部如何变化。
和量化的联系:两只资产"同时大跌"的概率需要联合分布,只有边缘分布和相关系数不够,这是 copula 和尾部相依的出发点;泊松分拆让买、卖订单流可以分别建模;对数收益可加加上正态可加性,给出了"均值按 \(T\)、波动按 \(\sqrt T\) 缩放"的规则。
需要先想起来的数学。
- 二重积分与积分区域。 \(\iint_Cf(x,y)\,dx\,dy\) 可以化成两次一元积分:先固定 \(y\) 对 \(x\) 积分,再对 \(y\) 积分。难点是写对上下限:先画出区域 \(C\),再问"\(y\) 固定时 \(x\) 从哪到哪"。例:区域 \(\{0<x<y<1\}\),可写成 \(\int_0^1\int_0^y\cdots dx\,dy\),也可写成 \(\int_0^1\int_x^1\cdots dy\,dx\)。见 第 00 册第 05 章 多元微积分与优化。
- 偏导数。 \(\frac{\partial}{\partial a}F(a,b)\) 表示把 \(b\) 当常数、只对 \(a\) 求导。联合密度 \(f=\frac{\partial^2F}{\partial a\,\partial b}\) 就是对两个变量各求一次偏导。例:\(F(a,b)=ab\)(\(0<a,b<1\)),\(\partial^2F/\partial a\partial b=1\),即单位正方形上的均匀分布。
- 配方。 \(ax^2+bx=a(x+\frac b{2a})^2-\frac{b^2}{4a}\)。正态之和的证明和很多正态积分都靠它把指数整理成"一个正态密度 × 常数"。
- 二项式定理与 Gamma 函数。 泊松可加性的最后一步用 \((\lambda_1+\lambda_2)^n=\sum_k\binom nk\lambda_1^k\lambda_2^{n-k}\);Gamma 函数 \(\Gamma(\alpha)=\int_0^\infty e^{-y}y^{\alpha-1}dy\) 见第 05 章 5.6 节。积分技巧见 第 00 册第 03 章 积分。
怎么读这一章。 6.1 的联合密度与边缘密度、6.2 的独立定义与因子分解判据(注意支撑集)、泊松分拆(例 2b)、6.3 的卷积公式与正态可加性、例 3d(对数收益可加)是核心。卡方分布要知道它是 Gamma(\(n/2,1/2\))、是标准正态平方和。第一次可以跳过:例 1d、1e、例 2d(Buffon 投针)、例 2e(正态刻画)、例 2g(顺序抽样算法)、例 2i、例 2j,以及均匀和 \(E[N]=e\) 的推导。
6.1 联合分布函数
联合 CDF 与边缘分布
两个随机变量 \(X,Y\) 的**联合累积分布函数(joint CDF)**为
由概率的连续性,**边缘分布(marginal distribution)**可以从联合 CDF 得到:\(F_X(a)=\lim_{b\to\infty}F(a,b)=F(a,\infty)\),\(F_Y(b)=F(\infty,b)\)。
原则上,一切关于 \((X,Y)\) 的概率都可以由 \(F\) 求出。例如用补集和容斥,
更一般的矩形概率为
推导拆解:在平面上画图。\(F(a,b)\) 是点 \((a,b)\) 左下方整个"象限"的概率。
- \(F(a_2,b_2)\):左下象限到 \((a_2,b_2)\),包含目标矩形,但也包含矩形左边的条带和下边的条带。
- 减去 \(F(a_1,b_2)\)(左边条带及其下方)和 \(F(a_2,b_1)\)(下边条带及其左方)。
- 两块都包含 \((a_1,b_1)\) 左下的那块象限,被减了两次,所以加回一次 \(F(a_1,b_1)\)。 这就是第 02 章容斥恒等式的二维版本。(1.1) 是 \(a_2=b_2=\infty\) 的特例,因为 \(F(\infty,\infty)=1\)、\(F(a,\infty)=F_X(a)\)。
(1.1) 在风险管理里有直接含义:两只资产同时大涨的概率 \(P\{X>a,Y>b\}\),需要联合分布 \(F(a,b)\) 才能算,只知道两个边缘分布是不够的。这就是 copula 建模要解决的问题。
离散情形:联合 PMF
联合 PMF \(p(x,y)=P\{X=x,Y=y\}\),边缘 PMF 为 \(p_X(x)=\sum_yp(x,y)\),\(p_Y(y)=\sum_xp(x,y)\)。
例 1a 从 3 红 4 白 5 蓝共 12 个球中取 3 个,\(X\) 为红球数、\(Y\) 为白球数,\(p(i,j)=\binom3i\binom4j\binom5{3-i-j}\big/\binom{12}3\)。原书表 6.1(分母 220):
| \(i\backslash j\) | 0 | 1 | 2 | 3 | 行和 \(P\{X=i\}\) |
|---|---|---|---|---|---|
| 0 | 10 | 40 | 30 | 4 | 84 |
| 1 | 30 | 60 | 18 | 0 | 108 |
| 2 | 15 | 12 | 0 | 0 | 27 |
| 3 | 1 | 0 | 0 | 0 | 1 |
| 列和 \(P\{Y=j\}\) | 56 | 112 | 48 | 4 | 220 |
行和给出 \(X\) 的 PMF、列和给出 \(Y\) 的 PMF,因为写在表的边缘,所以叫边缘 PMF。
例 1b 家庭有 0/1/2/3 个孩子的概率为 .15/.20/.35/.30,每个孩子独立地以 1/2 为男孩。男孩数 \(B\)、女孩数 \(G\) 的联合 PMF 可由"先对孩子总数取条件"得到,例如 \(P\{B=0,G=0\}=.15\),\(P\{B=0,G=1\}=.20\times\frac12=.10\),\(P\{B=0,G=2\}=.35\times\frac14=.0875\),\(P\{B=1,G=1\}=.35\times\frac12=.175\)。边缘 \(P\{B=i\}\) 为 .375、.3875、.2、.0375。
连续情形:联合密度
若存在 \(f(x,y)\),使得对平面上任意集合 \(C\),
则称 \(X,Y\) 联合连续,\(f\) 为联合概率密度(joint PDF)。于是 \(f(a,b)=\frac{\partial^2}{\partial a\,\partial b}F(a,b)\),\(P\{a<X<a+da,\ b<Y<b+db\}\approx f(a,b)\,da\,db\)。边缘密度为
白话解释:联合密度 \(f(x,y)\) 是平面上的一座"山",山下某块区域的体积就是 \((X,Y)\) 落在该区域的概率,总体积为 1。边缘密度 \(f_X(x)\) 是在 \(X=x\) 处沿 \(y\) 方向把山切一刀,截面的面积。这与离散情形把联合概率表的一行加起来(例 1a 的行和)完全对应:\(\sum_y\) 换成了 \(\int dy\)。 方向只能从联合到边缘,反过来不行。CFA 里给出两只资产各自的均值、方差和一个相关系数,等于只给了两个边缘分布和一个"线性相关"的摘要,同样的这些数可以对应很多不同的联合分布,"同时暴跌"的概率可能相差数倍。 例 1c \(f(x,y)=2e^{-x}e^{-2y}\)(\(x,y>0\))。(a) \(P\{X>1,Y<1\}=e^{-1}(1-e^{-2})\);(b) \(P\{X<Y\}=\int_0^\infty2e^{-2y}(1-e^{-y})dy=1-\frac23=\frac13\);(c) \(P\{X<a\}=1-e^{-a}\)。
推导拆解(b):区域是 \(\{(x,y):0<x<y\}\)。外层对 \(y\) 从 0 到 \(\infty\),固定 \(y\) 后 \(x\) 从 0 到 \(y\):
\[\int_0^\infty\Big(\int_0^y2e^{-x}e^{-2y}dx\Big)dy=\int_0^\infty2e^{-2y}\big[1-e^{-y}\big]dy.\]内层:\(e^{-2y}\) 对 \(x\) 是常数,提出来;\(\int_0^ye^{-x}dx=1-e^{-y}\)。外层拆成两项:\(\int_0^\infty2e^{-2y}dy=1\),\(\int_0^\infty2e^{-3y}dy=\frac23\)。相减得 \(\frac13\)。 换个角度检验:\(X\sim\)Exp(1)、\(Y\sim\)Exp(2) 独立,"\(X\) 先发生"的概率是速率之比 \(\frac{1}{1+2}\),与第 03 章"\(E\) 先于 \(F\)"的公式同一结构。
例 1d(圆内均匀点) 点在半径为 \(R\) 的圆内均匀分布,\(f=1/(\pi R^2)\)。\(X\) 的边缘密度为 \(f_X(x)=\frac{2}{\pi R^2}\sqrt{R^2-x^2}\)(\(|x|\le R\)),不是均匀的。到原点的距离 \(D\) 满足 \(F_D(a)=a^2/R^2\),\(f_D(a)=2a/R^2\),\(E[D]=2R/3\)。
例 1e(比值的分布) \(f(x,y)=e^{-(x+y)}\)(\(x,y>0\)),则 \(F_{X/Y}(a)=\int_0^\infty(1-e^{-ay})e^{-y}dy=1-\frac1{a+1}\),\(f_{X/Y}(a)=\frac1{(a+1)^2}\)。
\(n\) 个变量时类似:\(F(a_1,\dots,a_n)=P\{X_1\le a_1,\dots,X_n\le a_n\}\),联合密度在 \(n\) 维集合上积分。
多项分布
例 1f(多项分布,multinomial distribution) \(n\) 次独立同分布试验,每次结果是 \(r\) 类之一,概率分别为 \(p_1,\dots,p_r\)。记 \(X_i\) 为第 \(i\) 类出现的次数,则
每个特定序列的概率是 \(\prod p_i^{n_i}\),这样的序列数就是第 01 章的多项式系数。\(r=2\) 时就是二项分布。合并性质:任意一组类别 \(N\) 的计数之和 \(\sum_{i\in N}X_i\sim\mathrm{Bin}(n,\sum_{i\in N}p_i)\);把类别分组合并后仍是多项分布(原书自测题 6.4)。
例:公平骰子掷 9 次,1 出现 3 次、2 和 3 各 2 次、4 和 5 各 1 次、6 不出现的概率为 \(\frac{9!}{3!\,2!\,2!\,1!\,1!\,0!}(1/6)^9\)。
量化联系:把每天的收益划分为"大跌/小跌/小涨/大涨"四类,\(n\) 天中各类天数就服从多项分布(若各天独立同分布)。
6.2 独立随机变量
定义与等价形式
定义 若对任意实数集 \(A,B\),
则称 \(X,Y\) 独立(independent),否则称为相依(dependent)。直观上,知道一个变量的值不改变另一个的分布。
等价形式:
- 对一切 \(a,b\),\(F(a,b)=F_X(a)F_Y(b)\);
- 离散时 \(p(x,y)=p_X(x)p_Y(y)\) 对一切 \(x,y\) 成立(2.2);
- 连续时 \(f(x,y)=f_X(x)f_Y(y)\) 对一切 \(x,y\) 成立。
\(n\) 个变量独立指对所有 \(A_i\),\(P\{X_i\in A_i,\ \forall i\}=\prod P\{X_i\in A_i\}\);无穷多个变量独立指任意有限子族独立。
例 2a \(n+m\) 次独立试验,前 \(n\) 次的成功数 \(X\) 与后 \(m\) 次的成功数 \(Y\) 独立;但 \(X\) 与总成功数 \(Z=X+Y\) 相依。
泊松分拆
例 2b(泊松分拆 / 稀疏化) 一天中到达邮局的人数服从 Poisson(\(\lambda\)),每人独立地以概率 \(p\) 为男性。男性人数 \(X\) 与女性人数 \(Y\) 的联合分布是什么?对 \(X+Y\) 取条件:
联合 PMF 分解成两个泊松 PMF 的乘积,所以 \(X\) 与 \(Y\) 是相互独立的 Poisson(\(\lambda p\)) 与 Poisson(\(\lambda(1-p)\))。
推导拆解:
- 第一个等号:\(\{X=i,Y=j\}=\{X=i,\ X+Y=i+j\}\),用乘法法则 \(P\{X+Y=i+j\}\cdot P\{X=i\mid X+Y=i+j\}\)。给定总人数 \(i+j\),男性人数是 \(\mathrm{Bin}(i+j,p)\)。
- 第二个等号:\(\binom{i+j}{i}=\frac{(i+j)!}{i!\,j!}\),其中 \((i+j)!\) 与泊松项的分母约掉,剩 \(\frac1{i!\,j!}\)。\(\lambda^{i+j}=\lambda^i\lambda^j\),把 \(p^i\) 配给 \(\lambda^i\)、\((1-p)^j\) 配给 \(\lambda^j\)。\(e^{-\lambda}=e^{-\lambda p}e^{-\lambda(1-p)}\)。整理后两部分各只含 \(i\) 或只含 \(j\)。
- 联合 PMF 可分解,由后面的命题 2.1,\(X,Y\) 独立,并且每个因子正好是一个完整的泊松 PMF,所以边缘分布也读出来了。
这个结论有点反直觉:如果总人数固定,男女人数必然此消彼长、负相关;正因为总数本身是泊松随机的,两类计数反而独立。推广到多类(原书理论练习 6.2):每个事件独立地以概率 \(p_i\) 归入第 \(i\) 类,则各类计数是独立的 Poisson(\(\lambda p_i\))。
更多例子
例 2c(约会) 两人独立地在 \(U(0,60)\) 分钟内到达,先到者等待超过 10 分钟的概率为 \(2P\{X+10<Y\}=\frac{2}{60^2}\int_{10}^{60}(y-10)dy=\frac{25}{36}\)。
例 2d(Buffon 投针) 平行线间距 \(D\),针长 \(L\le D\)。针中点到最近直线的距离 \(X\sim U(0,D/2)\),针与垂线的夹角 \(\theta\sim U(0,\pi/2)\),二者独立。针与直线相交当且仅当 \(X<\frac L2\cos\theta\):
这是最古老的几何概率问题,也是最早的"用随机试验估计 \(\pi\)"的蒙特卡洛方法。
例 2e(正态分布的一个刻画,选读) 射击脱靶的水平、垂直偏差 \(X,Y\) 满足:(1) 独立且密度可微;(2) 联合密度只依赖于 \(x^2+y^2\)(旋转不变)。则 \(f_X(x)f_Y(y)=g(x^2+y^2)\)。对 \(x\) 求导再除以原式,得 \(\frac{f_X'(x)}{2xf_X(x)}=\frac{g'(x^2+y^2)}{g(x^2+y^2)}\),左边只依赖 \(x\)、右边依赖 \(x^2+y^2\),所以只能是常数 \(c\)。于是 \(f_X(x)=ke^{cx^2/2}\),可积性要求 \(c<0\),记 \(c=-1/\sigma^2\):独立 + 旋转不变 ⇒ 同方差、零均值的独立正态(Herschel–Maxwell 刻画)。
因子分解判据
命题 2.1 连续(离散)随机变量 \(X,Y\) 独立,当且仅当联合密度(PMF)可以写成
证明:设 \(C_1=\int h\),\(C_2=\int g\),由 \(\iint f=1\) 得 \(C_1C_2=1\);边缘 \(f_X=C_2h\),\(f_Y=C_1g\),所以 \(f=hg=f_Xf_Y\)。
例 2f \(f(x,y)=6e^{-2x}e^{-3y}\)(\(x,y>0\))可以分解,\(X,Y\) 独立,分别是速率 2 和 3 的指数分布。\(f(x,y)=24xy\)(\(0<x,y<1\),\(x+y<1\))不独立:虽然函数形式像乘积,但支撑集是三角形,\(f=24xy\,I\{x+y<1\}\) 无法分解。
常见误区:只看函数形式而忽略支撑集。注意"对一切 \(x,y\)"包括支撑集之外。
白话解释:支撑集(support)指密度大于 0 的区域。如果它不是"矩形"(乘积形 \(A\times B\)),那么知道 \(X\) 的值就会改变 \(Y\) 能取的范围,二者不可能独立。例 2f 的三角形里,若 \(X=0.9\),\(Y\) 只能落在 \((0,0.1)\);若 \(X=0.1\),\(Y\) 可以落在 \((0,0.9)\)。金融中的对应:股票当日收盘价 \(S\) 与当日最高价 \(M\) 必须满足 \(S\le M\),支撑集是三角形,所以它们必然相依,不论密度在区域内长什么样。
例 2g(计算机如何随机选子集) 要从 \(\{1,\dots,n\}\) 中等可能地选一个 \(k\) 元子集。生成独立的 \(U_1,\dots,U_n\sim U(0,1)\),令
即每一步以"剩余名额 / 剩余候选数"的概率选入。对 \(k+n\) 归纳可证每个 \(k\) 元子集被选中的概率都是 \(1/\binom nk\)。这个顺序抽样算法只需 \(O(n)\) 时间和极少内存,适合从很长的股票列表或交易记录中做流式随机抽样。
例 2h \(X,Y,Z\) 独立 \(U(0,1)\),\(P\{X\ge YZ\}=\int_0^1\int_0^1(1-yz)dy\,dz=\int_0^1(1-z/2)dz=3/4\)。
例 2i(半衰期:均值预测与分布预测) 放射性衰变的确定性定律 \(N(t)=2^{-t/h}N(0)\) 暗示每个原子核独立、寿命无记忆,因此寿命为指数分布,中位数为 \(h\):\(P\{L<t\}=1-2^{-t/h}\)。理论预测质子半衰期 \(h=10^{30}\) 年,若跟踪 \(10^{30}\) 个质子 \(c\) 年,确定性模型预测衰变约 \(c\log2\approx0.6931c\) 个,2 年约 1.39 个。但概率模型下衰变数近似 Poisson(\(c\log2\)),2 年内一个都不衰变的概率为 \(2^{-2}=1/4\)。所以观测到 0 次衰变并不能否定理论。**教训:只看均值预测会误判;要看完整的分布。**回测中"期望收益为正,但这一年亏了"也不能直接否定策略。
例 2j(反向判断独立性) 判断 \(X\) 是否独立于 \(Y\) 不直观时,可以反过来问 \(Y\) 是否独立于 \(X\)。(1) 掷骰子游戏中首掷为 4 之后,反复掷直到出现 4 或 7:所需次数 \(N\) 与终值是 4 还是 7 独立——"知道用了 \(n\) 次,是否改变终值为 4 的概率?"显然不改变。(2) 记录值:i.i.d. 连续序列中,若 \(X_n\) 大于之前所有值,称它为记录;\(A_n\)="第 \(n\) 个是记录",\(P(A_n)=1/n\),而且 \(A_n\) 与 \(A_{n+1}\) 独立。
此外,由链式法则,要证明 \(X_1,\dots,X_n\) 独立,只需依次证明 \(X_2\) 独立于 \(X_1\),\(X_3\) 独立于 \((X_1,X_2)\),……,\(X_n\) 独立于 \((X_1,\dots,X_{n-1})\)。
6.3 独立随机变量之和
卷积公式
\(X,Y\) 独立连续,则
称为 \(F_X\) 与 \(F_Y\) 的卷积(convolution)。求导得密度的卷积:
推导拆解:
- 第二个等号:独立意味着联合密度 \(f(x,y)=f_X(x)f_Y(y)\),对区域 \(\{x+y\le a\}\) 积分。
- 第三个等号:写成先 \(x\) 后 \(y\) 的累次积分。固定 \(y\),条件 \(x+y\le a\) 即 \(x\le a-y\),内层 \(\int_{-\infty}^{a-y}f_X(x)dx=F_X(a-y)\)。
- (3.2):对 \(a\) 求导,\(a\) 只出现在 \(F_X(a-y)\) 里,导数是 \(f_X(a-y)\)(链式法则,内层导数为 1),可以移进积分号内。 直观读法:这就是"连续版的全概率公式"。先对 \(Y\) 取条件:已知 \(Y=y\),要 \(X+Y=a\) 就需要 \(X=a-y\),"概率密度"为 \(f_X(a-y)\);再按 \(Y\) 的密度 \(f_Y(y)\) 对所有 \(y\) 加权求和(积分)。离散版是 \(P\{X+Y=n\}=\sum_kP\{X=n-k\}P\{Y=k\}\),例 3e 用的就是它。
均匀变量之和
例 3a \(X,Y\sim U(0,1)\) 独立:
推导拆解:代入 (3.2),\(f_Y(y)=1\) 当 \(0<y<1\),\(f_X(a-y)=1\) 当 \(0<a-y<1\) 即 \(a-1<y<a\)。被积函数是 1 当且仅当 \(y\) 同时满足两个条件,所以 \(f_{X+Y}(a)\) 等于区间 \((0,1)\) 与 \((a-1,a)\) 重叠部分的长度。\(0\le a\le1\) 时重叠为 \((0,a)\),长度 \(a\);\(1<a<2\) 时重叠为 \((a-1,1)\),长度 \(2-a\)。卷积计算的难点几乎总在这里:写对被积函数非零的范围,必要时分段。 \(n\) 个独立 \(U(0,1)\) 之和满足 \(F_n(x)=P\{X_1+\cdots+X_n\le x\}=x^n/n!\)(\(0\le x\le1\)),可由 \(F_n(x)=\int_0^xF_{n-1}(x-y)dy\) 归纳得到。应用:令 \(N=\min\{n:X_1+\cdots+X_n>1\}\),则 \(P\{N>n\}=F_n(1)=1/n!\),\(P\{N=n\}=\frac{n-1}{n!}\),
平均需要 \(e\) 个均匀随机数,它们的和才超过 1。
伽马变量与卡方分布
命题 3.1 \(X\sim\) Gamma(\(s,\lambda\))、\(Y\sim\) Gamma(\(t,\lambda\)) 独立,则 \(X+Y\sim\) Gamma(\(s+t,\lambda\))。即同一 \(\lambda\) 下伽马分布对卷积封闭。证明:在卷积积分中代换 \(x=y/a\),得 \(f_{X+Y}(a)=Ce^{-\lambda a}a^{s+t-1}\),常数由归一化确定。
例 3b \(n\) 个独立 Exp(\(\lambda\)) 之和服从 Gamma(\(n,\lambda\))(指数分布就是 Gamma(1,\(\lambda\))),与第 05 章泊松过程第 \(n\) 个事件时刻的结论一致。
卡方分布 设 \(Z_1,\dots,Z_n\) 是独立标准正态,\(Y=\sum_{i=1}^nZ_i^2\) 称为自由度为 \(n\) 的卡方(chi-squared)分布。\(n=1\) 时由第 05 章例 7b,
卡方分布在统计推断中极其重要:样本方差、拟合优度检验、因子模型的残差平方和都和它有关(第 03 册)。
正态变量
命题 3.2 若 \(X_i\sim N(\mu_i,\sigma_i^2)\),\(i=1,\dots,n\) 相互独立,则
证明思路:先设 \(X\sim N(0,\sigma^2)\)、\(Y\sim N(0,1)\),令 \(c=\frac{1+\sigma^2}{2\sigma^2}\),对卷积被积函数中关于 \(y\) 的指数配方,积分后得 \(f_{X+Y}(a)=C\exp\{-a^2/2(1+\sigma^2)\}\),即 \(N(0,1+\sigma^2)\)。一般两个变量可经平移缩放化为这种情形,再对 \(n\) 归纳。
**独立正态之和仍为正态,均值相加、方差相加。**注意差 \(X-Y\) 的方差也是 \(\sigma_X^2+\sigma_Y^2\),而不是相减。
例 3c(篮球赛季) 44 场比赛,26 场对 A 类球队(胜率 .4)、18 场对 B 类(胜率 .7),各场独立。\(E[X_A]=10.4\),\(\mathrm{Var}(X_A)=6.24\);\(E[X_B]=12.6\),\(\mathrm{Var}(X_B)=3.78\)。用正态近似和命题 3.2,\(X_A+X_B\approx N(23,10.02)\),
例 3d(周价格模型:对数收益可加) 设每周价格比 \(S(n)/S(n-1)\) 独立同分布,服从对数正态,对数收益 \(\sim N(.0165,.0730^2)\)。
(a) 一周上涨的概率:\(P\{Z>-.0165/.0730\}=P\{Z<.2260\}=.5894\);连续两周都上涨:\(.5894^2=.3474\)。
(b) 两周后价格高于今天:两周对数收益之和 \(\sim N(.0330,2\times.0730^2)\),概率为 \(P\{Z<\frac{.0330}{.0730\sqrt2}=.31965\}=.6254\)。
对数收益可以按时间相加,而且独立正态之和仍是正态,这是对数正态价格模型最大的计算便利。由此还得到"\(T\) 期收益的均值 \(\propto T\)、标准差 \(\propto\sqrt T\)"的缩放规律。
金融直觉:CFA 里年化波动率 \(=\sigma_{日}\sqrt{250}\)、10 日 VaR \(=\sqrt{10}\,\times\) 1 日 VaR,依据就是这里:独立同分布的 \(T\) 个对数收益相加,方差是 \(T\sigma^2\)。两个前提要记住。其一,"方差相加"只需要独立(甚至只需要不相关),但"和仍是正态"需要每一项是正态;厚尾日收益的多日和不再精确服从某个简单分布,见"量化实战"第 3 部分。其二,若收益存在自相关(动量或均值回复),方差不再是 \(T\sigma^2\),\(\sqrt T\) 规则会高估或低估长期风险。还要分清:可加的是对数收益,简单收益 \(S_n/S_{n-1}-1\) 按时间是相乘关系,不能直接相加。
泊松与二项
例 3e 独立的 Poisson(\(\lambda_1\))、Poisson(\(\lambda_2\)) 之和:
例 3f 独立的 \(\mathrm{Bin}(n,p)\) 与 \(\mathrm{Bin}(m,p)\) 之和是 \(\mathrm{Bin}(n+m,p)\)——直接由试验解释可得,解析验证用 Vandermonde 恒等式 \(\binom{n+m}k=\sum_i\binom ni\binom m{k-i}\)。注意两个 \(p\) 必须相同。
| 独立变量之和 | 结果 |
|---|---|
| \(N(\mu_1,\sigma_1^2)+N(\mu_2,\sigma_2^2)\) | \(N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)\) |
| \(\mathrm{Gamma}(s,\lambda)+\mathrm{Gamma}(t,\lambda)\) | \(\mathrm{Gamma}(s+t,\lambda)\) |
| \(n\) 个 \(\mathrm{Exp}(\lambda)\) | \(\mathrm{Gamma}(n,\lambda)\) |
| \(n\) 个 \(Z_i^2\) | \(\chi^2_n=\mathrm{Gamma}(n/2,1/2)\) |
| \(\mathrm{Poisson}(\lambda_1)+\mathrm{Poisson}(\lambda_2)\) | \(\mathrm{Poisson}(\lambda_1+\lambda_2)\) |
| \(\mathrm{Bin}(n,p)+\mathrm{Bin}(m,p)\) | \(\mathrm{Bin}(n+m,p)\) |
| \(U(0,1)+U(0,1)\) | 三角分布 |
量化实战
1. 订单流的泊松分拆
若单位时间内的总订单数服从 Poisson(\(\lambda\)),每笔独立地以概率 \(p\) 为买单,那么买单数与卖单数是独立的泊松变量。这让很多做市模型(第 07 册)可以分别对买、卖两侧的到达建模。反过来,如果在一个固定笔数的样本里统计买卖比例,两侧计数必然完全负相关——同一份数据,条件不同,结论截然相反。
2. 多期收益聚合
例 3d 给出了从周收益推出多周上涨概率的方法。下面用模拟核对书中数字。
3. 用卷积公式数值计算多日风险
日收益不是正态时(例如 Laplace),多日收益没有简单的闭式分布,但卷积公式 (3.2) 可以在网格上用 np.convolve 直接数值计算。下面把日标准差 2% 的 Laplace 日收益卷积 4 次得到 5 日收益的密度,与模拟和正态近似比较。
import numpy as np
from scipy import stats
rng = np.random.default_rng(6)
# ---------- 1) 泊松分拆:总订单数随机时,买单数与卖单数独立 ----------
lam, p, T = 50, 0.6, 200_000
total = rng.poisson(lam, T)
buys = rng.binomial(total, p)
sells = total - buys
print(f"总数 ~ Poisson({lam}): 买单均值={buys.mean():.2f} 方差={buys.var():.2f} "
f"(理论 {lam*p:.0f}/{lam*p:.0f}), corr(买,卖)={np.corrcoef(buys, sells)[0,1]:+.4f}")
fixed_buys = rng.binomial(lam, p, T) # 若总数固定为 50
print(f"总数固定为 {lam}: corr(买,卖)={np.corrcoef(fixed_buys, lam - fixed_buys)[0,1]:+.4f}")
# ---------- 2) 对数收益可加:原书例 3d 的周价格模型 ----------
mu, sig = 0.0165, 0.0730
p1 = stats.norm.sf(0, mu, sig) # 一周上涨
p2 = stats.norm.sf(0, 2 * mu, sig * np.sqrt(2)) # 两周后高于今天
logret = rng.normal(mu, sig, size=(500_000, 2))
print(f"\n一周上涨: 公式 {p1:.4f} 模拟 {np.mean(logret[:,0] > 0):.4f}")
print(f"连续两周都涨: 公式 {p1**2:.4f} 模拟 {np.mean((logret > 0).all(1)):.4f}")
print(f"两周后高于今天: 公式 {p2:.4f} 模拟 {np.mean(logret.sum(1) > 0):.4f}")
# ---------- 3) 卷积公式的数值实现:日收益 Laplace,求 5 日收益的密度 ----------
dx = 0.0005
x = np.arange(-0.4, 0.4 + dx, dx)
b = 0.02 / np.sqrt(2) # 日标准差 2%
f1 = stats.laplace.pdf(x, scale=b)
f = f1.copy()
for _ in range(4): # f_{X+Y}(a) = ∫ f_X(a-y) f_Y(y) dy
f = np.convolve(f, f1, mode="same") * dx
sims = rng.laplace(scale=b, size=(400_000, 5)).sum(1)
def kurt_from_pdf(x, f):
m2 = np.sum(x**2 * f) * dx
return np.sum(x**4 * f) * dx / m2**2 - 3
print(f"\n5 日收益: 数值卷积 SD={np.sqrt(np.sum(x**2*f)*dx):.4f} (理论 {0.02*np.sqrt(5):.4f}), "
f"超额峰度={kurt_from_pdf(x, f):.3f} (日收益为 {kurt_from_pdf(x, f1):.3f}, 理论 3/5={3/5:.3f})")
for q in (0.01, 0.05):
cdf = np.cumsum(f) * dx
print(f" {q:.0%} 分位数: 卷积 {x[np.searchsorted(cdf, q)]:+.4f} 模拟 {np.quantile(sims, q):+.4f} "
f"正态近似 {stats.norm.ppf(q, scale=0.02*np.sqrt(5)):+.4f}")
关键输出:
总数 ~ Poisson(50): 买单均值=30.00 方差=30.05 (理论 30/30), corr(买,卖)=+0.0026
总数固定为 50: corr(买,卖)=-1.0000
一周上涨: 公式 0.5894 模拟 0.5891
连续两周都涨: 公式 0.3474 模拟 0.3471
两周后高于今天: 公式 0.6254 模拟 0.6257
5 日收益: 数值卷积 SD=0.0447 (理论 0.0447), 超额峰度=0.598 (日收益为 3.000, 理论 3/5=0.600)
1% 分位数: 卷积 -0.1095 模拟 -0.1097 正态近似 -0.1040
5% 分位数: 卷积 -0.0735 模拟 -0.0732 正态近似 -0.0736
读法:
- 泊松总数下买卖计数的相关系数约为 0,买单数的均值和方差都约等于 \(\lambda p=30\),正是 Poisson(30)。
- 例 3d 的三个数字 .5894、.3474、.6254 都被模拟精确复现。
- 数值卷积得到的 5 日标准差为 \(0.02\sqrt5\),与"方差相加"一致。超额峰度从日收益的 3 降到 0.6(独立同分布 \(n\) 项之和的超额峰度是单项的 \(1/n\),这是补充结论,可由第 07c 章的矩母函数与累积量推出),说明多日收益比日收益更接近正态——这是中心极限定理的预演。但 1% 分位数处正态近似仍低估了约 5% 的尾部损失:聚合会减轻但不会消除厚尾。
本章小结
联合 CDF、联合 PMF、联合密度完整描述了多个随机变量的联合行为,边缘分布由对其他变量求和或积分得到,但反过来,边缘分布一般不能确定联合分布。独立的定义是联合分布等于边缘分布的乘积,判断时可用因子分解判据,但必须注意支撑集是否为乘积形。泊松分拆说明:随机总数的泊松流按概率分类后,各类计数相互独立。独立随机变量之和的分布由卷积给出;正态、同 \(\lambda\) 伽马、泊松、同 \(p\) 二项都对求和封闭,卡方分布是伽马分布的特例。对数收益可加且独立正态之和仍为正态,这让多期收益计算变得简单。
| 概念 | 公式 |
|---|---|
| 边缘分布 | \(F_X(a)=F(a,\infty)\);\(p_X(x)=\sum_yp(x,y)\);\(f_X(x)=\int f(x,y)dy\) |
| 矩形概率 | \(P\{a_1<X\le a_2,b_1<Y\le b_2\}=F(a_2,b_2)+F(a_1,b_1)-F(a_1,b_2)-F(a_2,b_1)\) |
| 多项分布 | \(\frac{n!}{n_1!\cdots n_r!}p_1^{n_1}\cdots p_r^{n_r}\) |
| 独立 | \(F(a,b)=F_X(a)F_Y(b)\);\(f(x,y)=f_X(x)f_Y(y)\) |
| 因子分解判据 | \(f(x,y)=h(x)g(y)\) 对一切 \(x,y\)(含支撑集) |
| 泊松分拆 | Poisson(\(\lambda\)) 按 \(p\) 分类 → 独立的 Poisson(\(\lambda p\))、Poisson(\(\lambda(1-p)\)) |
| 卷积 | \(f_{X+Y}(a)=\int f_X(a-y)f_Y(y)dy\) |
| 均匀和 | \(P\{U_1+\cdots+U_n\le x\}=x^n/n!\)(\(x\le1\));\(E[N]=e\) |
| 卡方 | \(\chi^2_n=\sum Z_i^2=\mathrm{Gamma}(n/2,1/2)\) |
| 正态和 | \(\sum X_i\sim N(\sum\mu_i,\sum\sigma_i^2)\) |
| Buffon 投针 | \(P=2L/(\pi D)\) |
练习
基础
- \(X,Y\) 的联合 PMF 为 \(p(0,0)=.4,\ p(0,1)=.2,\ p(1,0)=.1,\ p(1,1)=.3\)。求边缘分布,并判断是否独立。 答案:\(p_X(0)=.6,p_X(1)=.4\);\(p_Y(0)=.5,p_Y(1)=.5\);\(p(0,0)=.4\ne.3\),不独立。
- \(f(x,y)=e^{-(x+y)}\)(\(x,y>0\)),求 \(P\{X<Y\}\) 与 \(P\{X+Y<1\}\)。 答案:对称性得 1/2;\(X+Y\sim\) Gamma(2,1),\(P=1-2e^{-1}\approx0.264\)。
- 判断 \(f(x,y)=8xy\)(\(0<x<y<1\))中 \(X,Y\) 是否独立。 答案:不独立,支撑集 \(\{0<x<y<1\}\) 不是乘积形。
- 两只股票的日收益独立,分别为 \(N(0.001,0.02^2)\) 与 \(N(0.0005,0.015^2)\)。求等权组合日收益的分布,以及组合单日下跌超过 2% 的概率。 答案:\(\frac12(X+Y)\sim N(0.00075,\ \frac14(0.0004+0.000225))=N(0.00075,0.0125^2)\);\(P=\Phi(-1.66)\approx0.048\)。
- 某交易所的订单按速率每秒 20 笔的泊松过程到达,每笔独立地以 0.1 的概率是大单。求 1 分钟内大单数的分布,以及"1 分钟内大单数"和"小单数"的相关系数。 答案:Poisson(120);相关系数 0(泊松分拆)。
进阶
- 证明:若 \(X,Y\) 独立且 \(Y\) 为离散变量,则 \(P\{X+Y\le a\}=\sum_yF_X(a-y)p_Y(y)\)。并据此写出"连续日收益 + 离散跳跃"的 CDF。 提示:对 \(Y\) 取条件,用全概率公式。
- 用卷积公式直接证明两个独立 Exp(\(\lambda\)) 之和的密度为 \(\lambda^2ae^{-\lambda a}\)。 提示:\(\int_0^a\lambda e^{-\lambda(a-y)}\lambda e^{-\lambda y}dy\)。
- 设某资产的对数日收益独立同分布于 \(N(0.0004,0.015^2)\)。求 20 个交易日后价格高于今天的概率,以及 20 日对数收益的 99% VaR。 答案:20 日对数收益 \(\sim N(0.008,0.015^2\times20)\),标准差 \(\approx0.0671\);\(P=\Phi(0.008/0.0671)=\Phi(0.119)\approx0.547\);VaR \(\approx2.326\times0.0671-0.008\approx0.148\)。
- 在 \(n\) 个独立 \(U(0,1)\) 随机数中,\(N\) 是部分和首次超过 1 的下标。用模拟估计 \(E[N]\),并解释为什么它等于 \(e\)。 提示:\(E[N]=\sum_{n\ge0}P\{N>n\}=\sum_{n\ge0}1/n!=e\)(用第 04a 章的尾和公式)。
- 一个组合由 3 个独立策略组成,日收益分别为 \(N(0.0003,0.01^2)\)、\(N(0.0002,0.008^2)\)、\(N(0.0004,0.012^2)\),权重 \(0.5,0.3,0.2\)。求组合日收益的分布及年化(250 日)夏普比率。 答案:均值 \(0.00029\),方差 \(0.25(10^{-4})+0.09(0.64\times10^{-4})+0.04(1.44\times10^{-4})=0.3652\times10^{-4}\),标准差 \(\approx0.00604\);年化夏普 \(\approx0.00029/0.00604\times\sqrt{250}\approx0.76\)。
原书推荐习题:Problems 6.16(\(n\) 点同在半圆)、6.27(指数比值、\(P\{X_1<X_2\}\))、6.29–6.32(正态和与差的应用)、6.33–6.34(泊松可加性);Theoretical Exercises 6.2(多类泊松分拆)、6.3–6.4(Buffon 投针估计 \(\pi\))、6.6(相依变量和的密度)、6.7(伽马缩放);Self-Test 6.4(多项分布合并)。
原书对照
| 本章小节 | 原书章节 | PDF 页码 | 书内页码 |
|---|---|---|---|
| 6.1 联合分布函数 | 6.1 Joint Distribution Functions | p.233–241 | p.220–228 |
| 6.2 独立随机变量 | 6.2 Independent Random Variables | p.241–252 | p.228–239 |
| 6.3 独立随机变量之和 | 6.3 Sums of Independent Random Variables(6.3.1–6.3.4) | p.252–260 | p.239–247 |
| 小结与习题 | Summary, Problems, Theoretical Exercises, Self-Test | p.283–292 | p.270–279 |
(书内页码 = PDF 页码 − 13。)