元信息:《Matrix Analysis》(2nd ed., Cambridge University Press, 2013),Roger A. Horn & Charles R. Johnson;本笔记负责 PDF 第 223–333 页(对应原书印刷页码 203–313;PDF 页码 = 印刷页码 + 20)。
第 3 章 相似标准形与三角分解(Canonical forms for similarity and triangular factorizations)——(接上一块)
3.4 实 Jordan 标准形与 Weyr 标准形(The real Jordan and Weyr canonical forms)(接上一块,PDF p.223–235)
3.4.1 实 Jordan 标准形的若干推论(收尾部分,PDF p.223)
Corollary 3.4.1.8. 若 \(A=\begin{bmatrix}B&C\\0&0\end{bmatrix}\in M_n\),且 \(B\in M_m\) 相似于某个实矩阵,则 \(A\) 相似于实矩阵。
证明要点:取非奇异 \(S\in M_m\) 使 \(SBS^{-1}=R\) 为实矩阵,则 \(\mathcal A=(S\oplus I_{n-m})A(S\oplus I_{n-m})^{-1}=\begin{bmatrix}R&\star\\0&0\end{bmatrix}\)。对 \(\lambda\neq 0\),
Corollary 3.4.1.9. 对任意 \(A\in M_n\),\(A\bar A\) 相似于 \(\bar AA\),且相似于某个实矩阵。
证明要点:Theorem 3.2.11.1 保证 \(AB\) 与 \(BA\) 的非奇异 Jordan 结构相同,故 \(A\bar A\) 与 \(\bar AA\) 的非奇异部分相同;又矩阵与其共轭秩相同,\(\operatorname{rank}(A\bar A)^k=\operatorname{rank}\overline{(A\bar A)^k}=\operatorname{rank}(\bar AA)^k\),所以幂零 Jordan 结构也相同,二者相似。因 \(\bar AA=\overline{A\bar A}\),由 (3.4.1.7) 知 \(A\bar A\) 相似于实矩阵。(这一结论是后文"共轭相似 consimilarity"(4.6 节) 的基础:\(A\bar A\) 的负实特征值的 Jordan 块成对出现等。)
实对角化的类比:复方阵总可经复相似化为上三角矩阵 \(T\)(Schur, 2.3.1),可对角化时化为对角矩阵。实方阵 \(A\) 可经实相似化为实上拟三角矩阵(quasitriangular,形如 (2.3.5),\(2\times2\) 对角块为 (2.3.5a) 型,即与 (3.4.1.3) 相同的 \(C(a,b)=\begin{bmatrix}a&b\\-b&a\end{bmatrix}\))。
Corollary 3.4.1.10. 设 \(A\in M_n(\mathbf R)\) 可对角化,实特征值为 \(\mu_1,\dots,\mu_q\),非实特征值为 \(a_1\pm ib_1,\dots,a_\ell\pm ib_\ell\)(\(b_j>0\))。则 \(A\) 经实相似相似于
直观:实矩阵可对角化(在 \(\mathbf C\) 上)时,实意义下的"最简形"是 \(1\times1\) 实块与 \(2\times2\) 旋转-伸缩块 \(\begin{bmatrix}a&b\\-b&a\end{bmatrix}\) 的直和——这正是实系数线性动力系统 \(x_{t+1}=Ax_t\) 中振荡模态的标准表示。
3.4.2 Weyr 标准形(The Weyr canonical form)(PDF p.223–231)
背景:Weyr 特征(Weyr characteristic, 3.1.16)在 Jordan 形唯一性的讨论中起关键作用;它也可以定义一种相似标准形,并在"与之可交换的矩阵结构"方面优于 Jordan 形。回忆:\(w_k(A,\lambda)=\operatorname{rank}(A-\lambda I)^{k-1}-\operatorname{rank}(A-\lambda I)^k\),即"阶数 \(\ge k\) 的 \(\lambda\)-Jordan 块个数"。
定义(Weyr 块,Weyr block). 给定 \(\lambda\in\mathbf C\)、正整数 \(q\ge1\) 及非增正整数列 \(w_1\ge\cdots\ge w_q\ge1\),\(w=(w_1,\dots,w_q)\)。Weyr 块 \(W(w,\lambda)\) 是 \(q\times q\) 分块上三角块双对角矩阵
可把 Weyr 块看成 Jordan 块的"分块版本":对角块是阶数非增的纯量矩阵 \(\lambda I\),超对角块是列满秩块 \(\begin{bmatrix}I\\0\end{bmatrix}\),尺寸由对角块决定。
Weyr 块的秩计算:
- 阶数为 \(w_1+\cdots+w_q\);\(\operatorname{rank}(W(w,\lambda)-\lambda I)=w_2+\cdots+w_q\)。
- 关键恒等式:\(G_{w_{k-1},w_k}G_{w_k,w_{k+1}}=G_{w_{k-1},w_{k+1}}\),即 \(\begin{bmatrix}I_{w_k}\\0\end{bmatrix}\begin{bmatrix}I_{w_{k+1}}\\0\end{bmatrix}=\begin{bmatrix}I_{w_{k+1}}\\0\end{bmatrix}\)。
- 因而 \((W-\lambda I)^2\) 的非零块是 \(G_{w_1,w_3},\dots,G_{w_{q-2},w_q}\) 落在第二条块超对角线上,\(\operatorname{rank}(W-\lambda I)^2=w_3+\cdots+w_q\)。一般地,每升一次幂,非零块整体上移一条块对角线:\(\operatorname{rank}(W(w,\lambda)-\lambda I)^p=w_{p+1}+\cdots+w_q\)。
- 所以 \(\operatorname{rank}(W-\lambda I)^{p-1}-\operatorname{rank}(W-\lambda I)^p=w_p\),\(p=1,\dots,q\):\(W(w,\lambda)\) 关于 \(\lambda\) 的 Weyr 特征恰为 \(w\)。对角块个数 \(q\) 等于 \(\lambda\) 的指数(index,最大 Jordan 块阶数)。
Weyr 矩阵(Weyr matrix):特征值两两不同的 Weyr 块的直和。
矩阵的 Weyr 块:对 \(A\in M_n\) 及其特征值 \(\lambda\)(指数为 \(q\)),令 \(w_k=w_k(A,\lambda)\),定义 \(W_A(\lambda)=W(w(A,\lambda),\lambda)\)。其阶数等于 \(\lambda\) 的代数重数。
例 (3.4.2.2):(3.1.16a) 中 Jordan 矩阵 \(J\in M_{13}\)(特征值 0,Jordan 块为 \(J_3(0)\) 两个、\(J_2(0)\) 三个、\(J_1(0)\) 一个),\(w_1=6,w_2=5,w_3=2\),
Theorem 3.4.2.3(Weyr 标准形定理). 设 \(A\in M_n\),\(\lambda_1,\dots,\lambda_d\) 为其按任意给定次序排列的互异特征值。存在非奇异 \(S\in M_n\) 及 Weyr 块 \(W_1,\dots,W_d\)(形如 (3.4.2.1)),使 (a) \(W_j\) 的唯一特征值为 \(\lambda_j\);(b) \(A=S(W_1\oplus\cdots\oplus W_d)S^{-1}\)。在给定特征值排序下,该 Weyr 矩阵由 \(A\) 唯一确定:\(W_j=W_A(\lambda_j)\),即
证明要点:\(W_A\) 与 \(A\) 对每个特征值都有相同的 Weyr 特征;Lemma 3.1.18 说明 Weyr 特征决定 Jordan 形,所以二者相似于同一 Jordan 形,从而相似。两个 Weyr 矩阵相似则特征值与 Weyr 特征都相同,故含相同的 Weyr 块(仅排列不同)。实情形由 (1.3.29)(实矩阵复相似则实相似)得到。
术语:\(W_A=W_A(\lambda_1)\oplus\cdots\oplus W_A(\lambda_d)\) 称为 \(A\) 的 Weyr 标准形(Weyr canonical form)。Weyr 形与 Jordan 形 \(J_A\) 包含相同信息但呈现方式不同:Weyr 形直接显示 Weyr 特征,Jordan 形直接显示 Segre 特征(各 Jordan 块阶数)。用点图(dot diagram, 3.1.P11)可以互相转换;而且 \(W_A\) 与 \(J_A\) 置换相似(permutation similar,见 3.4.P8)。
例:\(J=J_3(\lambda)\oplus J_2(\lambda)\),\(w(J,\lambda)=(2,2,1)\),
若干练习结论(书中以 Exercise 形式给出):
- 若 \(A\) 非减次(nonderogatory,每个特征值只有一个 Jordan 块),则 \(w_1(A,\lambda_i)=\cdots=w_{p_i}(A,\lambda_i)=1\),Weyr 形即 Jordan 形;反之 \(w_1(A,\lambda_i)=1\) 对所有 \(i\) 成立则 \(A\) 非减次。
- 若 \(A\) 可对角化,则 \(w_2(A,\lambda_i)=0\),\(W_A(\lambda_i)=\lambda_iI_{w_1}\),Weyr 形即 Jordan 形;\(w_2(A,\lambda_i)=0\) 时 \(w_1\)(总是等于几何重数)也等于代数重数;全部 \(w_2=0\) 则可对角化。
- 每个特征值至多有 \(p\) 个 Jordan 块 \(\iff\) 所有 \(w_1(A,\lambda_i)\le p\) \(\iff\) 每个 Weyr 块的每个对角块至多 \(p\times p\)。
可交换矩阵的结构差异(核心动机):由 3.2.4,与单个 Jordan 块 \(J_k(\lambda)\) 可交换的矩阵恰为上三角 Toeplitz 矩阵;因此与非减次 Jordan 矩阵可交换的矩阵是(与 \(J\) 共形的)上三角 Toeplitz 矩阵的直和,特别地是上三角的。但对减次(derogatory)矩阵,Jordan 形与 Weyr 形不同,与它们可交换的矩阵结构差别很大。例:\(J=J_2(\lambda)\oplus J_2(\lambda)\),\(W_J=\begin{bmatrix}\lambda I_2&I_2\\0_2&\lambda I_2\end{bmatrix}\);\(A\) 与 \(J\) 可交换 \(\iff A=\begin{bmatrix}B&C\\D&E\end{bmatrix}\),\(B,C,D,E\in M_2\) 均为上三角 Toeplitz(未必上三角!);而 \(A\) 与 \(W_J\) 可交换 \(\iff A=\begin{bmatrix}B&C\\0&B\end{bmatrix}\),分块上三角。
Lemma 3.4.2.4. 设 \(\lambda\in\mathbf C\),\(n_1\ge n_2\ge\cdots\ge n_k\ge1\)。考虑同样分块的上三角矩阵
证明要点:把 \(A=[A_{ij}]\) 共形分块,按特定顺序比较 \(AF=F'A\) 的块。块位置 \((k,1)\) 已知后,看 \((k-1,1)\):\(\lambda A_{k-1,1}=\lambda A_{k-1,1}+F'_{k-1,k}A_{k1}\),得 \(F'_{k-1,k}A_{k1}=0\),列满秩推出 \(A_{k1}=0\)。再看 \((k-2,1)\):\(F'_{k-2,k-1}A_{k-1,1}=0\Rightarrow A_{k-1,1}=0\)。沿第一块列自下而上得 \(A_{i1}=0\)(\(i=k,\dots,2\));再对第二块列从 \((k-1,2)\) 起同样推,……从左到右、从下到上,得 \(A\) 分块上三角。正规且分块三角则由 (2.5.2) 推出分块对角。
Theorem 3.4.2.5(Belitskii). 设 \(A\in M_n\),互异特征值 \(\lambda_1,\dots,\lambda_d\)(任意给定次序),\(S\) 非奇异使 \(A=S(W_A(\lambda_1)\oplus\cdots\oplus W_A(\lambda_d))S^{-1}\)。若 \(B\in M_n\) 满足 \(AB=BA\),则 (1) \(S^{-1}BS=B^{(1)}\oplus\cdots\oplus B^{(d)}\) 与 \(W_A(\lambda_1)\oplus\cdots\oplus W_A(\lambda_d)\) 共形分块对角;(2) 每个 \(B^{(\ell)}\) 与 \(W_A(\lambda_\ell)\) 的分块 (3.4.2.1) 共形分块上三角。
证明:(1) 由基本结果 (2.4.4.2)(与特征值互异的分块对角矩阵可交换的矩阵分块对角);(2) 由 Lemma 3.4.2.4(Weyr 块超对角块 \(G\) 列满秩)。
标准分划(standard partition)与可交换矩阵的块恒等式(PDF p.228–230):以 (3.4.2.2) 的 \(W_J\) 为例。令 \(m_k=w_k-w_{k+1}\) = 阶数恰为 \(k\) 的 Jordan 块个数:\(m_3=2,m_2=3,m_1=1\),\(w_1=m_3+m_2+m_1=6\),\(w_2=m_3+m_2=5\),\(w_3=m_3=2\)。把 \(W_J\) 重新分划,对角块尺寸依次为 \(m_3,m_2,m_1;\ m_3,m_2;\ m_3\) 即 \(2,3,1;2,3;2\)。这称为标准分划:使每个对角块为纯量方阵、每个非对角块为单位阵(方)或零矩阵(不必方)的最粗分划。此时
练习示例:\(J\in M_{4n_1+2n_2}\) 为 \(n_1\) 个 \(J_4(\lambda)\) 与 \(n_2\) 个 \(J_2(\lambda)\) 的直和:\(w(J,\lambda)=(n_1+n_2,n_1+n_2,n_1,n_1)\);标准分划块大小为 \(n_2,n_1;n_2,n_1;n_1;n_1\)(去掉 \(m_k=0\) 的块);并给出 \(W_J(\lambda)\) 及与之可交换的 \(N\) 的块模式(同样满足 (3.4.2.8) 型等式)。
进一步化简为上三角(PDF p.229–230):取酉矩阵与上三角矩阵使 \(B=U_3\Delta_3U_3^*\)、\(F=U_2\Delta_2U_2^*\)、\(G=U_1\Delta_1U_1^*\)(Schur 分解),令 \(U=U_3\oplus U_2\oplus U_1\oplus U_3\oplus U_2\oplus U_3\),则 \(N'=U^*NU\) 上三角,块形如 (3.4.2.9)(对角块 \(\Delta_3,\Delta_2,\Delta_1,\Delta_3,\Delta_2,\Delta_3\),\(C'=U_3^*CU_2\) 等),块间等式保持;并且 \(U^*W_JU=W_J\)(因 \(W_J\) 的对角块是纯量、非对角块是单位或零)。
重要结论:设 \(A\in M_{13}\) 有 Jordan 形 (3.1.16a),\(\mathcal F=\{A,B_1,B_2,\dots\}\) 是可交换族,\(S^{-1}AS=W_A\)。则 \(S^{-1}\mathcal FS\) 仍可交换,每个 \(S^{-1}B_iS\) 具有 (3.4.2.7) 形;标准分划中第 \(j\) 个对角块(\(j=1,\dots,6\))构成可交换族,可由同一酉矩阵 \(U_j\) 同时上三角化 (2.3.3);由于位置 (1,1),(4,4),(6,6) 的对角块被约束为相同,可取 \(U_1=U_4=U_6\),同理 \(U_2=U_5\)。令 \(U=U_1\oplus\cdots\oplus U_6\),则每个 \(U^*(S^{-1}B_iS)U\) 上三角并具形 (3.4.2.9),而 \(U^*S^{-1}ASU=W_A\)。即:存在可交换族的同时相似,把 \(A\) 化为 Weyr 标准形、同时把每个 \(B_i\) 化为上三角形。
Theorem 3.4.2.10. 设 \(A\in M_n\) 的互异特征值为 \(\lambda_1,\dots,\lambda_d\)(任意给定次序),指数分别为 \(q_1,\dots,q_d\),代数重数为 \(p_1,\dots,p_d\);\(w(A,\lambda_i)=(w_1(A,\lambda_i),\dots,w_{q_i}(A,\lambda_i))\),\(W_A=W_A(\lambda_1)\oplus\cdots\oplus W_A(\lambda_d)\) (3.4.2.11) 为 Weyr 标准形,\(A=SW_AS^{-1}\)。
- (a)(Belitskii)若 \(B\) 与 \(A\) 可交换,则 \(S^{-1}BS=B^{(1)}\oplus\cdots\oplus B^{(d)}\) 与 \(W_A\) 共形分块对角;把 \(B^{(\ell)}=[B^{(\ell)}_{ij}]_{i,j=1}^{q_\ell}\in M_{p_\ell}\) 按 \(B^{(\ell)}_{jj}\in M_{w_j(A,\lambda_\ell)}\) 分块,则 \(B^{(\ell)}\) 分块上三角,且第 \(k\) 条块超对角线上的块满足
\[B^{(\ell)}_{j-k-1,\,j-1}=\begin{bmatrix}B^{(\ell)}_{j-k,\,j}&\star\\0&\star\end{bmatrix},\quad k=0,1,\dots,q_\ell-1;\ j=q_\ell,q_\ell-1,\dots,k+1.\quad(3.4.2.12)\]
- (b)(O'Meara–Vinsonhaler)设 \(\mathcal F=\{A,A_1,A_2,\dots\}\subset M_n\) 为可交换族,则存在非奇异 \(T\) 使 \(T^{-1}\mathcal FT=\{W_A,T^{-1}A_1T,\dots\}\) 是上三角族;每个 \(T^{-1}A_iT\) 与 (3.4.2.11) 共形分块对角,其对应 \(W_A(\lambda_\ell)\) 的对角块按 \(w_1(A,\lambda_\ell),\dots,w_{q_\ell}(A,\lambda_\ell)\) 分块后,第 \(k\) 条块超对角线的块满足 (3.4.2.12) 型恒等式。
(证明:沿上述 \(M_{13}\) 例子的思路推广即可。3.4.P7 说明把"Weyr"换成"Jordan"时 (b) 一般不成立。)
3.4.3 酉 Weyr 形(The unitary Weyr form)(PDF p.231–233)
Theorem 3.4.3.1(Littlewood). 设 \(A\in M_n\) 互异特征值 \(\lambda_1,\dots,\lambda_d\)(任意次序),指数 \(q_1,\dots,q_d\),\(q=q_1+\cdots+q_d\)。则 \(A\) 酉相似于上三角矩阵
证明要点:\(A=SW_AS^{-1}\),对 \(S\) 作 QR 分解 \(S=QR\)(\(Q\) 酉,\(R\) 上三角正对角元,2.1.14),则 \(A=Q(RW_AR^{-1})Q^*\)。\(RW_AR^{-1}\) 上三角,对角块为 \(R_{jj}W(A,\lambda_j)R_{jj}^{-1}\),只需考察 \(TW(A,\lambda)T^{-1}\)(\(T\) 上三角正对角元)。按 \(W(A,\lambda)\) 分块 \(T=[T_{ij}]\)、\(T^{-1}=[T^{ij}]\),对角块为 \(T_{ii}\lambda I_{w_i}T^{ii}=\lambda I_{w_i}\)(因 \(T^{ii}=T_{ii}^{-1}\),0.9.10);超对角块为 \(T_{ii}G_{i,i+1}T^{i+1,i+1}+\lambda(T_{ii}T^{i,i+1}+T_{i,i+1}T^{i+1,i+1})=T_{ii}G_{i,i+1}T^{i+1,i+1}\)(括号内是 \(TT^{-1}=I\) 的 \((i,i+1)\) 块,为 0)。把 \(T_{ii}=\begin{bmatrix}C&\star\\0&D\end{bmatrix}\)(\(C\in M_{w_{i+1}}\) 上三角正对角),得
Corollary 3.4.3.3(幂等矩阵的酉标准形). 设 \(A\in M_n\) 为投影(projection,幂等)\(A^2=A\),奇异值 \(\sigma_1\ge\cdots\ge\sigma_g>1\ge\sigma_{g+1}\ge\cdots\ge\sigma_r>0=\sigma_{r+1}=\cdots\),\(r=\operatorname{rank}A\),\(g\) 为大于 1 的奇异值个数。则 \(A\) 酉相似于
3.4 习题(Problems,PDF p.233–235)概括
- 3.4.P1:\(A\in M_n(\mathbf R)\),\(A^2=-I_n\),则 \(n\) 为偶数,且存在实非奇异 \(S\) 使 \(S^{-1}AS=\begin{bmatrix}0&-I_{n/2}\\I_{n/2}&0\end{bmatrix}\)(复结构的标准形)。
- 3.4.P2–P4:中心化子(centralizer)\(\mathcal C(A)=\{B:AB=BA\}\)。P2 说明它是代数;P3 对 (3.1.16a) 的 \(J\) 用 (3.4.2.7) 证 \(\dim\mathcal C(J)=65=6^2+5^2+2^2\);P4 一般地 \(\dim\mathcal C(A)=\sum_{j}\sum_{i=1}^{q_j}w_i(A,\lambda_j)^2\ge n\),等号当且仅当 \(A\) 非减次;又已知 \(\dim\mathcal C(A)=\sum_j\sum_{i=1}^{w_1}(2i-1)s_i(A,\lambda_j)\)(\(s_i\) 为 Segre 特征),解释两式相等。
- 3.4.P5:\(A^2=0\),\(r=\operatorname{rank}A\),正奇异值 \(\sigma_1\ge\cdots\ge\sigma_r\),则 \(A\) 酉相似于 \(\bigoplus_{i}\begin{bmatrix}0&\sigma_i\\0&0\end{bmatrix}\oplus 0_{n-2r}\);两个自零化矩阵酉相似 \(\iff\) 奇异值相同。
- 3.4.P6:\(A\in M_2(\mathbf R)\) 相似于 \(\begin{bmatrix}1&1\\-1&1\end{bmatrix}\) 当且仅当 \(A=\begin{bmatrix}1+\alpha&(1+\alpha^2)/\beta\\-\beta&1-\alpha\end{bmatrix}\)(\(\beta\ne0\))。
- 3.4.P7:反例 \(J=J_2(0)\oplus J_2(0)\),\(A=\begin{bmatrix}0&I_2\\J_2(0)&0\end{bmatrix}\) 与 \(J\) 可交换,但不存在同时相似使 \(J\) 保持 Jordan 形且 \(A\) 化为上三角(推导出 \(s_{31}=s_{11}=0\) 与 \(S\) 非奇异矛盾)。说明 3.4.2.10(b) 中"Weyr"不能换成"Jordan"。
- 3.4.P8:用标准 Young 表(Young tableau)构造 Weyr 形与 Jordan 形之间的置换相似:例 \(J=J_3(0)\oplus J_2(0)\),\(w=(2,2,1)\),点图逐行标号 1–5,再逐列读出得 \(\sigma=(1,3,5,2,4)\),\(P=[e_1\,e_3\,e_5\,e_2\,e_4]\),\(J=P^TWP\)。
- 3.4.P9:Weyr 形与 Jordan 形一样,在相似类中非零非对角元个数最少。
- 3.4.P10:Jordan 矩阵 \(J\) 的 Weyr 形为 \(J\) 本身 \(\iff\) 每个特征值要么只有一个 Jordan 块,要么所有块都是 \(1\times1\)。
- 3.4.P11:Weyr 形与 Jordan 形相同 \(\iff\) \(A\) 非减次或可对角化,或 \(A\) 相似于 \(B\oplus C\)(\(B\) 非减次、\(C\) 可对角化、无公共特征值)。
Notes:Weyr 于 1885 年提出(C. R. Acad. Sci. Paris,经 Hermite 推荐),1890 年详述;Shapiro (1999) 及 Clark–O'Meara–Vinsonhaler (2011) 给出不依赖 Jordan 形的现代推导;Belitskii 重新发现 Weyr 形(标准分划),动机是找到"与之可交换的矩阵都分块上三角"的相似标准形;O'Meara–Vinsonhaler (2006) 得到 3.4.2.10(b);Theorem 3.4.3.1 源自 Littlewood (1953)。
3.5 三角分解与标准形(Triangular factorizations and canonical forms)(PDF p.236–243)
动机:若 \(Ax=b\) 的系数矩阵是非奇异三角矩阵,求解极易。上三角时用回代(back substitution):\(a_{nn}x_n=b_n\) 定 \(x_n\);\(a_{n-1,n-1}x_{n-1}+a_{n-1,n}x_n=b_{n-1}\) 定 \(x_{n-1}\)(\(a_{ii}\neq0\))……依次向上;下三角时用前代(forward substitution)。若 \(A=LU\),先前代解 \(Ly=b\),再回代解 \(Ux=y\)。每次代入 \(O(n^2)\) 次运算。
Definition 3.5.1. \(A\in M_n\) 写成 \(A=LU\)(\(L\) 下三角、\(U\) 上三角)称为 \(A\) 的 LU 分解(LU factorization)。 练习:\(A\) 有 \(L\) 非奇异的 LU 分解 \(\iff\) 有 \(L\) 为单位下三角(unit lower triangular,对角元全 1)的 LU 分解(令 \(L=L'D\) 并把 \(D\) 并入 \(U\));对 \(U\) 同理。
Lemma 3.5.2. 若 \(A=LU\),对任意 \(2\times2\) 分块 \(A=\begin{bmatrix}A_{11}&A_{12}\\A_{21}&A_{22}\end{bmatrix}\),\(L=\begin{bmatrix}L_{11}&0\\L_{21}&L_{22}\end{bmatrix}\),\(U=\begin{bmatrix}U_{11}&U_{12}\\0&U_{22}\end{bmatrix}\)(\(A_{11},L_{11},U_{11}\in M_k\)),有 \(A_{11}=L_{11}U_{11}\)。故 \(A\) 的每个顺序主子矩阵(leading principal submatrix)都有 LU 分解,因子即 \(L,U\) 的对应顺序主子矩阵。
Theorem 3.5.3. 设 \(A\in M_n\)。
- (a) \(A\) 有 \(L\) 非奇异的 LU 分解 \(\iff\) \(A\) 具有行包含性质(row inclusion property):对每个 \(i=1,\dots,n-1\),\(A[\{i+1\};\{1,\dots,i\}]\)(第 \(i+1\) 行的前 \(i\) 个元素)是 \(A[\{1,\dots,i\}]\) 各行的线性组合。
- (b) \(A\) 有 \(U\) 非奇异的 LU 分解 \(\iff\) \(A\) 具有列包含性质(column inclusion property):对每个 \(j\),\(A[\{1,\dots,j\};\{j+1\}]\) 是 \(A[\{1,\dots,j\}]\) 各列的线性组合。
证明要点:必要性:\(A[\{1..i+1\}]=L[\{1..i+1\}]U[\{1..i+1\}]\),故只需在 (3.5.2) 中取 \(k=n-1\);\(L_{11}\) 非奇异,\(A_{21}=L_{21}U_{11}=L_{21}L_{11}^{-1}L_{11}U_{11}=(L_{21}L_{11}^{-1})A_{11}\)。充分性用归纳:设 \(A_{11}=L_{11}U_{11}\),\(L_{11}\) 非奇异,且 \(A_{21}=y^TA_{11}=y^TL_{11}U_{11}\),取 \(U_{12}=L_{11}^{-1}A_{12}\),\(L_{21}=y^TL_{11}\),\(L_{22}=1\),\(U_{22}=A_{22}-L_{21}U_{12}\)。列包含情形对 \(A^T\) 用 (a)。
练习:全 1 矩阵 \(J_n\) 有 \(L\) 为单位下三角的 LU 分解(\(L=[e\ e_2\ \cdots]\) 型,\(U=e_1e^T\));于是 \(J_n=J_n^T=U^TL^T\) 给出单位上三角因子的分解。行包含性质等价于更强的形式:对每个 \(i\),\(A[\{i+1,\dots,n\};\{1,\dots,i\}]\) 的每一行都是 \(A[\{1,\dots,i\}]\) 各行的线性组合。
若 \(\operatorname{rank}A=k\) 且 \(\det A[\{1..j\}]\ne0\)(\(j=1..k\)),则 \(A\) 同时有行、列包含性质:
Corollary 3.5.4. 设 \(\operatorname{rank}A=k\),且 \(A[\{1,\dots,j\}]\) 对 \(j=1,\dots,k\) 非奇异,则 \(A\) 有 LU 分解,且任一因子可取为单位三角;\(L,U\) 都非奇异 \(\iff k=n\),即 \(A\) 及其所有顺序主子矩阵非奇异。
Example 3.5.5. 不是每个矩阵都有 LU 分解:\(A=\begin{bmatrix}0&1\\1&0\end{bmatrix}\),若 \(A=LU\) 则 \(l_{11}u_{11}=0\),\(L\) 或 \(U\) 奇异,但 \(LU=A\) 非奇异,矛盾。 练习:非奇异矩阵若有奇异顺序主子矩阵,则无 LU 分解。 练习:\(A=\begin{bmatrix}0&0&0\\0&0&1\\0&1&0\end{bmatrix}=\begin{bmatrix}0&0&0\\1&0&0\\0&1&1\end{bmatrix}\begin{bmatrix}0&0&1\\0&1&0\\0&0&0\end{bmatrix}\) 有 LU 分解,尽管它既无行包含也无列包含性质;但它是 \(4\times4\) 矩阵 \(\hat A=\begin{bmatrix}A&e_1\\0&0\end{bmatrix}\) 的主子矩阵,而 \(\hat A\) 没有 LU 分解(用 \(k=2\) 分块:\(\hat A_{12}=L_{11}U_{12}\) 非奇异推出 \(L_{11}\) 非奇异,再由 \(0=L_{11}U_{11}\) 推 \(U_{11}=0\),与 \(L_{21}U_{11}=\hat A_{21}\ne0\) 矛盾)。 练习:\(A=\begin{bmatrix}1&0\\a&1\end{bmatrix}\begin{bmatrix}0&1\\0&2-a\end{bmatrix}\) 对一切 \(a\) 都等于 \(\begin{bmatrix}0&1\\0&2\end{bmatrix}\),说明即使要求 \(L\) 单位下三角,LU 分解也不必唯一。
Corollary 3.5.6(LDU 分解). 设 \(A=[a_{ij}]\in M_n\)。
- (a) 若 \(A\) 非奇异,则 \(A\) 有 LU 分解 \(\iff\) \(A[\{1,\dots,i\}]\) 对所有 \(i=1,\dots,n\) 非奇异。
- (b) 若 \(A[\{1,\dots,i\}]\) 均非奇异,则 \(A=LDU\),\(L\) 单位下三角,\(U\) 单位上三角,\(D=\operatorname{diag}(d_1,\dots,d_n)\),
\[d_1=a_{11},\qquad d_i=\frac{\det A[\{1,\dots,i\}]}{\det A[\{1,\dots,i-1\}]},\ i=2,\dots,n.\]因子 \(L,D,U\) 唯一确定。 练习:若 \(A=LU\),则 \(\ell_{11}u_{11}=\det A[\{1\}]\),\(\ell_{ii}u_{ii}\det A[\{1..i-1\}]=\det A[\{1..i\}]\)。(即主元 = 相邻顺序主子式之比。)
PLU 分解:若 \(A\) 不能 LU 分解,但 \(A=PLU\)(\(P\) 置换矩阵),相当于先对方程重新排序,再解 \(Ly=P^Tb\)、\(Ux=y\)。任何 \(A\) 都可如此分解,且 \(L\) 可取非奇异。
Lemma 3.5.7. 若 \(A\in M_k\) 非奇异,则存在置换矩阵 \(P\) 使 \(\det(P^TA)[\{1,\dots,j\}]\ne0\),\(j=1,\dots,k\)。 证明:对 \(k\) 归纳。删去 \(A\) 的最后一列,余下 \(k-1\) 列线性无关,故含 \(k-1\) 个线性无关的行;把它们置换到前 \(k-1\) 行,对左上 \((k-1)\times(k-1)\) 非奇异子矩阵用归纳假设。
Theorem 3.5.8(PLU 分解). 对每个 \(A\in M_n\),存在置换矩阵 \(P\)、单位下三角 \(L\)、上三角 \(U\) 使 \(A=PLU\)。 证明要点:只需找置换 \(Q\) 使 \(QA\) 具有行包含性质,然后用 3.5.3。非奇异时用 3.5.7。若 \(\operatorname{rank}A=k<n\),先置换使前 \(k\) 行线性无关,于是 \(A[\{i+1\};\{1..i\}]\) 是 \(A[\{1..i\}]\) 行的组合(\(i=k,\dots,n-1\));若 \(A[\{1..k\}]\) 非奇异,再用 3.5.7 置换前 \(k\) 行即可;若 \(\operatorname{rank}A[\{1..k\}]=\ell<k\),对它重复同样处理,直到左上块为 0 或非奇异。 练习:每个 \(A\) 也可写成 \(A=LUP\)(\(L\) 下三角,\(U\) 单位上三角)。
记号 (3.5.9):\(X_{[p,q]}=X[\{1,\dots,p\},\{1,\dots,q\}]\)(左上角 \(p\times q\) 子矩阵)。 练习:若 \(A=LBU\)(\(L\) 下三角、\(U\) 上三角),则 \(A_{[p,q]}=L_{[p,p]}B_{[p,q]}U_{[q,q]}\);若 \(L,U\) 非奇异,则
Theorem 3.5.11(LPU 分解). 对每个 \(A\in M_n\),存在置换矩阵 \(P\)、单位下三角 \(L\)、上三角 \(U\) 使 \(A=LPU\)。若 \(A\) 非奇异,则因子 \(P\) 唯一。
证明(构造性算法):\(A^{(0)}=A\)。第 1 步:\(\mathcal I_1=\{i:a^{(0)}_{i1}\ne0\}\),若非空取 \(\pi_1=\min\mathcal I_1\),否则 \(\pi_1\) 任取;用第 \(\pi_1\) 行做第三类初等行变换消去第 1 列中 \(\pi_1\) 以下的非零元,得 \(A^{(1)}=\mathsf L_1A^{(0)}\)(\(\mathsf L_1\) 单位下三角)。第 \(k\) 步:\(\mathcal I_k=\{i\ne\pi_1..\pi_{k-1}: a^{(k-1)}_{ik}\ne0\}\),非空则取最小者为 \(\pi_k\),否则在未用的行中任取;用行 \(\pi_k\) 消去第 \(k\) 列中 \(\pi_k\) 以下的非零元(这些消元不改变前 \(k-1\) 列,因为 \(a^{(k-1)}_{\pi_k,j}=0\),\(j<k\))。\(n\) 步后得 \(A^{(n)}=\mathsf LA\),\(\mathsf L=\mathsf L_n\cdots\mathsf L_1\) 单位下三角,且当 \(i>\pi_j\) 或(\(i<\pi_j\) 且 \(i\notin\{\pi_1..\pi_{j-1}\}\))时 \(a^{(n)}_{ij}=0\)。令 \(L=\mathsf L^{-1}\),\(P=[p_{ij}]\) 满足 \(p_{\pi_j,j}=1\),则 \(P^TA^{(n)}=U\) 上三角,\(A=LPU\)。非奇异时 \(L,U\) 非奇异,由 (3.5.10) \(\operatorname{rank}A_{[p,q]}=\operatorname{rank}P_{[p,q]}\),这些秩唯一确定 \(P\)(3.5.P11)。
Definition 3.5.12. 若存在非奇异下三角 \(L\)、非奇异上三角 \(U\) 使 \(A=LBU\),称 \(A,B\) 三角等价(triangularly equivalent)。这是 \(M_n\) 上的等价关系。
Theorem 3.5.11 给出非奇异矩阵三角等价的标准形:标准矩阵是置换矩阵;(3.5.10) 中的秩集合是完全不变量系。
Theorem 3.5.13. 设 \(A,B\in M_n\) 非奇异,以下等价:(a) 存在唯一置换矩阵 \(P\) 使 \(A,B\) 都三角等价于 \(P\);(b) \(A,B\) 三角等价;(c) 秩等式 (3.5.10) 成立(\(\operatorname{rank}A_{[p,q]}=\operatorname{rank}B_{[p,q]}\) 对所有 \(p,q\))。 证明:(a)⇒(b) 显然;(b)⇒(c) 即前述练习;(c)⇒(a):设 \(A=L_1PU_1\),\(B=L_2P'U_2\),则 \(\operatorname{rank}P_{[p,q]}=\operatorname{rank}A_{[p,q]}=\operatorname{rank}B_{[p,q]}=\operatorname{rank}P'_{[p,q]}\),由 3.5.P11 得 \(P=P'\)。
练习:\(P\) 置换、\(A\) 主对角元全为 1,则 \(P^TAP\) 主对角元全为 1。
Theorem 3.5.14(LPDU 分解). 对每个非奇异 \(A\in M_n\),存在唯一的置换矩阵 \(P\)、唯一的非奇异对角 \(D\)、单位下三角 \(L\)、单位上三角 \(U\),使 \(A=LPDU\)。 证明:由 3.5.11,\(A=LPU'\),\(P\) 唯一,\(U'\) 非奇异上三角;令 \(D=\operatorname{diag}(\operatorname{diag}U')\),\(U=D^{-1}U'\)。若另有 \(A=L_2PD_2U_2\),则
算法与复杂度补充(与教材无关的常识,供编写者参考):高斯消元得到 LU 需约 \(\tfrac23n^3\) 次浮点运算;实践中用部分选主元(partial pivoting)得到 \(PA=LU\) 以保证数值稳定。
3.5 习题概括(PDF p.241–243)
- 3.5.P1:讨论 \(A=UL\) 分解的平行理论(因子可能不同)。
- 3.5.P2:用 \(A=QR\) 解 \(Ax=b\):\(Rx=Q^*b\) 回代。
- 3.5.P3:单位三角等价(\(A=LBU\),\(L,U\) 为单位三角):是 \(M_n\) 与 \(GL(n,\mathbf C)\) 上的等价关系;\(PD=P'D'\iff P=P',D=D'\);每个非奇异矩阵单位三角等价于唯一的广义置换矩阵(generalized permutation matrix, 0.9.5);广义置换矩阵构成该等价关系的标准形集合。
- 3.5.P4:顺序主子式全非零时用第三类初等行变换(高斯消元)得到 LU。
- 3.5.P5(Lanczos 三对角化算法):\(X=[x\ Ax\ \cdots\ A^{n-1}x]\)(Krylov 序列)非奇异时,\(X^{-1}AX\) 是特征多项式的友矩阵(companion matrix);\(S=XR\)(\(R\) 非奇异上三角)则 \(S^{-1}AS\) 为上 Hessenberg;取 \(Y=[y\ A^*y\ \cdots]\),若 \(Y^*X=LDU\),可找非奇异上三角 \(R,T\) 使 \((XR)^{-1}=T^*Y^*\) 且 \(T^*Y^*AXR\) 是三对角、相似于 \(A\);Hermitian 情形给出得到三对角 Hermitian 相似矩阵的算法。
- 3.5.P6:\((n,n)\) 元不影响 LU 分解是否存在。
- 3.5.P7:\(C_n=[1/\max\{i,j\}]\in M_n(\mathbf R)\) 有分解 \(C_n=L_nL_n^T\),其中下三角 \(L_n\) 的元素为 \(\ell_{ij}=1/\max\{i,j\}=1/i\)(\(i\ge j\));由 \(L_n\) 对角元为 \(1/i\) 得 \(\det L_n=1/n!\),从而 \(\det C_n=(1/n!)^2\)。
- 3.5.P8:3.5.6 中条件可改为"尾部主子矩阵 \(A[\{j,\dots,n\}]\) 均非奇异"。
- 3.5.P9:三对角矩阵 \(A=\operatorname{tridiag}(-1,2,-1)\):\(L\) 次对角元 \(-\tfrac12,-\tfrac23,\dots,-\tfrac{n-1}{n}\),\(U\) 对角元 \(2,\tfrac32,\dots,\tfrac{n+1}{n}\)、超对角 \(-1\);\(\det A=n+1\);特征值 \(\lambda_k=4\sin^2\frac{k\pi}{2(n+1)}\),\(\lambda_1\to0\)、\(\lambda_n\to4\),\(\det A\to\infty\)(条件数随 \(n\) 增长)。
- 3.5.P10:对称矩阵且顺序主子矩阵均非奇异,则存在非奇异下三角 \(L\) 使 \(A=LL^T\)(复对称情形的"Cholesky 型"分解)。
- 3.5.P11:置换矩阵 \(P\)(\(p_{\pi_j,j}=1\)),令 \(\operatorname{rank}P_{[\ell,0]}=0\),则 \(\pi_j=\min\{k:\operatorname{rank}P_{[k,j]}=\operatorname{rank}P_{[k,j-1]}+1\}\);故 \(n^2\) 个数 \(\operatorname{rank}P_{[k,j]}\) 唯一确定 \(P\)。
- 3.5.P12–P13:互补零化度定律(law of complementary nullities, 0.7.5):\(A\) 非奇异,\(A^{-1}=[B_{ij}]\),则 \(\operatorname{nullity}A_{11}=\operatorname{nullity}B_{22}\)。P12 对置换矩阵直接验证(\(P_{11}\) 的零列数 = \(P_{21}\) 中 1 的个数 = \(P_{22}\) 的零行数);P13 经 LPU 分解 \(A=LPU\)、\(A^{-1}=U^{-1}P^TL^{-1}\) 归约到置换情形。
Further Readings:3.5.P5 取自 Stewart [Ste];LPU/LPDU 与三角等价取自 L. Elsner (1979),该文也讨论对称/斜对称矩阵的下三角合同 \(A=LBL^T\)。
(PDF p.244 为空白页。)
第 3 章 本章要点(就本块覆盖的 3.4 后半与 3.5 而言)
- 实矩阵与其共轭相似当且仅当相似于实矩阵;\(A\bar A\) 总相似于 \(\bar AA\) 且相似于实矩阵。实可对角化矩阵经实相似化为 \(1\times1\) 实块和 \(\begin{bmatrix}a&b\\-b&a\end{bmatrix}\) 块的直和。
- Weyr 块由 Weyr 特征 \(w_1\ge w_2\ge\cdots\) 构造,\(\operatorname{rank}(W-\lambda I)^p=w_{p+1}+\cdots+w_q\);Weyr 标准形与 Jordan 标准形信息等价、置换相似。
- Weyr 形的核心优点:与 Weyr 矩阵可交换的矩阵都分块上三角(Belitskii),并且块之间满足 (3.4.2.12) 型恒等式;因此可交换族可同时相似为"\(A\) 为 Weyr 形 + 其余为上三角"(O'Meara–Vinsonhaler),而 Jordan 形做不到。
- 酉 Weyr 形(Littlewood):任何矩阵酉相似于对角块为纯量矩阵、超对角块为正对角上三角的块上三角矩阵,且在分块对角酉相似下唯一;由此得到幂等矩阵、平方零矩阵的酉标准形(由奇异值决定)。
- LU 分解存在性由行/列包含性质刻画;非奇异时存在 \(\iff\) 所有顺序主子式非零,此时 LDU 唯一,\(d_i\) 为相邻顺序主子式之比。任意矩阵有 PLU 与 LPU 分解;非奇异时 LPU 中的 \(P\) 唯一,LPDU 中 \(P,D\) 唯一;置换矩阵是非奇异矩阵三角等价的标准形,左上角子矩阵的秩是完全不变量。
第 3 章 与量化交易的关联
- LU/PLU/LDU 分解是数值线性代数的基本工具:回归正规方程、协方差矩阵求逆、组合优化 KKT 系统的求解都依赖它(实践中对正定协方差矩阵用 LDU 的对称特例——Cholesky/LDLᵀ 分解)。\(d_i=\det A_{[i]}/\det A_{[i-1]}\) 在对称正定情形就是逐次条件方差(Schur 补),对应"第 \(i\) 个资产对前 \(i-1\) 个资产回归后的残差方差",这是因子正交化、Gram–Schmidt 式的顺序正交化与风险归因的代数基础。
- 3.5.P9 的三对角矩阵是二阶差分算子,在有限差分法期权定价(PDE 方法)中出现,其 LU 分解即 Thomas 算法(\(O(n)\))。
- 实 Jordan 形中的 \(\begin{bmatrix}a&b\\-b&a\end{bmatrix}\) 块对应 VAR 模型转移矩阵的复特征值,描述周期性/振荡响应;Weyr 形与可交换族理论在量化中没有直接应用,主要是理论结构。
- 幂等矩阵的酉标准形可解释回归中的"帽子矩阵"(正交投影,奇异值全为 1)与斜投影(如工具变量估计中的投影)的差别。
第 3 章 推荐习题
- 3.4.P1(\(A^2=-I\) 的实标准形,复结构);3.4.P4(中心化子维数 \(\sum w_i^2\),Weyr 与 Segre 特征的联系);3.4.P5(平方零矩阵的酉标准形);3.4.P7(Jordan 形不能替代 Weyr 形的反例);3.4.P8(Young 表构造置换相似)。
- 3.5.P4(高斯消元得 LU);3.5.P5(Lanczos 三对角化,与 Krylov 子空间方法相关);3.5.P9(差分矩阵的 LU 与特征值,条件数直观);3.5.P10(对称矩阵的 \(LL^T\));3.5.P11、P13(LPU 的唯一性与互补零化度定律)。
第 4 章 Hermitian 矩阵、对称矩阵与合同(Hermitian Matrices, Symmetric Matrices, and Congruences)(PDF p.245 起)
4.0 引言(Introduction)(PDF p.245–247)
本章研究复 Hermitian 矩阵与复对称矩阵,并通过特殊化说明实对称情形。引言以几个例子说明对称/Hermitian 矩阵为何自然出现:
- Example 4.0.1(Hessian 矩阵):\(f:D\subset\mathbf R^n\to\mathbf R\) 二阶连续可微,\(H(x)=\big[\partial^2f/\partial x_i\partial x_j\big]\) 为其 Hessian。由于混合偏导相等,Hessian 是实对称矩阵;它可用于判断临界点是相对极大还是极小(见 7.0)。
- Example 4.0.2(二次型):\(Q(x)=x^TAx=\sum a_{ij}x_ix_j=x^T\big[\tfrac12(A+A^T)\big]x\)。\(A\) 与其对称部分 \(\tfrac12(A+A^T)\) 生成同一二次型,故研究二次型只需研究对称矩阵。
- Example 4.0.3(二阶线性偏微分算子):\(Lf=\sum a_{ij}(x)\partial^2f/\partial x_i\partial x_j\)(4.0.4),同理只需考虑对称系数矩阵 \(\tfrac12(A(x)+A(x)^T)\)。
- Example 4.0.5(无向图的邻接矩阵):\(a_{ij}=1\) 当且仅当 \(\{P_i,P_j\}\) 是边,邻接矩阵对称。
- Example 4.0.6(双线性型与 sesquilinear 型):实双线性型 \(Q(x,y)=y^TAx\)(4.0.7)满足 \(Q(x,y)=Q(y,x)\) 对一切 \(x,y\) 成立当且仅当 \(A\) 对称(取 \(x=e_j,y=e_i\) 比较)。复型 \(H(x,y)=y^*Ax=\sum a_{ij}\bar y_ix_j\)(4.0.8)对第一变量线性、对第二变量共轭线性,\(H(ax,by)=a\bar bH(x,y)\),称为半双线性型(sesquilinear form);\(H(x,y)=\overline{H(y,x)}\) 恒成立当且仅当 \(a_{ij}=\bar a_{ji}\),即 \(A=A^*\) Hermitian。
复 Hermitian 矩阵在很多方面是实对称矩阵的自然推广;复的非实对称矩阵则缺乏实对称矩阵的许多重要性质。
4.1 Hermitian 矩阵的性质与刻画(Properties and characterizations of Hermitian matrices)(PDF p.247–254)
Definition 4.1.1. \(A\in M_n\) 若 \(A=A^*\) 则称 Hermitian;若 \(A=-A^*\) 则称斜 Hermitian(skew Hermitian)。
基本观察(\(A,B\in M_n\)):
- \(A+A^*\)、\(AA^*\)、\(A^*A\) 均 Hermitian。
- \(A\) Hermitian ⇒ \(A^k\) Hermitian;若还非奇异,则 \(A^{-1}\) Hermitian。
- \(A,B\) Hermitian ⇒ 对实数 \(a,b\),\(aA+bB\) Hermitian。
- \(A-A^*\) 斜 Hermitian。
- 斜 Hermitian 的实线性组合仍斜 Hermitian。
- \(A\) Hermitian ⇒ \(iA\) 斜 Hermitian;7. \(A\) 斜 Hermitian ⇒ \(iA\) Hermitian。
- \(A=\tfrac12(A+A^*)+\tfrac12(A-A^*)=H(A)+S(A)=H(A)+iK(A)\),其中 \(H(A)=\tfrac12(A+A^*)\) 为 Hermitian 部分,\(S(A)=\tfrac12(A-A^*)\) 为斜 Hermitian 部分,\(K(A)=\tfrac1{2i}(A-A^*)\)。
- Hermitian 矩阵主对角元为实数;确定它需要 \(n\) 个实数和 \(\tfrac12n(n-1)\) 个复数。
- 写 \(A=C+iD\)(\(C,D\) 实),则 \(A\) Hermitian \(\iff\) \(C\) 对称且 \(D\) 斜对称。
- 实对称矩阵是复 Hermitian 矩阵。
Theorem 4.1.2(Toeplitz 分解). 每个 \(A\in M_n\) 可唯一写成 \(A=H+iK\)(\(H,K\) 均 Hermitian),也可唯一写成 \(A=H+S\)(\(H\) Hermitian,\(S\) 斜 Hermitian)。 证明:\(H=\tfrac12(A+A^*)\),\(K=\tfrac1{2i}(A-A^*)\)。唯一性:若 \(A=E+iF\),则 \(2H=A+A^*=(E+iF)+(E-iF)=2E\)。
类比:把 \(M_n\) 类比为复数域,则 Hermitian 矩阵类比实数,\(*\) 运算类比共轭,\(A=H+iK\) 类比 \(z=s+it\)。
Theorem 4.1.3. 设 \(A\) Hermitian,则 (a) \(x^*Ax\) 对所有 \(x\in\mathbf C^n\) 为实数;(b) \(A\) 的特征值为实数;(c) 对所有 \(S\in M_n\),\(S^*AS\) 为 Hermitian。 证明:\(\overline{x^*Ax}=(x^*Ax)^*=x^*A^*x=x^*Ax\);若 \(Ax=\lambda x\)、\(x^*x=1\),则 \(\lambda=x^*Ax\) 为实数;\((S^*AS)^*=S^*A^*S=S^*AS\)。
Theorem 4.1.4(Hermitian 的刻画). \(A\) Hermitian 当且仅当下列至少一条成立:(a) \(x^*Ax\) 对所有 \(x\in\mathbf C^n\) 为实数;(b) \(A\) 正规且特征值全为实数;(c) \(S^*AS\) 对所有 \(S\) 为 Hermitian。 证明要点:(a):\((x+y)^*A(x+y)\) 为实,推出 \(x^*Ay+y^*Ax\) 为实;取 \(x=e_k,y=e_j\) 得 \(a_{kj}+a_{jk}\) 为实,故 \(\operatorname{Im}a_{kj}=-\operatorname{Im}a_{jk}\);取 \(x=ie_k,y=e_j\) 得 \(-ia_{kj}+ia_{jk}\) 为实,故 \(\operatorname{Re}a_{kj}=\operatorname{Re}a_{jk}\);合起来 \(a_{kj}=\bar a_{jk}\)。(b):正规则 \(A=U\Lambda U^*\),\(A^*=U\bar\Lambda U^*=U\Lambda U^*=A\)。(c):取 \(S=I\)。 注意:(a) 只对复向量成立;实向量下 \(x^TAx\) 只约束对称部分。
由于 Hermitian 矩阵正规(\(AA^*=A^2=A^*A\)),第 2 章关于正规矩阵的结论全部适用:不同特征值的特征向量正交,有特征向量构成的标准正交基,酉可对角化。
Theorem 4.1.5(Hermitian 矩阵的谱定理,2.5.6 的重述). \(A\) Hermitian \(\iff\) 存在酉矩阵 \(U\) 和实对角矩阵 \(\Lambda\) 使 \(A=U\Lambda U^*\)。\(A\) 实对称 \(\iff\) 存在实正交 \(P\) 和实对角 \(\Lambda\) 使 \(A=P\Lambda P^T\)。
Hermitian 矩阵的实线性组合仍是 Hermitian,复线性组合则不一定(\(iA\) Hermitian 仅当 \(A=0\))。\(A,B\) Hermitian 时 \((AB)^*=BA\),故 \(AB\) Hermitian \(\iff\) \(AB=BA\)。
Theorem 4.1.6(可交换 Hermitian 族的同时对角化,2.5.5 的特例). 非空 Hermitian 族 \(\mathcal F\) 存在酉矩阵 \(U\) 使所有 \(UAU^*\) 对角 \(\iff\) 族中任意两矩阵可交换。(量子力学中有重要的算子推广——可同时测量的可观测量。)
Theorem 4.1.7(与 \(A^*\) 相似的矩阵). 对 \(A\in M_n\),以下等价:(a) \(A\) 相似于实矩阵;(b) \(A\) 相似于 \(A^*\);(c) \(A\) 经 Hermitian 相似变换相似于 \(A^*\);(d) \(A=HK\),\(H,K\) Hermitian 且至少一个非奇异;(e) \(A=HK\),\(H,K\) Hermitian。 证明要点:
- (a)⇔(b):每个复矩阵相似于其转置 (3.2.3.1),故 \(A\sim A^*=\bar A^T\iff A\sim\bar A\iff A\) 相似于实矩阵 (3.4.1.7)。
- (b)⇒(c):设 \(S^{-1}AS=A^*\),令 \(T=e^{i\theta}S\),仍有 \(AT=TA^*\),等价地 \(AT^*=T^*A^*\)(取共轭转置得 \(T^*A^*=AT^*\))。相加得 \(A(T+T^*)=(T+T^*)A^*\)。只需选 \(\theta\) 使 \(T+T^*\) 非奇异:\(T^{-1}(T+T^*)=I+T^{-1}T^*\) 非奇异 \(\iff -1\notin\sigma(T^{-1}T^*)\),而 \(T^{-1}T^*=e^{-2i\theta}S^{-1}S^*\),选 \(\theta\) 使 \(-e^{2i\theta}\notin\sigma(S^{-1}S^*)\) 即可。
- (c)⇒(d):\(R^{-1}AR=A^*\),\(R\) Hermitian 非奇异,则 \(R^{-1}A=A^*R^{-1}\),\(A=R(A^*R^{-1})\),且 \((A^*R^{-1})^*=R^{-1}A=A^*R^{-1}\) 是 Hermitian。
- (d)⇒(b):\(H\) 非奇异时 \(H^{-1}AH=KH=(HK)^*=A^*\);\(K\) 非奇异同理。
- (e)⇒(a):若 \(H,K\) 均奇异,取酉 \(U\) 使 \(U^*HU=\begin{bmatrix}D&0\\0&0\end{bmatrix}\)(\(D\in M_k\) 非奇异实对角),\(U^*KU=\begin{bmatrix}K'&\star\\\star&\star\end{bmatrix}\),则 \(U^*AU=\begin{bmatrix}DK'&\star\\0&0\end{bmatrix}\);\(DK'\) 是两 Hermitian 之积且 \(D\) 非奇异,由 (d)⇒(a) 相似于实矩阵;再由 Corollary 3.4.1.8 得 \(A\) 相似于实矩阵。
Theorem 4.1.8(正定性的刻画). \(x^*Ax\) 对所有非零 \(x\in\mathbf C^n\) 为正实数(相应地,非负实数)\(\iff\) \(A\) Hermitian 且特征值全为正(相应地,非负)。 证明:由 4.1.4(a) 得 Hermitian;单位特征向量 \(u\) 给出 \(\lambda=u^*Au>0\)。反之 \(A=U\Lambda U^*\),\(x^*Ax=\sum_k\lambda_k|u_k^*x|^2\),\(x\ne0\) 时某 \(u_k^*x\ne0\)。
Definition 4.1.9. \(A\in M_n\):若 \(x^*Ax\) 对所有非零 \(x\) 为正实数,称正定(positive definite);为非负实数,称半正定(positive semidefinite);若 \(x^*Ax\) 总为实数且存在 \(y,z\) 使 \(y^*Ay<0<z^*Az\),称不定(indefinite)。 练习:\(B=A^*A\) 半正定:(a) 用 SVD;(b) \(x^*Bx=\|Ax\|_2^2\)。
实情形的区别:复情形下定义中不必假设 Hermitian(4.1.8 自动推出)。但对实矩阵和实向量,\(x^TAx=\tfrac12x^T(A+A^T)x\) 只约束对称部分,斜对称部分不受限,所以实情形必须加对称假设。
Theorem 4.1.10. 设 \(A\in M_n(\mathbf R)\) 对称,则 \(x^TAx>0\)(\(\ge0\))对所有非零实 \(x\) 成立 \(\iff\) \(A\) 的特征值全正(非负)。 证明:对 \(z=x+iy\),\(z^*Az=x^TAx+y^TAy+i(x^TAy-y^TAx)=x^TAx+y^TAy\)(因 \(y^TAx=(y^TAx)^T=x^TAy\)),从而复情形结论成立。
Definition 4.1.11. 实对称 \(A\):\(x^TAx>0\)(\(\forall x\ne0\))称正定;\(\ge0\) 称半正定;存在 \(y^TAy<0<z^TAz\) 称不定。 练习:半正定矩阵正定 \(\iff\) 非奇异。
Definition 4.1.12(正半定部分). \(A\) Hermitian,特征值 \(\lambda_1\ge\cdots\ge\lambda_n\)(此处按非增),\(A=U\Lambda U^*\)。令 \(\lambda_i^+=\max\{\lambda_i,0\}\),\(\lambda_i^-=\min\{\lambda_i,0\}\),\(\Lambda_+=\operatorname{diag}(\lambda_i^+)\),\(A_+=U\Lambda_+U^*\);\(\Lambda_-=\operatorname{diag}(\lambda_i^-)\),\(A_-=-U\Lambda_-U^*\)。\(A_+\) 称为 \(A\) 的半正定部分(positive semidefinite part)。
Proposition 4.1.13. \(A\) Hermitian,则 \(A=A_+-A_-\);\(A_\pm\) 都半正定;\(A_+,A_-\) 可交换;\(\operatorname{rank}A=\operatorname{rank}A_++\operatorname{rank}A_-\);\(A_+A_-=A_-A_+=0\);\(A_-\) 是 \(-A\) 的半正定部分。因而 \(A\) Hermitian \(\iff\) \(A=B-C\),\(B,C\) 半正定。
4.1 习题概括(PDF p.252–254)
- P1:Hermitian 的主子矩阵 Hermitian;斜 Hermitian 也是;正规矩阵则不一定。P2:\(SAS^*\) Hermitian;\(SAS^{-1}\) 一般不是。P3:两个 Hermitian 矩阵相似 \(\iff\) 酉相似。
- P5:实三对角矩阵若 \(a_{i,i+1}a_{i+1,i}>0\),存在正对角 \(D\) 使 \(DAD^{-1}\) 对称,故特征值全实;\(\begin{bmatrix}0&1\\-1&0\end{bmatrix}\) 说明符号条件必要;极限论证推广到 \(\ge0\)。
- P6:复矩阵由其 sesquilinear 型 \(x^*Ax\) 唯一确定。P7:\(x^TAx=0\ \forall x\iff A^T=-A\),故实/复矩阵不由二次型确定。P8:\(A=\begin{bmatrix}1&1\\0&1\end{bmatrix}\) 有 \(|x^*Ax|=|x^*A^Tx|\),故不由 \(|x^*Ax|\) 确定;P9:\(|x^*Ay|=|x^*By|\ \forall x,y\iff A=e^{i\theta}B\)。
- P10:斜 Hermitian 的特征值为纯虚数,\(B^2\) 的特征值非正。P11:\(A,B\) Hermitian ⇒ \(\operatorname{tr}(AB)^2\le\operatorname{tr}(A^2B^2)\),等号 \(\iff AB=BA\)。
- P12:Hermitian 矩阵的秩等于非零特征值个数(非 Hermitian 不一定);正规时 \(\operatorname{rank}A\ge\operatorname{rank}H(A)\)。P13:\(\operatorname{rank}A\ge|\operatorname{tr}A|^2/\operatorname{tr}(A^*A)\),等号 \(\iff A=aH\)(\(H\) 为 Hermitian 投影);Hermitian 时 \(\operatorname{rank}A\ge(\operatorname{tr}A)^2/\operatorname{tr}A^2\)。
- P14:\(A=e^{i\theta}A^*\iff e^{-i\theta/2}A\) Hermitian("本质 Hermitian"类)。P15:\(A\) 相似于 Hermitian 矩阵 \(\iff\) 可对角化且特征值全实。
- P16–P17:\(2\times2\) Hermitian:\(\rho(A)=\tfrac12|\operatorname{tr}A|+\tfrac12(\operatorname{tr}A^2-2\det A)^{1/2}\);\((\lambda_1-\lambda_2)^2=(a_{11}-a_{22})^2+4|a_{12}|^2\),故谱宽 \(\ge2|a_{12}|\)。
- P18:\(A\) Hermitian \(\iff A^2=A^*A\)。P19–P20:投影是 Hermitian 投影 \(\iff\) 正交投影 \(\iff AA^*A=A\)。
- P21:\(A=xy^*+yx^*\) 的特征值为 \(\operatorname{Re}y^*x\pm(\|x\|^2\|y\|^2-(\operatorname{Im}y^*x)^2)^{1/2}\) 及 \(n-2\) 个 0(\(x,y\) 线性无关时一正一负);\(B=xy^*-yx^*\) 的特征值为 \(i(\operatorname{Im}y^*x\pm(\|x\|^2\|y\|^2-(\operatorname{Re}y^*x)^2)^{1/2})\);\([z_i+\bar z_j]\) 的类似结论。
- P22:\(A_+\) 良定义(虽然 \(U\) 不唯一)。P23:\(\operatorname{tr}AB\) 为实数。P24:\(\operatorname{adj}A\) 在 \(A\) 半正定/正定时半正定/正定。P25:复合矩阵 \(C_r(A)\) 继承 Hermitian 与(半)正定性。P26:Hermitian 投影 \(=U(I_k\oplus0)U^*\)。P27–P28:与非平凡 Hermitian 投影可交换 \(\iff\) 酉可约(unitarily reducible)。P29:不定 \(\iff\) 同时有正负特征值。
- P30:\(\operatorname{rank}A=r\) 的 Hermitian 矩阵满秩分解 \(A=V\Lambda_rV^*\);\(\det A[\alpha]=|\det V_\alpha|^2\det\Lambda_r\),所以所有非零 \(r\) 阶主子式同号,且至少有一个非零("秩主性"的加强)。
Notes:4.1.5 最早可追溯到 Cauchy (1829):实对称矩阵特征值为实,实二次型可经正交变换化为平方和。
4.2 变分刻画与子空间交(Variational characterizations and subspace intersections)(PDF p.254–259)
约定 (4.2.1):Hermitian 矩阵的特征值总按代数非减排列:\(\lambda_{\min}=\lambda_1\le\lambda_2\le\cdots\le\lambda_n=\lambda_{\max}\);多个矩阵时记 \(\lambda_i(A),\lambda_i(B)\)。(注意与 4.1.12 的非增排列不同。)
Hermitian 矩阵最大、最小特征值可用 Rayleigh 商(Rayleigh quotient)\(x^*Ax/x^*x\) 的极值刻画。依据:不同特征值的特征向量自动正交,同一特征值的特征空间有标准正交基,\(\mathbf C^n\) 有由特征向量组成的标准正交基。
Theorem 4.2.2(Rayleigh). 设 \(A\) Hermitian,\(1\le i_1<\cdots<i_k\le n\),\(x_{i_1},\dots,x_{i_k}\) 标准正交且 \(Ax_{i_p}=\lambda_{i_p}x_{i_p}\),\(S=\operatorname{span}\{x_{i_1},\dots,x_{i_k}\}\)。则
- (a) \(\displaystyle\lambda_{i_1}=\min_{0\ne x\in S}\frac{x^*Ax}{x^*x}=\min_{x\in S,\|x\|_2=1}x^*Ax\le\max_{x\in S,\|x\|_2=1}x^*Ax=\max_{0\ne x\in S}\frac{x^*Ax}{x^*x}=\lambda_{i_k}\);
- (b) 对任意单位向量 \(x\in S\),\(\lambda_{i_1}\le x^*Ax\le\lambda_{i_k}\),右(左)等号成立 \(\iff Ax=\lambda_{i_k}x\)(\(Ax=\lambda_{i_1}x\));
- (c) 对任意单位向量 \(x\in\mathbf C^n\),\(\lambda_{\min}\le x^*Ax\le\lambda_{\max}\),等号条件同上;并且 \(\lambda_{\max}=\max_{x\ne0}\frac{x^*Ax}{x^*x}\),\(\lambda_{\min}=\min_{x\ne0}\frac{x^*Ax}{x^*x}\)。
证明:单位 \(x\in S\) 写成 \(x=\sum\alpha_px_{i_p}\),\(\sum|\alpha_p|^2=1\),则 \(x^*Ax=\sum|\alpha_p|^2\lambda_{i_p}\) 是 \(\lambda_{i_1},\dots,\lambda_{i_k}\) 的凸组合,介于最小与最大之间;等于 \(\lambda_{i_k}\) 当且仅当 \(\lambda_{i_p}\ne\lambda_{i_k}\) 时 \(\alpha_p=0\),即 \(x\) 是 \(\lambda_{i_k}\) 的特征向量。(c) 是 \(k=n\)、\(S=\mathbf C^n\) 的情形。 几何解释:\(\lambda_{\max}\)(\(\lambda_{\min}\))是连续函数 \(f(x)=x^*Ax\) 在紧集单位球面上的最大(最小)值。 练习:对任意非零 \(x\),\(\alpha=x^*Ax/x^*x\),则 \(A\) 在 \((-\infty,\alpha]\) 与 \([\alpha,\infty)\) 中各至少有一个特征值。
Lemma 4.2.3(子空间交,Subspace intersection). \(S_1,\dots,S_k\) 为 \(\mathbf C^n\) 子空间,若 \(\delta=\dim S_1+\cdots+\dim S_k-(k-1)n\ge1\),则存在标准正交向量 \(x_1,\dots,x_\delta\) 同时属于每个 \(S_i\);特别地 \(S_1\cap\cdots\cap S_k\) 含单位向量。 证明:由 (0.1.7),\(\dim(S_1\cap\cdots\cap S_k)\ge\delta\),取交空间的标准正交基中 \(\delta\) 个。 练习:\(\dim S_1+\dim S_2\ge n+1\) ⇒ \(S_1\cap S_2\) 含单位向量;\(\dim S_1+\dim S_2+\dim S_3\ge2n+2\) ⇒ 交中存在两个正交单位向量。
Lemma 4.2.4. \(f\) 在 \(S\) 上有界实值,\(\emptyset\ne S_1\subset S_2\subset S\),则 \(\sup_{S_2}f\ge\sup_{S_1}f\ge\inf_{S_1}f\ge\inf_{S_2}f\)。(集合变大,sup 不减、inf 不增。)
Observation 4.2.5. \(\lambda_k(-A)=-\lambda_{n-k+1}(A)\),\(k=1,\dots,n\)。(用于由上界得下界。)
Theorem 4.2.6(Courant–Fischer 极小极大定理). \(A\) Hermitian,特征值 \(\lambda_1\le\cdots\le\lambda_n\),\(k\in\{1,\dots,n\}\),\(S\) 表示 \(\mathbf C^n\) 的子空间。则
Theorem 4.2.10. \(A\) Hermitian,\(S\) 为给定 \(k\) 维子空间,\(c\in\mathbf R\)。
- (a) 若对所有单位向量 \(x\in S\),\(x^*Ax\ge c\)(\(>c\)),则 \(\lambda_{n-k+1}(A)\ge c\)(\(>c\))。
- (b) 若对所有单位 \(x\in S\),\(x^*Ax\le c\)(\(<c\)),则 \(\lambda_k(A)\le c\)(\(<c\))。 证明:\(S_1=\operatorname{span}\{x_1,\dots,x_{n-k+1}\}\),\(\dim S+\dim S_1=n+1\),取交中单位向量 \(x\),则 \(c\le x^*Ax\le\lambda_{n-k+1}(A)\)(4.2.11)。(b) 对 \(-A\) 用 (a)。
Corollary 4.2.12. 若 \(x^*Ax\ge0\) 对某 \(k\) 维子空间中所有 \(x\) 成立,则 \(A\) 至少有 \(k\) 个非负特征值;若 \(x^*Ax>0\) 对该子空间所有非零 \(x\) 成立,则至少有 \(k\) 个正特征值。(因 \(\lambda_n\ge\cdots\ge\lambda_{n-k+1}\ge0\)。)
4.2 习题概括(PDF p.258)
- P1:(4.2.7-8) 等价于在单位向量上取 min-max/max-min。P2:若有正特征值,\(\lambda_{\max}=\max\{1/x^*x:x^*Ax=1\}\)。
- P3:\(\lambda_{\max}(A)\ge a_{ii}\ge\lambda_{\min}(A)\);某个不等式取等号仅当第 \(i\) 行(列)非对角元全为 0;\(\operatorname{diag}(1,2,3)\) 说明反之不成立。P4:对 \(A^*A\) 用 P3,\(\sigma_1\ge\|a_j\|_2\ge|a_{ij}|\)。
- P5:\(A=\begin{bmatrix}1&2\\0&1\end{bmatrix}\):特征值都是 1,但 \(\max x^TAx/x^Tx=2\),说明 Rayleigh 结论依赖 Hermitian 假设。P6:一般 \(A\),\(\min|x^*Ax/x^*x|\le|\lambda_i|\le\max|x^*Ax/x^*x|\)(数值域)。
- P7:秩–零化度定理推出子空间交引理。P8:\(B\) 半正定 ⇒ \(\lambda_k(A+B)\ge\lambda_k(A)\)。P9:4.2.10 的另一证法。
Notes:4.2.2 归功于 Rayleigh(1904 年因发现氩获诺贝尔奖);min-max 刻画见 E. Fischer (1905),Courant 推广到无穷维算子(Courant–Hilbert 1937)。
4.3 Hermitian 矩阵的特征值不等式(Eigenvalue inequalities for Hermitian matrices)(PDF p.259–280)
(约定:特征值按 (4.2.1) 非减排列 \(\lambda_1\le\cdots\le\lambda_n\)。)
(一)Weyl 不等式及其推论(PDF p.259–263)
Theorem 4.3.1(Weyl). \(A,B\in M_n\) Hermitian,则对每个 \(i=1,\dots,n\):
证明:取 \(A,B,A+B\) 的标准正交特征向量组 \(x_i,y_i,z_i\)。对给定 \(i,j\),令 \(S_1=\operatorname{span}\{x_1,\dots,x_{i+j}\}\),\(S_2=\operatorname{span}\{y_1,\dots,y_{n-j}\}\),\(S_3=\operatorname{span}\{z_i,\dots,z_n\}\),维数和 \(=(i+j)+(n-j)+(n-i+1)=2n+1\),由 4.2.3 存在单位向量 \(x\in S_1\cap S_2\cap S_3\)。三次使用 Rayleigh 定理 4.2.2:
直观:Weyl 定理描述 Hermitian 矩阵 \(A\) 被 Hermitian 矩阵 \(B\) 加性扰动后特征值的变化范围。对 \(B\) 作不同假设可得到一系列特例。
练习:\(B\) 恰有 \(\pi\) 个正特征值、\(\nu\) 个负特征值,则 \(\lambda_{n-\pi}(B)\le0\)、\(\lambda_{\nu+1}(B)\ge0\),等号 \(\iff n>\pi+\nu\)(\(B\) 奇异)。
Corollary 4.3.3. \(B\) 恰有 \(\pi\) 个正、\(\nu\) 个负特征值,则
Corollary 4.3.5. \(B\) 奇异且 \(\operatorname{rank}B=r\),则
Corollary 4.3.7. \(B\) 恰有一个正、一个负特征值,则
Corollary 4.3.9(秩一扰动的交错定理,interlacing theorem). \(n\ge2\),\(A\) Hermitian,\(z\ne0\),则
Corollary 4.3.12(单调性定理,monotonicity theorem). \(B\) 半正定,则 \(\lambda_i(A)\le\lambda_i(A+B)\)(4.3.13),等号 \(\iff\) \(B\) 奇异且存在 \(x\) 使 \(Ax=\lambda_i(A)x\)、\(Bx=0\)、\((A+B)x=\lambda_i(A+B)x\);若 \(B\) 正定,则 \(\lambda_i(A)<\lambda_i(A+B)\)(4.3.14)。(半正定 \(B\):\(\lambda_1(B)=0\iff B\) 奇异。)
Corollary 4.3.15. \(A,B\) Hermitian,
练习:\(\mathcal K=\begin{bmatrix}0_n&y\\y^*&a\end{bmatrix}\in M_{n+1}\) 的特征值为 \((a\pm\sqrt{a^2+4y^*y})/2\) 及 \(n-1\) 个 0;\(y\ne0\) 时恰一正一负。
(二)Cauchy 交错定理与加边(PDF p.262–265)
Theorem 4.3.17(Cauchy 交错定理 / 分离定理,separation theorem). \(B\in M_n\) Hermitian,\(y\in\mathbf C^n\),\(a\in\mathbf R\),\(A=\begin{bmatrix}B&y\\y^*&a\end{bmatrix}\in M_{n+1}\),则
证明:平移 \(A\to A+\mu I\) 不改变交错关系,可设 \(A,B\) 正定。令 \(\mathcal H=\begin{bmatrix}B&0\\0&0_1\end{bmatrix}\),\(\mathcal K=\begin{bmatrix}0_n&y\\y^*&a\end{bmatrix}\),\(A=\mathcal H+\mathcal K\)。\(\mathcal H\) 的有序特征值 \(\lambda_1(\mathcal H)=0<\lambda_1(B)=\lambda_2(\mathcal H)\le\cdots\),即 \(\lambda_{i+1}(\mathcal H)=\lambda_i(B)\)。\(\mathcal K\) 恰一正一负特征值,由 (4.3.8):
(4.3.9 与 4.3.17 互相蕴含,见 7.2.P15。)
逆定理:给定交错的实数组,是否一定能实现为加边矩阵或秩一扰动的特征值?答案肯定:
Theorem 4.3.21. 实数 \(\lambda_1,\dots,\lambda_n\) 与 \(\mu_1,\dots,\mu_{n+1}\) 满足交错不等式
证明要点:迹条件定 \(a=\sum\mu_i-\sum\lambda_i\)。用 Cauchy 展开 (0.8.5.10):
Theorem 4.3.26. 实数满足 \(\lambda_1\le\mu_1\le\lambda_2\le\mu_2\le\cdots\le\lambda_n\le\mu_n\)(4.3.27),\(\Lambda=\operatorname{diag}(\lambda_i)\),则存在实向量 \(z\in\mathbf R^n\) 使 \(\Lambda+zz^*\) 的特征值为 \(\mu_1,\dots,\mu_n\)。 证明:平移可设 \(\lambda_1>0\)。令 \(\mu_0=0\),则 \(0=\mu_0<\lambda_1\le\mu_1\le\cdots\);由 4.3.21 存在 \(a,y\) 使奇异矩阵 \(A=\begin{bmatrix}\Lambda&y\\y^T&a\end{bmatrix}\) 的特征值为 \(0,\mu_1,\dots,\mu_n\)。令 \(R=\Lambda^{1/2}\)。\(A\) 前 \(n\) 列线性无关,最后一列是它们的组合:\(\begin{bmatrix}y\\a\end{bmatrix}=\begin{bmatrix}\Lambda\\y^T\end{bmatrix}w\),得 \(y=R^2w\),\(a=y^Tw=(Rw)^T(Rw)\)。令 \(z=Rw\),则 \(A=\begin{bmatrix}R\\z^T\end{bmatrix}\begin{bmatrix}R&z\end{bmatrix}\),由 (1.3.22)(\(XY\) 与 \(YX\) 非零特征值相同)\(\mu_1,\dots,\mu_n\) 是 \(\begin{bmatrix}R&z\end{bmatrix}\begin{bmatrix}R\\z^T\end{bmatrix}=R^2+zz^T=\Lambda+zz^T\) 的特征值。
(三)包含原理与 Poincaré 分离定理(PDF p.265–268)
删去任意一行及对应列(不必是最后一行)所得矩阵的特征值,等于对 \(A\) 作某置换相似后删去最后行列所得矩阵的特征值。删去多行多列得到主子矩阵:
Theorem 4.3.28(包含原理,inclusion principle). \(A=\begin{bmatrix}B&C\\C^*&D\end{bmatrix}\) Hermitian,\(B\in M_m\)(4.3.29),则
Corollary 4.3.34. \(A=[a_{ij}]\) 按 (4.3.29) 分块,则
Corollary 4.3.37(Poincaré 分离定理). \(A\) Hermitian,\(1\le m\le n\),\(u_1,\dots,u_m\) 标准正交,\(B_m=[u_i^*Au_j]_{i,j=1}^m\in M_m\),则
Corollary 4.3.39(Ky Fan 迹极值). \(A\) Hermitian,\(1\le m\le n\):
(四)优超(Majorization)(PDF p.268–276)
Definition 4.3.41. \(x,y\in\mathbf R^n\),若
Definition 4.3.43. \(z^\downarrow\) 为 \(z\) 的非增重排(nonincreasing rearrangement),\(z^\uparrow\) 为非减重排。 练习:(4.3.42) 等价于"自上而下"不等式 \(\sum_{i=1}^kx_i^\downarrow\ge\sum_{i=1}^ky_i^\downarrow\)(4.3.44a,\(k=n\) 取等),也等价于"自下而上"不等式 \(\sum_{i=1}^ky_i^\uparrow\ge\sum_{i=1}^kx_i^\uparrow\)(4.3.44b)。优超在置换下不变;\(x\) 优超 \(y\) 则 \(x_1^\downarrow\ge y_1^\downarrow\ge y_n^\downarrow\ge x_n^\downarrow\)。(直观:"\(x\) 比 \(y\) 更分散"。)
Theorem 4.3.45(Schur). Hermitian \(A\) 的特征值向量 \(\lambda(A)\) 优超其对角元向量 \(d(A)=[a_{ii}]\):
Theorem 4.3.47. \(A,B\) Hermitian:
- (a)(Fan)\(\lambda(A)^\downarrow+\lambda(B)^\downarrow\) 优超 \(\lambda(A+B)\);
- (b)(Lidskii)\(\lambda(A+B)\) 优超 \(\lambda(A)^\downarrow+\lambda(B)^\uparrow\)。
证明:(a) 由 (4.3.40),\(\sum_{i\le k}\lambda_i(A+B)^\downarrow=\max\operatorname{tr}V^*(A+B)V\le\max\operatorname{tr}V^*AV+\max\operatorname{tr}V^*BV=\sum_{i\le k}(\lambda_i(A)^\downarrow+\lambda_i(B)^\downarrow)\);\(k=n\) 时迹相等。 (b) 等价改写:只需证 \(\lambda(B)\) 优超 \(\lambda(A+B)^\downarrow-\lambda(A)^\downarrow\),即对 \(k<n\),\(\sum_{i\le k}(\lambda_i(A+B)^\downarrow-\lambda_i(A)^\downarrow)^\downarrow\le\sum_{i\le k}\lambda_i(B)^\downarrow\)。可设 \(\lambda_k(B)^\downarrow=0\)(否则用 \(B-\lambda_k(B)^\downarrow I\),两边同减 \(k\lambda_k(B)\))。用 4.1.13 写 \(B=B_+-B_-\),则 \(\sum_{i\le k}\lambda_i(B)^\downarrow=\operatorname{tr}B_+\)。由单调性 (4.3.12):\(\lambda_i(A+B_+-B_-)^\downarrow-\lambda_i(A)^\downarrow\le\lambda_i(A+B_+)^\downarrow-\lambda_i(A)^\downarrow\),且后者 \(\ge0\),于是
Theorem 4.3.48(Schur–Horn 定理的逆向部分). \(x\) 优超 \(y\),\(\Lambda=\operatorname{diag}x\),则存在实正交 \(Q\) 使 \(\operatorname{diag}(Q^T\Lambda Q)=y\),即存在实对称矩阵,特征值为 \(x_1,\dots,x_n\)、对角元为 \(y_1,\dots,y_n\)。(与 4.3.45 合起来:优超恰是 Hermitian 矩阵对角元与特征值之间的精确关系。) 证明要点:设 \(x,y\) 均非增排列。\(n=1\) 平凡;若 \(x_1=x_n\) 则全相等,\(Q=I\);设 \(x_1>x_n\)。\(n=2\):\(x_1\ge y_1\ge y_2=x_1+x_2-y_1\ge x_2\),取
双随机矩阵(doubly stochastic):元素非负、每行每列和为 1(即 \(Ae=A^Te=e\))。Birkhoff 定理 (8.7.2):双随机 \(\iff\) 至多 \(n!\) 个置换矩阵的凸组合。\(P_1SP_2\) 仍双随机。
Theorem 4.3.49. \(n\ge2\),\(x,y\in\mathbf R^n\),以下等价:(a) \(x\) 优超 \(y\);(b) 存在双随机 \(S\) 使 \(y=Sx\);(c) \(y\in\{\sum_{i=1}^{n!}\alpha_iP_ix:\alpha_i\ge0,\sum\alpha_i=1,P_i\text{ 为置换矩阵}\}\)。 证明:(a)⇒(b):由 4.3.48 有正交 \(Q\) 使 \(y=\operatorname{diag}(Q\operatorname{diag}(x)Q^T)\),即 \(y_i=\sum_jq_{ij}^2x_j\),\(S=[q_{ij}^2]\) 为双随机(正交矩阵行列都是单位向量)——这类矩阵称为正交随机(orthostochastic)。(b)⇔(c) 即 Birkhoff 定理。(b)⇒(a):可设 \(x,y\) 非增;令 \(w_j^{(k)}=\sum_{i\le k}s_{ij}\in[0,1]\),\(\sum_jw_j^{(k)}=k\),则
Theorem 4.3.50. \(x\in\mathbf R^n\),\(z\in\mathbf C^n\)。\(x\) 优超 \(\operatorname{Re}z\) \(\iff\) 存在 \(A\in M_n\),特征值为 \(z_1,\dots,z_n\),且 \(H(A)=(A+A^*)/2\) 的特征值为 \(x_1,\dots,x_n\)。(即 Hermitian 部分的特征值优超特征值的实部。) 证明:Schur 三角化 \(A=UTU^*\),\(H(A)=UH(T)U^*\),\(\operatorname{diag}H(T)=[\operatorname{Re}\lambda_i]\),被 \(H(T)\) 的特征值优超 (4.3.45)。反之,由 4.3.48 取 Hermitian \(B\),特征值为 \(x\)、\(\operatorname{diag}B=\operatorname{Re}z\);令上三角 \(T\) 满足 \(\operatorname{diag}T=z\),\(t_{ij}=2b_{ij}\)(\(i<j\)),则 \(H(T)=B\)。
练习:\(x\) 优超 \(y\) ⇒ \(\sum_{i\le k}x_i^\downarrow\ge\sum_{i\le k}y_i\)(\(y\) 不必排序);\(x\) 优超 \(y\iff-x\) 优超 \(-y\)。
Lemma 4.3.51. \(x\) 优超 \(y\),\(w\in\mathbf R^n\),则
Theorem 4.3.53(迹不等式). \(A,B\) Hermitian:
4.3 习题概括(PDF p.276–280)
- 4.3.P1(最简单的扰动定理):\(\lambda_1(B)\le\lambda_i(A+B)-\lambda_i(A)\le\lambda_n(B)\),故 \(|\lambda_i(A+B)-\lambda_i(A)|\le\rho(B)\)(更多扰动定理见 6.3)。P2:\(A=\begin{bmatrix}0&1\\0&0\end{bmatrix}\)、\(B=\begin{bmatrix}0&0\\1&0\end{bmatrix}\) 说明非 Hermitian 时 Weyl 不等式不成立。P3:\(\lambda_i(A+B)\le\min\{\lambda_j(A)+\lambda_k(B):j+k=i+n\}\)。P4:\(A-B\) 半正定 ⇒ \(\lambda_i(A)\ge\lambda_i(B)\)(Loewner 序保持特征值序)。
- 4.3.P5(Jacobi/Sylvester 符号规则):顺序主子式 \(a_k=\det A[\{1..k\}]\) 均非零时,\(A\) 负特征值个数 = 序列 \(+1,a_1,\dots,a_n\) 的变号次数;故正定 \(\iff\) 所有顺序主子式为正(Sylvester 判据);讨论 \(a_i=0\) 的情形。
- P6:若某 \(a_{ii}=\lambda_1\) 或 \(\lambda_n\),则第 \(i\) 行列的非对角元全为 0。P7:用 Cauchy 交错归纳证明 Schur 优超定理。P8:\(e\) 优超 \(y\Rightarrow y=e\);\(e_i\) 优超 \(y\Rightarrow y_i\in[0,1]\)。P9:\(x\) 优超 \(Ax\) 对所有 \(x\) 成立 ⇒ \(A\) 双随机。
- P10:正规 \(A=U\Lambda U^*\),\(S=[|u_{ij}|^2]\) 双随机(unistochastic;\(U\) 实时为 orthostochastic),\(\operatorname{diag}A=S\operatorname{diag}\Lambda\)。
- P11–P12:行(列)长度平方 \(R_i^2\) 与奇异值平方:\(\sum_{i=n-k+1}^nR_i^2\ge\sum_{i=n-k+1}^n\sigma_i^2\)——"小行/小列"必然带来"小奇异值";若 \(A\) 的 \(m\) 个最大奇异值等于 \(B\) 的奇异值,则 \(C=0\)。
- P13:由 Cauchy 加边交错推出秩一扰动交错。P14:\(f_r(A)=\lambda_1+\cdots+\lambda_r\) 是 Hermitian 矩阵空间上的凹函数,\(g_r(A)=\lambda_{n-r+1}+\cdots+\lambda_n\) 是凸函数(由 4.3.39 的 min/max 表示)。
- P15:\(A\) 半正定,\(V\) 列标准正交:\(\lambda_1\cdots\lambda_m\le\det V^*AV\le\lambda_{n-m+1}\cdots\lambda_n\);一般 \(X\in M_{n,m}\):\(\lambda_1\cdots\lambda_m\det X^*X\le\det X^*AX\le\lambda_{n-m+1}\cdots\lambda_n\det X^*X\)。
- P16:谱宽(spread)\(\ge2\max_{i\ne j}|a_{ij}|\)。P17:不可约(unreduced)Hermitian 三对角矩阵(Jacobi 矩阵):特征向量末分量非零;与 \(n-1\) 阶主子矩阵的交错严格;特征值互异;顺序主子式多项式三项递推 \(p_k(t)=(t-a_{kk})p_{k-1}(t)-|a_{k-1,k}|^2p_{k-2}(t)\)(Sturm 序列)。
- P18:\(\Lambda\) 特征值互异、\(z\) 无零元 ⇒ \(\Lambda+zz^*\) 严格交错。P19:\(\lambda_i(A+zz^*)=\lambda_i(A)+\mu_i\),\(\mu_i\ge0\),\(\sum\mu_i=\|z\|_2^2\)。P20:\(\begin{bmatrix}\lambda I_n&y\\y^*&a\end{bmatrix}\) 的特征值。P21:加边后秩变化 \(\in\{0,1,2\}\);\(A\pm yy^*\) 秩变化 \(\in\{-1,0,1\}\)。P22:\([a_i+a_j]\)(\(a_i>0\) 不全等)恰一正一负特征值。
- P23:\(x+y\) 被 \(x^\downarrow+y^\downarrow\) 优超且优超 \(x^\downarrow+y^\uparrow\)。P24:Lidskii 的第三种等价形式:\(\lambda(A-B)\) 优超 \(\lambda(A)^\downarrow-\lambda(B)^\downarrow\)。P25:上双对角矩阵奇异值只依赖元素绝对值;对角与超对角非零时奇异值互异。P26:三对角矩阵特征值几何重数 \(\le2\)。P27:加边后秩增量 \(\delta\in[1,2]\) 的精确刻画。P28:\(\lambda(A+B)^\downarrow+\lambda(A-B)^\downarrow\) 优超 \(2\lambda(A)\) 与 Fan 不等式等价。P29–P30:\(\lambda(A)\) 优超 \(\lambda(A_{11}\oplus\cdots\oplus A_{mm})\),后者又优超 \(d(A)\)(Schur 定理的分块加细)。
Notes:优超的系统论述见 Marshall–Olkin (1979);Lidskii 不等式是许多扰动界的基础(6.3, 7.4),本书证明取自 Li–Mathias (1999);Weyl、Fan、Lidskii 都是 Horn 不等式的特例(Bhatia 2001);严格交错的 \(2n-1\) 个实数唯一确定一个 Jacobi 矩阵(Hald 1976,逆特征值问题)。
4.4 酉合同与复对称矩阵(Unitary congruence and complex symmetric matrices)(PDF p.280–299)
动机:单位圆盘上解析函数 \(f\)(\(f(0)=0,f'(0)=1\))单叶(univalent / schlicht)当且仅当满足 Grunsky 不等式,其代数形式为
基本观察:酉相似保持正规/Hermitian;酉合同 \(U^TAU\) 保持对称/斜对称。若 \(A=UBU^T\),则 \(A\bar A=UB\bar B U^*\)——\(A\bar A\) 与 \(B\bar B\) 酉相似,\(AA^*\) 与 \(BB^*\)、\(A^T\bar A\) 与 \(B^T\bar B\) 也都酉相似(可用同一酉矩阵)。反之不成立:\(A=\begin{bmatrix}0&1\\0&0\end{bmatrix}\)、\(B=0_2\) 有 \(A\bar A=B\bar B=0\),但不酉合同。上三角 \(\Delta\) 的 \(\Delta\bar\Delta\) 特征值 \(|d_{ii}|^2\ge0\)。\(1\times1\) 的 \([a]=[|a|e^{i\theta}]\) 经 \(U=[e^{-i\theta/2}]\) 酉合同于 \([|a|]\)。
已知 (2.6.6a):复对称矩阵酉合同于以奇异值为对角元的非负对角矩阵(Autonne–Takagi)。本节把它作为下述"酉合同下的 Schur 三角化类比"的推论。
Lemma 4.4.2. \(\lambda\) 为 \(A\bar A\) 的特征值,\(x\) 为对应单位特征向量,\(S=\operatorname{span}\{A\bar x,x\}\)(1 或 2 维)。
- (a) 若 \(\dim S=1\),则 \(\lambda\) 为非负实数,且存在单位 \(z\in S\) 使 \(A\bar z=\sigma z\),\(\sigma\ge0\),\(\sigma^2=\lambda\)。
- (b) 若 \(\dim S=2\):\(\lambda\) 非负实数时,存在单位 \(z\in S\) 使 \(A\bar z=\sigma z\),\(\sigma=\sqrt\lambda\);\(\lambda\) 非实或为负实数时,对所有 \(y\in S\) 有 \(A\bar y\in S\)。
证明:(a) \(A\bar x=\mu x\),则 \(\lambda x=A\bar A x=A\overline{(A\bar x)}=A\bar\mu\bar x=\bar\mu\mu x\),\(|\mu|^2=\lambda\);取 \(\theta\) 使 \(e^{-2i\theta}\mu=|\mu|\),\(z=e^{i\theta}x\),则 \(A\bar z=e^{-i\theta}\mu x=|\mu|z\)。(b) \(\{A\bar x,x\}\) 是 \(S\) 的基,\(y=\alpha A\bar x+\beta x\),\(A\bar y=\bar\alpha\lambda x+\bar\beta A\bar x\in S\)。\(\lambda\ge0\) 时令 \(\sigma=\sqrt\lambda\),\(y=A\bar x+\sigma x\ne0\),\(A\bar y=\lambda x+\sigma A\bar x=\sigma y\),\(z=y/\|y\|\)。
Definition(共轭不变子空间):若 \(A\bar x\in S\) 对所有 \(x\in S\) 成立,称 \(S\) 为 \(A\)-共轭不变(\(A\)-coninvariant)。类比 \(A\)-不变子空间:每个 \(A\) 有 1 维不变子空间;而每个 \(A\) 有 1 维或 2 维共轭不变子空间(\(A\bar A\) 有非负特征值时为 1 维,否则 2 维)。
Theorem 4.4.3. \(p\in\{0,\dots,n\}\),\(A\bar A\) 至少有 \(p\) 个非负实特征值 \(\lambda_1,\dots,\lambda_p\),则存在酉 \(U\) 使
练习:上三角矩阵对称 \(\iff\) 对角。
Corollary 4.4.4. 设 \(A\in M_n\)。
- (a) 若 \(A=U\Delta U^T\)(\(U\) 酉,\(\Delta\) 上三角),则 \(A\bar A\) 的特征值全非负。(\(A\bar A=U\Delta\bar\Delta U^*\),特征值为 \(|d_{ii}|^2\)。)
- (b) 若 \(A\bar A\) 至少有 \(n-1\) 个非负实特征值,则存在酉 \(U\) 使 \(A=U\Delta U^T\),\(\Delta\) 上三角,\(d_{ii}\ge0\),\(d_{11}^2,\dots,d_{nn}^2\) 为 \(A\bar A\) 的特征值(全部非负实数)。
- (c)(Autonne)若 \(A\) 对称,则存在酉 \(U\) 使 \(A=U\Sigma U^T\),\(\Sigma\) 为非负对角矩阵,对角元为 \(A\) 的奇异值(可任意排序)。证明:\(A\bar A=AA^*\) 的特征值为奇异值平方,由 (b) \(A=U\Delta U^T\);\(\Delta\) 酉合同于对称矩阵故对称,又上三角,从而对角;用置换 \(P\) 可任意排序。
- (d)(唯一性)\(A\) 对称、\(\operatorname{rank}A=r\),\(s_1,\dots,s_d\) 为互异正奇异值(重数 \(n_1,\dots,n_d\)),\(\Sigma=s_1I_{n_1}\oplus\cdots\oplus s_dI_{n_d}\oplus0_{n-r}\)。则 \(A=U\Sigma U^T=V\Sigma V^T\) 当且仅当 \(V=UZ\),\(Z=Q_1\oplus\cdots\oplus Q_d\oplus\tilde Z\),\(\tilde Z\in M_{n-r}\) 酉,每个 \(Q_j\in M_{n_j}\) 实正交。若奇异值互异(\(d\ge n-1\)),则 \(V=UD\),\(D=\operatorname{diag}(d_1,\dots,d_n)\),\(d_i=\pm1\)(\(i<n\)),\(A\) 非奇异时 \(d_n=\pm1\),奇异时 \(|d_n|=1\)。
证明 (d):\(A=U\Sigma\bar U^*=V\Sigma\bar V^*\) 是 SVD,由 (2.6.5) \(U=VX\)、\(\bar U=\bar VY\),\(X=Z_1\oplus\cdots\oplus Z_d\oplus\tilde Z\),\(Y=Z_1\oplus\cdots\oplus Z_d\oplus\tilde Y\);于是 \(X=V^*U=\overline{V^T\bar U}=\bar Y\),推出 \(Z_j=\bar Z_j\),即每个 \(Z_j\) 实且酉——实正交。
\(A\bar A\) 的特征值结构:由 3.4.1.9,\(A\bar A\) 总相似于实矩阵,故 \(\operatorname{tr}A\bar A\) 为实数、非实特征值成共轭对。对 \(A\in M_2\),\(p_{A\bar A}(t)=t^2-(\operatorname{tr}A\bar A)t+|\det A|^2\),有实根 \(\iff\) 判别式 \((\operatorname{tr}A\bar A)^2-4|\det A|^2\ge0\)。斜对称 \(A\):\(A\bar A=-AA^*\),特征值为非正实数。\(\operatorname{tr}(A\bar A)\)、\(\det(A\bar A)=|\det A|^2\) 是酉合同不变量。
Proposition 4.4.5. \(A\in M_2\),\(\sigma_1\ge\sigma_2\ge0\) 为对称部分 \(S(A)=\tfrac12(A+A^T)\) 的奇异值(相等时记 \(\sigma\))。
- (a) \(A\) 酉合同于 \(\begin{bmatrix}\sigma_1&\zeta\\-\zeta&\sigma_2\end{bmatrix}\),\(\zeta\in\mathbf C\)(4.4.6)。(对 \(S(A)\) 用 Autonne,斜对称部分 \(C(A)\) 经酉合同后仍斜对称,形如 \(\begin{bmatrix}0&\zeta\\-\zeta&0\end{bmatrix}\)。)
- (b) \(A\bar A\) 有一对非实共轭特征值 \(\iff\) \(A\) 酉合同于 (4.4.6) 形且 \(2|\sigma_1\bar\zeta+\sigma_2\zeta|>\sigma_1^2-\sigma_2^2\)(4.4.7);\(\sigma_1=\sigma_2\) 时等价于 \(\sigma>0\) 且 \(\operatorname{Re}\zeta\ne0\)。(计算:\(\operatorname{tr}A\bar A=\sigma_1^2+\sigma_2^2-2|\zeta|^2\),\(|\det A|^2=\sigma_1^2\sigma_2^2+2\sigma_1\sigma_2\operatorname{Re}\zeta^2+|\zeta|^4\),判别式 \(r(A)=(\sigma_1^2-\sigma_2^2)^2-4|\sigma_1\bar\zeta+\sigma_2\zeta|^2\)。)
- (c) \(A\bar A\) 有两个负实特征值 \(\iff\) \(\sigma_1=\sigma_2\) 且 \(A\) 酉合同于 \(\begin{bmatrix}\sigma&i\xi\\-i\xi&\sigma\end{bmatrix}\),\(\xi>\sigma\ge0\)(4.4.8a),此时 \(\sigma^2-\xi^2\) 是 \(A\bar A\) 的二重负特征值;\(\sigma=0\) 时酉合同于 \(\begin{bmatrix}0&\xi\\-\xi&0\end{bmatrix}\)(4.4.8b),\(-\xi^2\) 为二重负特征值、\(\xi\) 为二重奇异值。(证明关键:\(r(A)\ge0\) 且 \(\operatorname{tr}<0\) 时推出 \(0\le r(A)\le-(\sigma_1-\sigma_2)^4\),故 \(\sigma_1=\sigma_2\);进而 \(r=-8\sigma^2|\operatorname{Re}\zeta|\ge0\) 推出 \(\operatorname{Re}\zeta=0\) 或 \(\sigma=0\)。)
- (d) \(A\bar A\) 的两个特征值:若 \(\lambda_1\) 非实则 \(\lambda_2=\bar\lambda_1\);\(\lambda_1\) 非负实则 \(\lambda_2\) 也是;\(\lambda_1\) 负实则 \(\lambda_2=\lambda_1\)。(\(A\bar A\) 的负实特征值成对相等——这是很不平凡的。) 练习:\(\sigma_1=\sigma_2\iff\) \(A\) 的对称部分是酉矩阵的纯量倍。
Theorem 4.4.9(Youla 分解). \(A\bar A\) 恰有 \(p\) 个非负实特征值,则存在酉 \(U\) 使
- (a) 非实共轭对时 \(\Gamma_{jj}\) 可取 \(\begin{bmatrix}\sigma_1&\zeta\\-\zeta&\sigma_2\end{bmatrix}\),\(\sigma_1>\sigma_2\ge0\),\(2|\sigma_1\bar\zeta+\sigma_2\zeta|>\sigma_1^2-\sigma_2^2\)(4.4.11a),或 \(\begin{bmatrix}\sigma&\zeta\\-\zeta&\sigma\end{bmatrix}\),\(\sigma>0\),\(\operatorname{Re}\zeta\ne0\)(4.4.11b);
- (b) 相等负实数对时取 \(\begin{bmatrix}\sigma&i\xi\\-i\xi&\sigma\end{bmatrix}\),\(\xi>\sigma>0\)(4.4.12a),或 \(\begin{bmatrix}0&\xi\\-\xi&0\end{bmatrix}\),\(\xi>0\)(4.4.12b)。 证明:4.4.3 给出 \(\Delta\) 部分;对 \(C\in M_q\)(\(C\bar C\) 无非负特征值,\(q\ge2\)):取特征向量 \(x\),由 4.4.2,\(S=\operatorname{span}\{C\bar x,x\}\) 为 2 维 \(C\)-共轭不变子空间,取其标准正交基 \(u,v\) 并扩充为酉 \(V\),则 \(V^*C\bar V=\begin{bmatrix}C_{11}&\star\\0&D\end{bmatrix}\),\(C_{11}\in M_2\);\(q-2=1\) 不可能(\(D\bar D\) 会有非负特征值),归纳;最后对每个 \(2\times2\) 对角块用 4.4.5 化成标准形。
Corollary 4.4.13. \(A\bar A\) 的非实特征值成共轭对出现;负实特征值成相等的对出现。(更强:对负实特征值 \(\lambda\),\(A\bar A\) 的 Jordan 形中每个 \(J_k(\lambda)\) 都出现偶数次,见 4.6.16。) Youla 分解之于酉合同,犹如 Schur 分解之于酉相似;但二者都不是标准形(对角块确定,非对角部分不确定)。
Definition 4.4.14. \(A\) 称为共轭正规(conjugate normal),若 \(AA^*=\overline{A^*A}\)。复对称、复斜对称、酉矩阵、实正规矩阵都是共轭正规的。共轭正规性在酉合同、纯量乘、直和下保持;\([a]\) 和 \(\begin{bmatrix}a&b\\-b&a\end{bmatrix}\in M_2(\mathbf R)\) 都是共轭正规。
Lemma 4.4.15(类比 2.5.2). \(A=\begin{bmatrix}A_{11}&A_{12}\\0&A_{22}\end{bmatrix}\) 共轭正规 \(\iff\) \(A_{11},A_{22}\) 共轭正规且 \(A_{12}=0\)。分块上三角共轭正规 \(\iff\) 分块对角且对角块共轭正规;上三角共轭正规 \(\iff\) 对角。 证明:比较 \(\overline{A^*A}=AA^*\) 的 (1,1) 块:\(\overline{A_{11}^*A_{11}}=A_{11}A_{11}^*+A_{12}A_{12}^*\),取迹(Hermitian 矩阵的迹为实数)得 \(\operatorname{tr}A_{12}A_{12}^*=0\)。
Theorem 4.4.16(共轭正规矩阵的酉合同标准形). \(A\) 共轭正规 \(\iff\) 酉合同于
Corollary 4.4.18. 方阵共轭正规 \(\iff\) 酉合同于若干实正交矩阵的非负纯量倍的直和。
Corollary 4.4.19(斜对称矩阵的酉合同标准形). \(A\) 斜对称,则 \(r=\operatorname{rank}A\) 为偶数,非零奇异值成对 \(\sigma_1=\sigma_2=s_1\ge\sigma_3=\sigma_4=s_2\ge\cdots\),且 \(A\) 酉合同于
Corollary 4.4.21(酉矩阵的酉合同标准形). 酉矩阵 \(V\) 酉合同于
复对称矩阵的 Jordan 形:令
练习:\(S_mJ_m(\lambda)S_m^{-1}=\lambda I+\tfrac12(J_m(0)+K_mJ_m(0)K_m)+\tfrac i2(K_mJ_m(0)-J_m(0)K_m)\) 是对称矩阵。
Theorem 4.4.24. 每个 \(A\in M_n\) 都相似于一个复对称矩阵。(每个 Jordan 块经 \(S_m\) 相似于对称矩阵。)所以复对称矩阵的 Jordan 形没有任何特殊性——与实对称(必可对角化)截然不同。推论:每个复方阵相似于其转置,且是两个复对称矩阵之积。
Corollary 4.4.25. 每个 \(A\) 可写成 \(A=BC\),\(B,C\) 对称,且可任选其一非奇异。证明:\(A=SES^{-1}\),\(E=E^T\),则 \(A=(SES^T)(SS^T)^{-1}=(SS^T)(S^{-T}ES^{-1})\)。
Lemma 4.4.26. \(X\in M_{n,k}\),\(k\le n\)。\(X^TX\) 非奇异 \(\iff\) \(X=YB\),\(Y^TY=I_k\),\(B\in M_k\) 非奇异。 证明:由 Autonne(4.4.4c)\(X^TX=U\Sigma U^T\);令 \(R=\Sigma^{1/2}\),\(Y=X\bar UR^{-1}\),\(B=RU^T\) 即可。 例:\(X=[1\ i]^T\) 秩为 1 但 \(X^TX=0\)(迷向向量,isotropic vector:\(x^Tx=0\))。对称矩阵 \(A\):\(x\) 为右特征向量 \(\iff\bar x\) 为左特征向量。
Theorem 4.4.27. 复对称矩阵 \(A\) 可对角化 \(\iff\) 可经复正交矩阵对角化(\(A=Q\Lambda Q^T\),\(Q^TQ=I\))。 证明:若 \(Ax=\lambda x\)、\(Ay=\mu y\)、\(\lambda\ne\mu\),由双正交原理 (1.4.7) \(y^Tx=0\)。\(A=S\Lambda S^{-1}\),\(\Lambda=\lambda_1I_{n_1}\oplus\cdots\),\(S=[S_1\ \cdots\ S_d]\),则 \(S^TS=S_1^TS_1\oplus\cdots\oplus S_d^TS_d\) 非奇异,各块非奇异,由 4.4.26 \(S_i=Y_iB_i\),\(Y_i^TY_i=I\),且 \(Y_i^TY_j=0\);\(Y=[Y_1\cdots Y_d]\) 复正交,\(A=Y\Lambda Y^T\)。 推广:若存在多项式 \(p\) 使 \(A^T=p(A)\)、\(B^T=p(B)\),则 \(A,B\) 相似 \(\iff\) 复正交相似(HJ 1991,6.4.18)。
4.4 习题概括(PDF p.292–298)
-
P1:\(A\) 对称 \(\iff A=SS^T\)(\(\operatorname{rank}S=\operatorname{rank}A\));对称酉 \(\iff A=VV^T\)(\(V\) 酉)。P2–P3:Autonne 分解的另两种证明(实表示 \(R_2(A)=\begin{bmatrix}A_1&A_2\\A_2&-A_1\end{bmatrix}\);或 \(A\bar A\) Hermitian 对角化后用对称正规矩阵的实正交对角化)。P4:实对称时 Autonne 与谱分解的关系。
-
P5:\(A\) 酉相似于复对称矩阵 \(\iff\) 经对称酉矩阵相似于 \(A^T\);\(n\le7\) 时"酉相似于 \(A^T\)"足以推出,\(n=8\) 不行(Garcia–Tener 2012)。P6:\(2\times2\) 时 \(A\bar A\) 有非实共轭特征值 \(\iff-2|\det A|<\operatorname{tr}A\bar A<2|\det A|\);两负特征值 \(\iff\operatorname{tr}A\bar A\le-2|\det A|<0\)。P7–P8:约化算法的具体计算(\(\begin{bmatrix}1&i\\-i&1\end{bmatrix}=U\begin{bmatrix}0&2\\0&0\end{bmatrix}U^T\);\(\begin{bmatrix}1&i\\i&1\end{bmatrix}\) 酉合同于 \(\operatorname{diag}(\sqrt2,\sqrt2)\))。
-
P9:\(UAU^*\) 实 \(\iff\) 存在对称酉 \(W\) 使 \(\bar A=WAW^*\)。P10:迷向 \(v\) 时 \(vv^T\) 幂零不可对角化。P11–P13:对称非奇异的逆对称;每个方阵相似于其转置;实方阵相似于复对称矩阵但一般不经实相似相似于实对称矩阵。P14:解析函数的复 Hessian 经酉变量替换可在一点对角化。
-
P15–P16:共轭正规 \(A,B\) 酉合同 \(\iff A\bar A\) 与 \(B\bar B\) 特征值相同;另一标准形:块 \([\sigma]\) 或 \(\tau\begin{bmatrix}0&1\\e^{i\theta}&0\end{bmatrix}\)(\(0<\theta\le\pi\))(4.4.28)。P17:对称 \(A\) 有 \(\{x^TAx:\|x\|=1\}=\{|z|\le\sigma_1\}\)。P18:共轭正规 \(\iff\) 酉合同于实正规矩阵。P19:\(\operatorname{tr}AA^*\ge\operatorname{tr}A\bar A\)(后者为实数)。
-
P20–P21:\(K_mJ_m(\lambda)\) 对称,给出 4.4.25 的不依赖 4.4.24 的证明;实矩阵是两个实对称矩阵之积。P22:对称且 \(A^2=I\) ⇒ \(A=Q(-I_k\oplus I_{n-k})Q^T\)。P23:Toeplitz 矩阵 \(A\) 有 SVD \(A=(K_nU)\Sigma U^T\)。P24–P25:迷向特征向量对应的特征值不是单特征值;对称矩阵有 \(n\) 个互异特征值则无迷向特征向量。P26:实矩阵复正交相似 \(\iff\) 实正交相似。
-
P27:对称 \(A=U\Sigma U^T\),\(\operatorname{diag}A=S\operatorname{diag}\Sigma\),\(S=[u_{ij}^2]\);推出 \(\sigma_1\le|a_{11}|+\cdots+|a_{nn}|+\sigma_2+\cdots+\sigma_n\);对角为零时 \(\sigma_1\le\sigma_2+\cdots+\sigma_n\)。P28:\(\det(I+A\bar A)\ge0\)。
-
P29(四元数型矩阵):\(A=\begin{bmatrix}A_{11}&A_{12}\\-\bar A_{12}&\bar A_{11}\end{bmatrix}\);\(\det A\ge0\) 实;\(S_{2n}A=\bar AS_{2n}\);对多项式运算封闭;Jordan 形由成对 \(J_k(\lambda)\oplus J_k(\bar\lambda)\) 组成,\(A\sim F\oplus\bar F\)。
-
P30–P34:\(A=BC\) 分解(对称×斜对称、斜×斜、对称×对称)是相似不变性质,由 Jordan 形刻画:对称×斜对称 \(\iff A\sim-A\);斜×斜 \(\iff\) 非奇异部分由 \(J_k(\lambda)\oplus J_k(\lambda)\) 对组成且零特征值 Segre 特征满足 \(s_{2k-1}-s_{2k}\le1\);斜对称矩阵的 Jordan 形只含 \(J_k(\lambda)\oplus J_k(-\lambda)\)(\(\lambda\ne0\))、偶数阶 \(J_k(0)\) 对、奇数阶 \(J_k(0)\)。
-
P35–P37:实正交矩阵可对角化;复正交矩阵可不可对角化(例:Jordan 形 \(J_2(2)\oplus J_2(\tfrac12)\));复正交矩阵 Jordan 形的五类直和项(\(J_k(\lambda)\oplus J_k(\lambda^{-1})\) 等)。
-
P38–P39(QS 分解):\(A=QS\)(\(Q\) 复正交,\(S\) 复对称)存在 \(\iff\operatorname{rank}(AA^T)^k=\operatorname{rank}(A^TA)^k\ \forall k\) \(\iff AA^T\sim A^TA\);非奇异时总存在且 \(S=p(A^TA)\);由此强化 4.4.27。
-
P40:\(A\) 正规 \(\iff\begin{bmatrix}0&A\\\bar A&0\end{bmatrix}\) 共轭正规。P41–P43:合同正规(congruence normal,\(A\bar A\) 正规)矩阵酉合同于块 \([\sigma]\) 或 \(\tau\begin{bmatrix}0&1\\\mu&0\end{bmatrix}\)(\(\mu\ne1\))的直和(4.4.29);\(A\bar A\) Hermitian 时 \(\mu\in[-1,1)\)(4.4.30);\(A\bar A\) 半正定时 \(\mu\in[0,1)\)(4.4.31)。P44:\(A\bar A=AA^*\iff A\) 对称;\(A\bar A=-AA^*\iff\) 斜对称。P45:对称酉矩阵两两酉合同。
-
P46–P47(判定酉合同的算法):\(A,B\) 酉合同 ⇒ 三对 \((AA^*,BB^*)\)、\((A\bar A,B\bar B)\)、\((A^T\bar A,B^T\bar B)\) 可同时酉相似(且已知充分);构造 \(4n\times4n\) 分块上三角矩阵
\[K_A=\begin{bmatrix}0&I&AA^*&A\bar A\\&0&I&A^T\bar A\\&&0&I\\&&&0\end{bmatrix}\quad(4.4.32)\]则 \(A,B\) 酉合同 \(\iff K_A,K_B\) 酉相似——把酉合同问题化为酉相似问题。P48:奇异值互异时共轭正规 \(\iff\) 对称。P49:\(A=U\Sigma U^T\)(\(\Sigma\) 为单位阵与 \(\begin{bmatrix}0&\sigma^{-1}\\\sigma&0\end{bmatrix}\)(\(\sigma>1\))块的直和)是共轭对合(coninvolutory,\(A\bar A=I\))的特殊 SVD。
Notes:Youla (1961) 给出酉合同下的分块三角形;Horn–Sergeichuk (2009) 给出酉合同与 *合同的标准形;Faßbender–Ikramov (2008) 列出 45 条共轭正规的等价条件;Autonne (1915) 最早发现 (4.4.4c)(Autonne–Takagi 分解),后被 Takagi (1925)、Siegel、Hua、Schur 等多次重新发现;QS 分解的秩条件见 Kaplansky (1990)。
4.5 合同与对角化(Congruences and diagonalizations)(PDF p.299–320)
三个动机例子:
- 二阶 PDE 的变量替换:\(Lf=\sum a_{ij}(x)\partial^2f/\partial x_i\partial x_j+\) 低阶项(4.5.1),\(A(x)\) 实对称。非奇异变量替换 \(s=s(x)\),Jacobian \(S(x)=[\partial s_i/\partial x_j]\),则新系数矩阵 \(B=SAS^T\)(式 4.5.3 的转置形式)。物理定律不应依赖坐标选择,因此关心 \(\{SAS^T\}\) 的不变量。
- 协方差矩阵(统计):复随机向量 \(X\)(有限二阶矩),\(\operatorname{Cov}(X)=[E(X_i-\mu_i)\overline{(X_j-\mu_j)}]\) 为 Hermitian 矩阵。对线性变换 \(SX\):\(E(SX)=S\mu\),且
\[\operatorname{Cov}(SX)=S\operatorname{Cov}(X)S^*\quad(4.5.3^*)\]
- 二次型与 Hermitian 型:\(Q_A(x)=x^TAx\),\(H_B(x)=x^*Bx\);\(Q_A(Sx)=Q_{S^TAS}(x)\),\(H_B(Sx)=H_{S^*BS}(x)\)。
Definition 4.5.4. \(S\) 非奇异。(a) \(B=SAS^*\):\(B\) 与 \(A\) *合同(star-congruent,或 conjunctive);(b) \(B=SAS^T\):合同或 \(^T\)合同(tee-congruent)。合同矩阵秩相同。\(S\) 即使奇异,\(SAS^*\) 也保持 Hermitian、\(SAS^T\) 也保持对称;通常对 Hermitian 用 *合同,对对称用 \(^T\)合同。
Theorem 4.5.5. *合同与合同都是等价关系。(自反 \(A=IAI^*\);对称 \(B=S^{-1}A(S^{-1})^*\);传递 \(A=(S_1S_2)C(S_1S_2)^*\)。)
Definition 4.5.6(惯性,inertia). Hermitian \(A\) 的惯性为三元组 \(i(A)=(i_+(A),i_-(A),i_0(A))\):正、负、零特征值个数。符号差(signature)为 \(i_+(A)-i_-(A)\)。\(\operatorname{rank}A=i_++i_-\);惯性由秩与符号差唯一确定。
惯性矩阵:\(A=U\Lambda U^*\),特征值排成正、负、零,令 \(D=\operatorname{diag}(\lambda_1^{1/2},\dots,\lambda_{i_+}^{1/2},(-\lambda_{i_++1})^{1/2},\dots,1,\dots,1)\),则 \(\Lambda=DI(A)D\),其中
Theorem 4.5.7. 每个 Hermitian 矩阵 *合同于其惯性矩阵。(实对称矩阵经实矩阵合同于其惯性矩阵。)
Theorem 4.5.8(Sylvester 惯性定律,law of inertia). Hermitian \(A,B\) *合同 \(\iff\) 惯性相同(正、负特征值个数分别相同)。 证明:充分性由 4.5.7。必要性:\(A=SBS^*\),秩相同故 \(i_0\) 相同,只需证 \(i_+\) 相同。令 \(S_+(A)\) 为 \(A\) 正特征值的特征向量张成的子空间(维数 \(i_+(A)\)),其上 \(x^*Ax>0\)。\(S^*S_+(A)\) 也是 \(i_+(A)\) 维,且对 \(y=S^*x\ne0\),\(y^*By=x^*SBS^*x=x^*Ax>0\),由 4.2.12 \(i_+(B)\ge i_+(A)\);交换角色得等号。 练习:Hermitian \(A\) *合同于 \(I\) \(\iff\) 正定。实对称矩阵经复矩阵 *合同 \(\iff\) 经实矩阵合同。\(A\) 与 \(SAS^*\) 的第 \(j\) 个(非减序)特征值同号(负、零、正)。
Theorem 4.5.9(Ostrowski,惯性定律的定量形式). \(A\) Hermitian,\(S\) 非奇异,\(A,SAS^*,SS^*\) 的特征值非减排列,\(\sigma_1\ge\cdots\ge\sigma_n>0\) 为 \(S\) 的奇异值。则对每个 \(k\) 存在 \(\theta_k\in[\sigma_n^2,\sigma_1^2]\) 使
Corollary 4.5.11. \(A\) Hermitian,\(S\) 任意(可奇异),则存在 \(\theta_k\in[\sigma_n^2,\sigma_1^2]\)(非负)使 \(\lambda_k(SAS^*)=\theta_k\lambda_k(A)\)。特别地,\(SAS^*\) 的正(负)特征值个数不超过 \(A\) 的。(原书此处写"nonincreasing order (4.2.1)",按 4.2.1 实为非减排列。)
Theorem 4.5.12(复对称矩阵的 \(^T\)合同标准形). 复对称 \(A,B\) 存在非奇异 \(S\) 使 \(A=SBS^T\) \(\iff\operatorname{rank}A=\operatorname{rank}B\)。 证明:Autonne:\(A=U_1\Sigma_1U_1^T=(U_1D_1)I(\Sigma_1)(U_1D_1)^T\),\(D_1=\operatorname{diag}(d_i)\),\(d_i=\sqrt{\sigma_i}\)(\(\sigma_i>0\))或 1,\(I(\Sigma_1)=I_r\oplus0\) 只依赖秩。\(B\) 同理,\(S=(U_1D_1)(U_2D_2)^{-1}\)。即复对称矩阵在合同下的标准形为 \(I_r\oplus0_{n-r}\)(复数域上没有"符号")。 练习:对称 \(A,B\):存在非奇异 \(X,Y\) 使 \(A=XBY\) \(\iff\) 存在非奇异 \(S\) 使 \(A=SBS^T\)。
Theorem 4.5.13(Ostrowski 型结论的 \(^T\)合同版本). \(A\) 对称,\(A=U\Sigma U^T\)、\(SAS^T=VMV^T\) 为 Autonne 分解,\(\sigma_i,\mu_i,\lambda_i(SS^*)\) 都非减排列,则对每个 \(k\) 存在 \(\theta_k\in[\lambda_1(SS^*),\lambda_n(SS^*)]\) 使 \(\mu_k=\theta_k\sigma_k\);\(S\) 非奇异时 \(\theta_k>0\)。 证明:\(\mu_k^2=\lambda_k(SAS^T\bar S\bar AS^*)=\hat\theta_k\lambda_k(AS^T\bar S\bar A)\)(4.5.11),再用 (1.3.22) \(=\hat\theta_k\lambda_k(SA\bar AS^*)\cdot\)…\(=\hat\theta_k\tilde\theta_k\sigma_k^2\),\(\theta_k=(\hat\theta_k\tilde\theta_k)^{1/2}\)。
(二)同时对角化(PDF p.305–308)
动机(小振动力学):稳定平衡点附近势能 \(V=\sum a_{ij}q_iq_j\)、动能 \(T=\sum b_{ij}\dot q_i\dot q_j\)(\(A,B\) 实对称)。Lagrange 方程 \(\frac{d}{dt}\frac{\partial T}{\partial\dot q_i}-\frac{\partial T}{\partial q_i}+\frac{\partial V}{\partial q_i}=0\) 是耦合的二阶常系数线性 ODE 组。若存在实非奇异 \(S\) 使 \(SAS^T\)、\(SBS^T\) 同时对角,则在新坐标 \(q_i=\sum_js_{ij}p_j\)(4.5.14)下方程解耦为 \(n\) 个独立方程(简正模态,normal modes)。动能正定是同时合同对角化的充分(非必要)条件。
Theorem 4.5.15(酉型同时对角化).
- (a) \(A,B\) Hermitian:存在酉 \(U\) 和实对角 \(\Lambda,M\) 使 \(A=U\Lambda U^*\)、\(B=UMU^*\) \(\iff AB\) Hermitian(\(AB=BA\))。(即 4.1.6。)
- (b) \(A,B\) 对称:存在酉 \(U\) 和对角 \(\Lambda,M\) 使 \(A=U\Lambda U^T\)、\(B=UMU^T\) \(\iff A\bar B\) 正规;可取实对角 \(\iff A\bar B\) Hermitian(\(A\bar B=B\bar A\))。
- (c) \(A\) Hermitian、\(B\) 对称:存在酉 \(U\) 和对角 \(\Lambda,M\) 使 \(A=U\Lambda U^*\)、\(B=UMU^T\) \(\iff AB\) 对称(\(AB=B\bar A\))。 证明 (c):必要性:\(AB=U\Lambda MU^T\) 对称,且 \(AB=(AB)^T=B^TA^T=B\bar A\)。充分性:\(A=U\Lambda U^*\),\(\Lambda=\lambda_1I_{n_1}\oplus\cdots\)(互异),由 \(AB=B\bar A\) 得 \(\Lambda U^*B\bar U=U^*B\bar U\Lambda\),故 \(U^*B\bar U=B_1\oplus\cdots\oplus B_d\) 分块对角(2.4.4.2),每块对称,Autonne 给出 \(B_j=V_j\Sigma_jV_j^T\);\(V=\oplus V_j\) 与 \(\Lambda\) 可交换,\(W=UV\) 即为所求。
Definition 4.5.16. \(A\) 可共轭对角化(condiagonalizable):存在非奇异 \(S\)、对角 \(\Lambda\) 使 \(A=S\Lambda\bar S^{-1}\)。三个事实:(1) \(\Lambda\) 对角元可任意排序;(2) 可取 \(\Lambda\) 为非负实对角(\(\Lambda=D|\Lambda|D\),\(D=\operatorname{diag}(|\lambda_j|^{1/2}e^{i\theta_j/2})=\bar D^{-1}\) 的适当形式);(3) \(A\) 非奇异时 \(A\) 可共轭对角化 \(\iff A^{-1}\) 可共轭对角化。
Theorem 4.5.17(非奇异合同下的同时对角化).
- (a) \(A,B\) Hermitian,\(A\) 非奇异,\(C=A^{-1}B\)。存在非奇异 \(S\) 和实对角 \(\Lambda,M\) 使 \(A=S\Lambda S^*\)、\(B=SMS^*\) \(\iff\) \(C\) 可对角化且特征值全实。
- (b) \(A,B\) 对称,\(A\) 非奇异,\(C=A^{-1}B\)。存在非奇异 \(S\) 和复对角 \(\Lambda,M\) 使 \(A=S\Lambda S^T\)、\(B=SMS^T\) \(\iff C\) 可对角化。
- (c) \(A\) Hermitian、\(B\) 对称,至少一个非奇异;\(C=A^{-1}B\)(\(A\) 非奇异时)或 \(C=B^{-1}A\)(\(B\) 非奇异时)。存在非奇异 \(S\) 和实对角 \(\Lambda,M\) 使 \(A=S\Lambda S^*\)、\(B=SMS^T\) \(\iff C\) 可共轭对角化。
证明 (a) 充分性:\(C=S\Lambda S^{-1}\),\(\Lambda=\lambda_1I_{n_1}\oplus\cdots\oplus\lambda_dI_{n_d}\) 实且互异。\(BS=AS\Lambda\),故 \(S^*BS=S^*AS\Lambda\)。按 \(\Lambda\) 分块 \(S^*BS=[B_{ij}]\)、\(S^*AS=[A_{ij}]\):\(B_{ij}=\lambda_jA_{ij}\)、\(B_{ji}=\lambda_iA_{ji}\),再由 Hermitian 性 \(B_{ij}^*=B_{ji}\) 等得 \((\lambda_i-\lambda_j)A_{ij}^*=0\),故 \(i\ne j\) 时 \(A_{ij}=0\),\(S^*AS=A_{11}\oplus\cdots\oplus A_{dd}\),\(S^*BS=S^*AS\Lambda\)。各 \(A_{ii}=V_i^*D_iV_i\)(实对角 \(D_i\)),\(V=\oplus V_i\) 与 \(\Lambda\) 可交换,\(A=RDR^*\)、\(B=R(D\Lambda)R^*\),\(R=S^{-*}V^*\)。 (b) 与 (a) 平行(用转置,\(A_{ii}=V_i^TD_iV_i\) 由 Autonne 得非负对角 \(D_i\))。 (c) \(A\) 非奇异:\(C=S\Lambda\bar S^{-1}\),\(\Lambda\) 实非负,\(0\le\lambda_1<\cdots<\lambda_d\)。\(B\bar S=AS\Lambda\),\(S^*B\bar S=S^*AS\Lambda\);分块后得 \(\lambda_jA_{ij}=\lambda_i\bar A_{ij}\),看元素 \(\lambda_ja=\lambda_i\bar a\Rightarrow\lambda_j|a|=\lambda_i|a|\Rightarrow a=0\)(\(i\ne j\)),故 \(S^*AS\) 分块对角 Hermitian;\(B_{ii}=\lambda_iA_{ii}\) 同时对称与 Hermitian,所以 \(\lambda_i\ne0\) 时 \(A_{ii}\) 实对称,用实正交 \(V_i\) 对角化;\(\lambda_1=0\) 时用酉 \(V_1\)。得 \(A=RDR^*\),\(B=R(\Lambda D)R^T\),\(R=S^{-*}V^*\)。\(B\) 非奇异情形类似。
练习:结合 4.4.25 说明 (b) 的条件对 \(A,B\) 限制很强。(c) 中"\(C\) 可共轭对角化"等价于 \(\operatorname{rank}C=\operatorname{rank}C\bar C\)、\(C\bar C\) 的特征值全为非负实数且 \(C\bar C\) 可对角化(4.6.11)。
(量化相关的关键特例):若 \(A\) 正定,则 \(C=A^{-1}B\) 相似于 Hermitian 矩阵 \(A^{-1/2}BA^{-1/2}\),必可对角化且特征值实,故 \(A,B\) 可同时 *合同对角化——这就是广义特征值问题 \(Bx=\lambda Ax\) 的理论基础。
(三)*合同与合同标准形(PDF p.309–315)
Lemma 4.5.18. \(A=H+iK\)(Toeplitz 分解)。\(A\) 可经 *合同对角化 \(\iff H,K\) 可同时 *合同对角化。(\(SAS^*=SHS^*+iSKS^*\);若 \(B+iC\) 对角(\(B,C\) Hermitian),则 \(j\ne k\) 时 \(b_{jk}+ic_{jk}=0\)、\(\overline{b_{kj}+ic_{kj}}=b_{jk}-ic_{jk}=0\),故 \(b_{jk}=c_{jk}=0\)。) 因此两个 Hermitian 矩阵的同时 *合同对角化等价于一个复矩阵的 *合同对角化,可通过 *合同标准形研究。
三类标准块:
- Type 0:奇异 Jordan 块 \(J_k(0)\),\(k=1,2,\dots\)(最小为 \([0]\));
- Type I:非奇异 Hankel 矩阵
\[\Delta_k=\begin{bmatrix}&&&1\\&&\iddots&i\\&1&\iddots&\\1&i&&\end{bmatrix}\in M_k\quad(4.5.19)\](反对角线为 1,其下一条反对角线为 \(i\)),\(\Delta_1=[1]\),\(\Delta_2=\begin{bmatrix}0&1\\1&i\end{bmatrix}\);
- Type II:\(H_{2k}(\mu)=\begin{bmatrix}0&I_k\\J_k(\mu)&0\end{bmatrix}\in M_{2k}\),\(\mu\ne0\)(4.5.20),最小 \(H_2=\begin{bmatrix}0&1\\\mu&0\end{bmatrix}\)。
Theorem 4.5.21(*合同标准形定理). 每个复方阵 *合同于下列三类矩阵的直和,且在直和项置换意义下唯一:Type 0:\(J_k(0)\);Type I:\(\lambda\Delta_k\),\(\lambda=e^{i\theta}\),\(0\le\theta<2\pi\);Type II:\(H_{2k}(\mu)\),\(|\mu|>1\)。Type I 也可换成实矩阵 \(\Gamma_k\)(4.5.24)或任何使 \(F_k^{-*}F_k\) 相似于 \(J_k(e^{i\phi_k})\) 的非奇异 \(F_k\)。
练习:\(A=SBS^*\)(均非奇异)⇒ \(A^{-*}A=S^{-*}(B^{-*}B)S^*\),与 \(B^{-*}B\) 有相同 Jordan 形。\(A=[i]\)、\(B=[-i]\):\(A^{-*}A=B^{-*}B=[-1]\),但不 *合同(\(sis^*=|s|^2i\))。
术语:上述块为 *合同标准块;其直和为 *合同标准形。若标准形恰含 \(m\) 个 \(e^{i\theta}\Delta_k\),称 \(\theta\) 为 \(A\) 的 \(k\) 阶、重数 \(m\) 的标准角(canonical angle),射线 \(\{re^{i\theta}:r>0\}\) 为标准射线(canonical ray);正规矩阵的 Type I 块都是 \(1\times1\)。Type 0 块之和为奇异部分(唯一);与 Type I、II 块之和 *合同的矩阵为正则部分(其 *合同类唯一)。非奇异 \(A\) 的 \(A^{-*}A\) 称为 *余平方(*cosquare)。*合同的非奇异矩阵有相似的 *余平方,但反之不成立。 *余平方的 Jordan 结构:\((A^{-*}A)^{-*}=AA^{-*}\) 相似于 \(A^{-*}A\),所以若 \(J_k(\mu)\) 出现,则 \(J_k(\bar\mu^{-1})\) 也出现;\(|\mu|\ne1\) 时成对出现。于是 *余平方的 Jordan 形只含 \(J_k(e^{i\theta})\) 与对 \(J_k(\mu)\oplus J_k(\bar\mu^{-1})\)(\(0\ne|\mu|\ne1\))。 计算:\(H_{2k}(\mu)^{-*}H_{2k}(\mu)=\begin{bmatrix}J_k(\mu)&0\\0&J_k(\mu)^{-*}\end{bmatrix}\sim J_k(\mu)\oplus J_k(\bar\mu^{-1})\),Type II 块与 *余平方中 \(|\mu|\ne1\) 的配对一一对应;\(|\lambda|=1\) 时 \((\lambda\Delta_k)^{-*}(\lambda\Delta_k)\sim J_k(\lambda^2)\)(4.5.P15)。若 *余平方的 Jordan 形为 \(J_{k_1}(e^{i\theta})\oplus\cdots\oplus J_{k_p}(e^{i\theta})\oplus J\)(\(e^{i\theta}\) 不是 \(J\) 的特征值),则 *合同标准形为 \(\pm e^{i\theta/2}\Delta_{k_1}\oplus\cdots\oplus\pm e^{i\theta/2}\Delta_{k_p}\oplus C\)——符号 \(\pm\) 不能由 *余平方确定,需其他信息。 练习:*余平方的 Jordan 形只决定标准射线所在的直线及其阶数,不决定重数。
Theorem 4.5.22(消去定理,cancellation theorem). \(A,B\in M_p\),\(C\in M_q\)。\(A\oplus C\) 与 \(B\oplus C\) *合同 \(\iff A,B\) *合同。 证明:充分性取 \(S\oplus I_q\)。必要性:设 \(L_A,L_B,L_C\) 为标准形,则 \(L_A\oplus L_C\) 与 \(L_B\oplus L_C\) *合同,由标准形唯一性它们只差直和项的置换,去掉 \(L_C\) 的项后 \(L_A\) 与 \(L_B\) 相同。
求 *合同标准形的三步法:
- 正则化(regularization):构造非奇异 \(S\) 使 \(A=S(B\oplus N)S^*\),\(N=J_{r_1}(0)\oplus\cdots\) 为幂零 Jordan 块之和、\(B\) 非奇异。由唯一性 \(N\) 就是奇异部分,由消去定理 \(B\) 是正则部分。
- 计算正则部分 *余平方的 Jordan 形:它完全决定 Type II 块,并在差一个符号的意义下决定 Type I 块。
- 用已知算法或特殊方法确定 Type I 块的符号。
练习:\(\nu=\dim\operatorname{null}A\)、\(\delta=\dim(\operatorname{null}A\cap\operatorname{null}A^*)\) 是 *合同不变量;\(\nu=\delta\iff A\) 与 \(A^*\) 零空间相同。正则化算法:\(1\times1\) 块 \(J_1(0)\) 的个数为 \(\delta\);若 \(\nu=\delta\) 则奇异部分为 \(0_\delta\),算法终止;否则约化为特殊块形后在某子块上重复,输出决定各 \(J_k(0)\) 个数的整数不变量。
*合同可对角化的刻画:\(A\) 可经 *合同对角化 \(\iff\) 标准形 (a) 无 Type II 块,(b) Type 0 块都是 \([0]\),(c) Type I 块都是 \(1\times1\) 的 \([\lambda]\),\(|\lambda|=1\)。等价地 \(A=S(\Lambda\oplus0_{n-r})S^*\),\(|\lambda_j|=1\);用 QR 分解 \(S_1=U_1R\) 得 \(U^*AU=R\Lambda R^*\oplus0_{n-r}\),\(R\Lambda R^*\) 为正则部分。 若非奇异 \(B\) 可 *合同对角化,则 \(B^{-*}B\) 可对角化且特征值模为 1。设 \(B^{-*}B=S\Lambda S^{-1}\),\(\Lambda=e^{i\theta_1}I_{n_1}\oplus\cdots\oplus e^{i\theta_d}I_{n_d}\)(\(\theta_j\in[0,2\pi)\) 互异)。令 \(\mathcal B=S^*BS\),则 \(\mathcal B=\mathcal B^*\Lambda\),推出 \(\Lambda\mathcal B=\mathcal B\Lambda\),\(\mathcal B=B_1\oplus\cdots\oplus B_d\),且 \(e^{-i\theta_j/2}B_j\) Hermitian;由 4.5.7 \(e^{-i\theta_j/2}B_j=S_j(I_{n_j^+}\oplus-I_{n_j^-})S_j^*\)。故 \(B\) *合同于
判定 *合同可对角化的算法:
- Step 1:检查 \(A\) 与 \(A^*\) 零空间是否相同;否则不可。若相同,取 \(U_2\) 为 \(\operatorname{null}A\) 的标准正交基,\(U=[U_1\ U_2]\) 酉,则 \(U^*AU=U_1^*AU_1\oplus0_{n-r}\),\(B=U_1^*AU_1\) 为正则部分。
- Step 2:检查 \(B^{-*}B\) 是否可对角化且特征值模全为 1;否则不可。
- Step 3:对角化 \(B^{-*}B=S\Lambda S^{-1}\),\(S^*BS=B_1\oplus\cdots\oplus B_d\),\(n_j^+\) 为 \(e^{-i\theta_j/2}B_j\) 的正特征值个数,\(n_j^-=n_j-n_j^+\),标准形为 (4.5.23)\(\oplus0_{n-r}\)。
Theorem 4.5.24. \(A=H+iK\),\(B\) 为正则部分,\(\mathcal B=B^{-*}B\)。下列等价:(a) \(H,K\) 可同时 *合同对角化;(b) \(A\) 可 *合同对角化;(c) \(A\) 与 \(A^*\) 零空间相同,\(\mathcal B\) 可对角化且特征值模全为 1。 练习:\(A,A^*\) 零空间相同时,若 \(A=V\Sigma W^*\) 是 SVD、\(V=[V_1\ V_2]\),则 \(V_1^*AV_1\) 是正则部分。
\(^T\)合同标准形:新标准块
Theorem 4.5.25(合同标准形定理). 每个复方阵合同于下列三类矩阵的直和(在置换意义下唯一):Type 0:\(J_k(0)\);Type I:\(\Gamma_k\);Type II:\(H_{2k}(\mu)\),\(0\ne\mu\ne(-1)^{k+1}\),\(\mu\) 可换成 \(\mu^{-1}\)。 练习:\(A=SBS^T\) ⇒ \(A^{-T}A=S^{-T}(B^{-T}B)S^T\);余平方(cosquare)\(A^{-T}A\) 相似于 \((A^{-T}A)^{-T}\) 即相似于其逆,故 \(J_k(\mu)\)(\(\mu\ne\pm1\))必与 \(J_k(\mu^{-1})\) 成对。余平方的 Jordan 形只含 \(J_k((-1)^{k+1})\) 与对 \(J_k(\mu)\oplus J_k(\mu^{-1})\)(\(0\ne\mu\ne(-1)^{k+1}\))。\(\Gamma_k\) 的余平方相似于 \(J_k((-1)^{k+1})\)(4.5.P25),\(H_{2k}(\mu)\) 的余平方相似于 \(J_k(\mu)\oplus J_k(\mu^{-1})\)。
Theorem 4.5.26(合同消去定理). \(A\oplus C\) 与 \(B\oplus C\) 合同 \(\iff A,B\) 合同。
求合同标准形只需两步:(1) 正则化 \(A=S(B\oplus N)S^T\);(2) 计算余平方 \(B^{-T}B\) 的 Jordan 形:每个 \(J_k((-1)^{k+1})\) 对应一个 \(\Gamma_k\),每对 \(J_k(\mu)\oplus J_k(\mu^{-1})\) 对应一个 \(H_{2k}(\mu)\)。合同情形没有 *合同中"Type I 块符号"的麻烦。
Theorem 4.5.27. 非奇异 \(A,B\) 合同 \(\iff A^{-T}A\) 与 \(B^{-T}B\) 相似。 由两个标准形定理还可导出任意一对 Hermitian 矩阵、以及一对(复对称,复斜对称)矩阵的标准对(Appendix F)。
4.5 习题概括(PDF p.315–319)
- P1:\(B\) 非奇异时 \(A=BC\),\(SAS^*=(SBS^*)C'\),\(C'\) 相似于 \(C\)。P2:斜对称 \(A,B\) 合同 \(\iff\) 秩相同。P3:\(A\) *合同 \(B\) ⇒ \(A^k\) *合同 \(B^k\);反例 \(C=\begin{bmatrix}0&1\\0&0\end{bmatrix}\)、\(D=\begin{bmatrix}0&1\\0&1\end{bmatrix}\) *合同但 \(C^2\) 不 *合同 \(D^2\)(因 (a) 要求 Hermitian)。
- P4:Hermitian 族 \(A_1,\dots,A_k\)(\(A_1\) 非奇异)可同时 *合同对角化 \(\iff\{A_1^{-1}A_i\}\) 是特征值全实的可对角化可交换族。
- P5:PDE 的椭圆型(\(A(x)\) 非奇异、特征值同号)与双曲型(\(n-1\) 个同号、1 个异号)由惯性刻画,坐标变换下不变(Sylvester);Laplace 方程椭圆、波动方程双曲。
- P6–P7:\(\begin{bmatrix}0&1\\1&0\end{bmatrix}\) 与 \(\begin{bmatrix}1&0\\0&-1\end{bmatrix}\) 可同时酉合同对角化但不能同时 *合同对角化;\(\begin{bmatrix}1&1\\1&0\end{bmatrix}\) 与 \(\begin{bmatrix}0&1\\1&0\end{bmatrix}\) 两种都不行。
- P8(相对扰动界):由 Ostrowski,\(|\lambda_k(SAS^*)-\lambda_k(A)|/|\lambda_k(A)|\le\rho(I-SS^*)\);\(S\) 近酉时特征值相对变化小。
- P9:*合同正则化一步终止 \(\iff\operatorname{null}A=\operatorname{null}A^*\iff\operatorname{range}A=\operatorname{range}A^*\iff A=U(B\oplus0)U^*\iff A\) 是 EP 矩阵。P10:此时 \(A\) 秩主(有非奇异 \(r\times r\) 主子矩阵)。
- P11–P12:正规矩阵的 *合同标准形为 \([e^{i\theta_1}]\oplus\cdots\oplus[e^{i\theta_r}]\oplus0\),标准角即非零特征值的辐角;两个正规矩阵 *合同 \(\iff\) 秩相同且每条射线上的特征值个数相同;Hermitian 时只有角 0 和 \(\pi\),重数即 \(i_+,i_-\)——*合同标准形定理是 Sylvester 惯性定律的推广。P13:酉矩阵 *合同 \(\iff\) 相似 \(\iff\) 特征值相同。
- P14:\(H\) 非奇异时 \(H^{-1}K\) 实特征值可对角化 \(\iff A\) 非奇异且可 *合同对角化;Cayley 变换 \(\mu_j=(1+i\lambda_j)/(1-i\lambda_j)\)。P15:\(\Delta_k^{-1}\) 的显式形式(首行由 \(1,-i,-1,i,\dots\) 自右向左填入),\(\Delta_k^{-*}\Delta_k\) 为上三角 Toeplitz、对角 1、超对角 \(2i\),Jordan 形 \(J_k(1)\)。
- P16–P17:\(n\times n\) Hermitian 矩阵的 *合同类个数(\(=\binom{n+2}{2}\),由 \((i_+,i_-)\) 决定);复对称矩阵在合同下 \(n+1\) 类(按秩);实对称在实合同下按惯性分类。
- P18:\(\det(tA-B)\) 有 \(n\) 个互异零点(广义特征值)时 \(A,B\) 可同时合同对角化。P19:Sylvester 定律的同伦证明:\(S=QR\),\(S(t)=tQ+(1-t)QR\) 在 \([0,1]\) 上非奇异,惯性沿连续路径不变。P20:秩相同的 Hermitian 矩阵连通集惯性相同。
- P21(Haynsworth 惯性加性定理):\(A=\begin{bmatrix}B&C\\C^*&D\end{bmatrix}\),\(B\) 非奇异,Schur 补 \(S=D-C^*B^{-1}C\),则 \(A\) 与 \(B\oplus S\) *合同,\(i_\pm(A)=i_\pm(B)+i_\pm(S)\),\(i_0(A)=i_0(S)\)(4.5.28)。P22:由此证明 Cauchy 交错。
- P23–P24:对称族可同时酉合同对角化 \(\iff\{A_i\bar A_j\}\) 可交换;混合族类似。P25:\(\Gamma_k^{-T}\Gamma_k\) 为对角 \((-1)^{k+1}\)、超对角 2 倍的上三角,相似于 \(J_k((-1)^{k+1})\)。P26:\(H_{2k}(\mu)\) 合同于 \(H_{2k}(\bar\mu)\) \(\iff\mu\) 实或 \(|\mu|=1\)。P27:\(C=B\oplus\bar B\),\(S=\frac{e^{i\pi/4}}{\sqrt2}\begin{bmatrix}0&iI\\-iI&0\end{bmatrix}\) 酉、对称、共轭对合,\(SCS^T\) 与 \(SCS^*\) 都是实矩阵……(续见下页)
(4.5.P27 续)\(C\) 既合同又 *合同于实矩阵,也都合同、*合同于 \(\bar C\)。
- P28–P31:\(A\) 合同(*合同)于 \(\bar A\) \(\iff\) 合同(*合同)于实矩阵;按标准块给出实块的分类;例 \(\begin{bmatrix}0&1\\i&0\end{bmatrix}\) 合同于实矩阵而 \(\begin{bmatrix}0&1\\2i&0\end{bmatrix}\) 不是,两者都不 *合同于实矩阵。P32:四元数型矩阵经 \(S_{2n}\) 合同于 \(\bar A\)。P33–P34:每个 \(A\) 合同于 \(A^T\)、*合同于 \(A^T\)。
- P35:\(A=\begin{bmatrix}1&-1\\-1&1\end{bmatrix}\)、\(B=\operatorname{diag}(1,-1)\) 既不能同时 *合同也不能同时合同对角化,但 \(x^*Ax=0\Rightarrow x^*Bx=0\)。P36:\(A\) 不定、且 \(x^*Ax=0\Rightarrow x^*Bx=0\),则 \(B=\kappa A\)(\(\kappa\) 实);实对称版本同样成立;\(A\) 不定的假设不可去(Notes:在狭义相对论中 \(A=\operatorname{diag}(1,1,1,-c)\),推出 Lorentz 变换是唯一与光速不变相容的线性坐标变换)。
- P37(可正规化矩阵,normalizable):非奇异 \(A\) 下列等价:(a) \(A=SDS^*\),\(D\) 对角酉;(b) \(A^{-*}A\) 可对角化且特征值模为 1;(c) \(A=S\Lambda S^*\),\(\Lambda\) 非奇异对角;(d) 存在基 \(X,Y\) 使 \(X^*Y=I\)、\(Ax_j=\lambda_jy_j\);(e) 存在正定 \(B\) 使 \(A^*BA=ABA^*\);(f) \(A=BCB\),\(B\) 正定、\(C\) 非奇异正规。这些都是正规矩阵性质的类比,故称 *合同可对角化的矩阵为"可正规化的"。
Notes:多矩阵同时对角化见 Hong–Horn (1985);*合同与合同标准形定理的证明、正则化算法、Type I 符号的两种算法见 Horn–Sergeichuk (2006, 2008);"normalizable" 一词源自 K. Fan (1983)。
4.6 共轭相似与共轭对角化(Consimilarity and condiagonalization)(PDF p.320–331)
Definition 4.6.1. 若存在非奇异 \(S\) 使 \(A=SB\bar S^{-1}\),称 \(A,B\) 共轭相似(consimilar)。
- \(U\) 酉:\(\bar U^{-1}=U^T\),故酉合同(\(A=UBU^T\))与酉共轭相似相同;
- \(Q\) 复正交:\(\bar Q^{-1}=Q^*\),复正交 *合同与复正交共轭相似相同;
- \(R\) 实非奇异:实相似与实共轭相似相同。
- \(1\times1\) 时相似平凡,但共轭相似是旋转:\(s=|s|e^{i\theta}\) 时 \(sa\bar s^{-1}=e^{2i\theta}a\)。故 \([a]\) 共轭相似于 \([\bar a]\)、\([-a]\)、\([|a|]\)。 练习:经共轭对合(coninvolutory,\(S\bar S=I\))矩阵共轭相似的 \(A,B\) 有何关系?(\(\bar S^{-1}=S\),故 \(A=SBS\)。) 共轭相似是等价关系。
Definition 4.6.2. 若存在非奇异 \(S\) 使 \(S^{-1}A\bar S\) 上三角(分块上三角),称 \(A\) 可共轭三角化(contriangularizable)(可分块共轭三角化);可取为对角时称可共轭对角化(condiagonalizable);若可经酉合同达到,则加"酉"字。 若 \(S^{-1}A\bar S=\Delta\) 上三角,则 \(\Delta\bar\Delta=S^{-1}(A\bar A)S\) 对角元非负(\(|\delta_{ii}|^2\))。反之 \(A\bar A\) 特征值全非负时由 4.4.4 可酉共轭三角化;否则由 Youla (4.4.9) 只能分块(\(1\times1\) 与 \(2\times2\))共轭三角化。
Theorem 4.6.3. 下列等价:(a) \(A\) 可共轭三角化;(b) \(A\) 可酉共轭三角化;(c) \(A\bar A\) 的特征值全为非负实数。
Theorem 4.6.4. \(A\) 可酉共轭对角化 \(\iff\) \(A\) 对称。(\(A=U\Lambda\bar U^{-1}=U\Lambda U^T\);反之用 Autonne 4.4.4c。)
Definition 4.6.5(共轭特征值). 非零 \(x\) 满足 \(A\bar x=\lambda x\),称 \(x\) 为 \(A\) 的共轭特征向量(coneigenvector),\(\lambda\) 为共轭特征值(coneigenvalue),\((\lambda,x)\) 为共轭特征对(coneigenpair)。 练习:\(A\) 奇异时,与共轭特征值 0 对应的共轭特征向量是 \(\overline{\mathcal N}\) 中的非零向量(\(\mathcal N\) 为零空间)。 共轭特征向量张成 1 维共轭不变子空间;由 4.4.2,每个 \(A\) 有 1 维或 2 维共轭不变子空间。 \(S^{-1}A\bar S=\Lambda\) 对角 \(\iff A\bar S=S\Lambda\) \(\iff S\) 的列都是共轭特征向量。所以 \(A\) 可共轭对角化 \(\iff\) 有 \(n\) 个线性无关的共轭特征向量。 相位自由:若 \(A\bar x=\lambda x\),则 \(A(\overline{e^{i\theta}x})=e^{-i\theta}\lambda x=(e^{-2i\theta}\lambda)(e^{i\theta}x)\),所以 \(e^{-2i\theta}\lambda\) 对一切 \(\theta\) 都是共轭特征值;通常选非负代表 \(|\lambda|\)。 练习:\(\mathcal S=\{x:A\bar x=\lambda x\}\) 当 \(\lambda\ne0\) 时不是 \(\mathbf C\)-向量空间,而是 \(\mathbf R\)-向量空间(共轭特征空间,coneigenspace)。 若 \(A\bar x=\lambda x\),则 \(A\bar Ax=A\overline{(\lambda x)}=\bar\lambda A\bar x=|\lambda|^2x\):\(\lambda\) 是共轭特征值仅当 \(|\lambda|^2\) 是 \(A\bar A\) 的(非负)特征值。 练习:\(A=\begin{bmatrix}0&-1\\1&0\end{bmatrix}\):\(A\bar A=-I\) 无非负特征值,故 \(A\) 无共轭特征向量。
Proposition 4.6.6. \(\lambda\ge0\),\(\sigma=\sqrt\lambda\),存在非零 \(x\) 使 \(A\bar Ax=\lambda x\),则存在非零 \(y\) 使 \(A\bar y=\sigma y\)。
- (a) \(\lambda=0\):\(\bar A\) 奇异,取 \(y=\bar z\),\(z\in\operatorname{null}\bar A\) 非零;
- (b) \(\lambda>0\):取 \(y=e^{-i\theta}A\bar x+e^{i\theta}\sigma x\),\(\theta\in[0,\pi)\) 满足 \(A\bar x\ne-e^{2i\theta}\sigma x\)(至多排除一个 \(\theta\));验证 \(A\bar y=e^{i\theta}A\bar Ax+e^{-i\theta}\sigma A\bar x=\sigma(e^{-i\theta}A\bar x+e^{i\theta}\sigma x)=\sigma y\);
- (c) 若 \(\lambda\) 作为 \(A\bar A\) 的特征值几何重数为 1,则 \(x\) 本身是共轭特征向量,对应共轭特征值 \(e^{2i\theta}\sigma\),且 \(y=e^{i\theta}x\) 满足 \(A\bar y=\sigma y\)。(证:\(A\bar A(A\bar x)=\lambda A\bar x\),故 \(A\bar x=cx\);\(\lambda x=A\bar Ax=\bar c cx\),\(|c|=\sigma\)。) 练习:\(A=\begin{bmatrix}\sigma&i\\0&\sigma\end{bmatrix}\),\(x=[1\ i]^T\) 是 \(A\bar A\) 关于 \(\sigma^2\) 的特征向量,但不是 \(A\) 的共轭特征向量;\(\sigma=0\) 时 \(e_1\) 是共轭特征向量;\(\sigma>0\) 时 \(y=A\bar x+\sigma x\) 是。 若正特征值 \(\lambda\) 的几何重数为 \(g\),则共轭特征值 \(\sqrt\lambda\) 的共轭特征空间是 \(g\) 维实向量空间(4.6.P16–P18)。
Proposition 4.6.7(类比 1.3.8). 共轭特征向量 \(x_1,\dots,x_k\) 对应共轭特征值 \(\lambda_1,\dots,\lambda_k\) 且 \(|\lambda_i|\) 两两不同,则线性无关。(它们是 \(A\bar A\) 对应不同特征值 \(|\lambda_i|^2\) 的特征向量。)
Corollary 4.6.8. \(A\bar A\) 有 \(k\) 个互异非负特征值,则 (a) \(A\) 至少有 \(k\) 个线性无关的共轭特征向量;(b) \(k=0\) 时 \(A\) 无共轭特征向量;(c) 若 \(k=n\),则 \(A\) 可共轭对角化;且若 \(A\bar A=S\Lambda S^{-1}\)(\(\Lambda\) 非负对角),则 \(S^{-1}A\bar S=D\) 对角,存在对角酉 \(\Theta\) 使 \(A=Y\Sigma\bar Y^{-1}\),\(Y=S\Theta\),\(\Sigma\) 非负对角,\(\Sigma^2=\Lambda\)。——\(A\bar A\) 特征值互异时,任何对角化 \(A\bar A\) 的矩阵也共轭对角化 \(A\)。 证明:每列 \(s_j\) 是 \(A\bar A\) 关于单特征值 \(\lambda_j\) 的特征向量,由 4.6.6(c) \(A\bar s_j=e^{2i\theta_j}\sigma_js_j\),\(y_j=e^{i\theta_j}s_j\) 满足 \(A\bar y_j=\sigma_jy_j\);\(D=\Sigma\Theta^2\)。
Lemma 4.6.9. \(A\bar A=I\iff\) 存在非奇异 \(S\) 使 \(A=S\bar S^{-1}\)(共轭对合矩阵共轭相似于 \(I\))。 证明:令 \(S_\theta=e^{i\theta}A+e^{-i\theta}I\),则
Theorem 4.6.11(共轭对角化判据). \(A\) 可共轭对角化 \(\iff\) \(A\bar A\) 可(相似)对角化、特征值全为非负实数,且 \(\operatorname{rank}A=\operatorname{rank}A\bar A\)。 证明:必要性:\(A=SD\bar S^{-1}\) ⇒ \(A\bar A=SD\bar DS^{-1}\),秩都等于 \(D\) 的非零对角元个数。充分性:\(A\bar A=S\Lambda S^{-1}\),\(\Lambda=\lambda_1I_{n_1}\oplus\cdots\oplus\lambda_dI_{n_d}\),\(0\le\lambda_1<\cdots<\lambda_d\)。令 \(B=S^{-1}A\bar S\),则 \(B\bar B=\Lambda=\bar\Lambda=\bar BB\),于是 \(B\Lambda=B(\bar BB)=(B\bar B)B=\Lambda B\),\(B=B_{11}\oplus\cdots\oplus B_{dd}\),\(B_{ii}\bar B_{ii}=\lambda_iI_{n_i}\)。\(\lambda_i>0\) 时 \((\sigma_i^{-1}B_{ii})\overline{(\sigma_i^{-1}B_{ii})}=I\),由 4.6.9 \(B_{ii}=\sigma_iR_i\bar R_i^{-1}\)。秩条件:\(\operatorname{rank}A=\operatorname{rank}B=\operatorname{rank}B_{11}+\sum_{i\ge2}n_i\),\(\operatorname{rank}A\bar A=\beta_1+\sum_{i\ge2}n_i\)(\(\lambda_1=0\) 时 \(\beta_1=0\)),故 \(\lambda_1=0\) 时 \(B_{11}=0\)。取 \(R=\oplus R_i\),\(\Sigma=\oplus\sigma_iI_{n_i}\),\(A=(SR)\Sigma\overline{(SR)}^{-1}\)。
背景:普通相似源于线性变换在不同基下的表示;共轭相似源于半线性/反线性变换(semilinear / antilinear transformation)\(T(x+y)=Tx+Ty\)、\(T(ax)=\bar aTx\) 在不同基下的表示(如量子力学中的时间反演)。
Theorem 4.6.12(共轭相似标准形,concanonical form). 每个复方阵共轭相似于下列三类的直和(置换意义下唯一):Type 0:\(J_k(0)\);Type I:\(J_k(\sigma)\),\(\sigma>0\);Type II:\(H_{2k}(\mu)\)(形如 4.5.20),\(\mu\) 非实或为负实数。 练习:\(H_{2k}(\mu)\overline{H_{2k}(\mu)}\) 相似于 \(J_k(\mu)\oplus J_k(\bar\mu)\)。
Theorem 4.6.13(共轭相似消去定理). \(A\oplus C\) 与 \(B\oplus C\) 共轭相似 \(\iff A,B\) 共轭相似。
\(A\bar A\) 的 Jordan 结构:非奇异部分只含 \(J_k(\lambda)\)(\(\lambda>0\))及对 \(J_k(\mu)\oplus J_k(\bar\mu)\)(\(\mu\) 非正实);奇异部分相似于某幂零矩阵的平方(4.6.P22)。
求共轭相似标准形的两步法:
- 令 \(r_0=n\),\(r_1=\operatorname{rank}A\),\(r_{2k}=\operatorname{rank}(A\bar A)^k\),\(r_{2k+1}=\operatorname{rank}((A\bar A)^kA)\);\(w_j=r_{j-1}-r_j\);\(J_k(0)\) 块的个数为 \(w_k-w_{k+1}\)("交替乘积"的秩序列扮演 Weyr 特征的角色)。
- 计算 \(A\bar A\) Jordan 形的非奇异部分:每个 \(J_k(\lambda)\)(\(\lambda>0\))对应 Type I 块 \(J_k(\sigma)\),\(\sigma=\sqrt\lambda\);每对 \(J_k(\mu)\oplus J_k(\bar\mu)\)(\(\mu\) 非实或负实)对应 Type II 块 \(H_{2k}(\mu)\)。
Corollary 4.6.14. \(A,B\) 共轭相似 \(\iff\) \(A\bar A\) 相似于 \(B\bar B\),\(\operatorname{rank}A=\operatorname{rank}B\),且 \(\operatorname{rank}(A\bar A)^kA=\operatorname{rank}(B\bar B)^kB\)(\(k=1,\dots,\lfloor n/2\rfloor\))。若 \(A,B\) 非奇异,则共轭相似 \(\iff A\bar A\sim B\bar B\)。 证明:Type I、II 块由 \(A\bar A\) 的 Jordan 形决定;秩条件(连同 \(A\bar A\sim B\bar B\) 推出的 \(\operatorname{rank}(A\bar A)^k\) 相等)保证 Type 0 块相同。 练习:每个复方阵共轭相似于 \(-A\)、\(\bar A\)、\(A^T\)、\(A^*\)。
每类共轭相似标准块都共轭相似于 Hermitian 矩阵,也共轭相似于实矩阵,于是:
Corollary 4.6.15. 每个 \(A\) 共轭相似于 \(-A\)、\(\bar A\)、\(A^T\)、\(A^*\)、某个 Hermitian 矩阵、某个实矩阵。
Corollary 4.6.16. \(A\bar A\) 相似于某实矩阵的平方。(\(A=SR\bar S^{-1}\),\(R\) 实 ⇒ \(A\bar A=SR^2S^{-1}\)。) 解释 4.4.13 的现象:设 \(\lambda<0\) 是 \(A\bar A\) 的特征值,\(\mu\) 纯虚、\(\mu^2=\lambda\)、\(\operatorname{Im}\mu>0\)。\(J_k(\lambda)\) 出现在 \(R^2\) 的 Jordan 形中 \(\iff\) \(J_k(\mu)\) 或 \(J_k(-\mu)\) 出现在 \(R\) 中;\(R\) 实且 \(\bar\mu=-\mu\),二者必同时且同样多地出现,所以 \(A\bar A\) 中 \(J_k(\lambda)\) 的个数为偶数。
Corollary 4.6.17. (a) \(A=HS\)(也可 \(A=SH\)),\(H\) Hermitian、\(S\) 对称,且任一因子可取非奇异;(b) \(A=BE\)(也可 \(A=EB\)),\(B\) 相似于实矩阵,\(E\) 共轭对合。 证明:(a) \(A=SH\bar S^{-1}\)(\(H\) Hermitian),\(A=(SHS^*)(S^{-*}\bar S^{-1})=(SHS^*)(\bar S^{-T}\bar S^{-1})\);另写 \(A=SB\bar S^{-1}\)(\(B\) 对称)得 \(A=(SS^*)(\bar S^{-T}B\bar S^{-1})\);反序用 \(A=(SS^T)(\bar S^{-T}H\bar S^{-1})\) 等。(b) \(A=SR\bar S^{-1}=(SRS^{-1})(S\bar S^{-1})=(S\bar S^{-1})(\bar SR\bar S^{-1})\)。((b) 是复数极坐标 \(z=re^{i\theta}\) 的类比。)
Theorem 4.6.18. 下列等价:(a) \(A,B\) 共轭相似;(b) \(\begin{bmatrix}0&A\\\bar A&0\end{bmatrix}\) 相似于 \(\begin{bmatrix}0&B\\\bar B&0\end{bmatrix}\);(c) \(\begin{bmatrix}0&A\\-\bar A&0\end{bmatrix}\) 相似于 \(\begin{bmatrix}0&B\\-\bar B&0\end{bmatrix}\)。((a)⇒(b)(c):用相似矩阵 \(S\oplus\bar S\)。)——把共轭相似问题转化为普通相似问题。
4.6 习题概括(PDF p.327–331)
- P1:共轭相似是等价关系。P2:\(\begin{bmatrix}i&1\\0&i\end{bmatrix}\) 不可对角化但可共轭对角化;\(\begin{bmatrix}1&-1\\1&1\end{bmatrix}\) 可对角化但不可共轭对角化;\(\begin{bmatrix}0&1\\0&0\end{bmatrix}\) 两者都不行——两概念互不包含。P3:正共轭特征值的共轭特征向量在 \(\mathbf C\) 上线性无关 \(\iff\) 在 \(\mathbf R\) 上线性无关。
- P4:同时共轭对角化 \(A_i=S\Lambda_i\bar S^{-1}\) 的必要条件:\(A_i\bar A_j\) 可对角化、\(\{A_i\bar A_j\}\) 可交换、\(A_i\bar A_j+A_j\bar A_i\) 特征值实、\(A_i\bar A_j-A_j\bar A_i\) 特征值纯虚(也是充分的)。P5:\(A\bar A=\Lambda\) 非负互异分块对角时 \(A=U(\Delta_1\oplus\cdots)U^T\)。P6:\(A=U\bar U^{-1}=UU^T\)(\(U\) 酉)\(\iff A^{-1}=\bar A\) 且 \(A\) 对称。P7:共轭对合 \(A\),存在 \(S\) 使所有满足 \(A\bar X=XA\) 的 \(X\) 有 \(SXS^{-1}\) 实。
- P8:对角/上三角矩阵:\(\lambda\) 为特征值 ⇒ \(e^{i\theta}\lambda\) 对所有 \(\theta\) 都是共轭特征值。P9:\(n\) 为奇数时 \(A\) 必有共轭特征对(\(A\bar A\) 的非实特征值成对、负实特征值成对,奇数阶必剩一个非负实特征值)。P10:对称矩阵共轭对角化可取酉矩阵——Autonne 定理的又一证明。P11:实矩阵共轭相似标准形的奇异部分与 Jordan 形的奇异部分相同。P12:\(A=\begin{bmatrix}1&i\\i&-1\end{bmatrix}\) 的 Jordan 形为 \(J_2(0)\),但共轭相似标准形为 \(J_1(2)\oplus J_1(0)\)(它对称,奇异值 2 和 0)。
- P13:\(A=RE\)(\(R\) 实、\(E\) 共轭对合)的必要条件 \(\operatorname{range}A=\operatorname{range}\bar A\)(也充分)。P14–P15:\(H_{2k}(\mu)\) 共轭相似于 \(H_{2k}(\bar\mu)\);\(A\) 共轭相似于 \(e^{i\theta}A\)。
- P16–P18:正特征值 \(\lambda\)(几何重数 \(g\))对应的共轭特征空间是 \(g\) 维实向量空间;四种由 \(A\bar A\) 的特征向量基 \(X\) 构造共轭特征空间基 \(Y\) 的算法(Algorithm I:解 \(A\bar X=XB\),取 \(Y=e^{-i\theta}X(B+e^{2i\theta}\sigma I)\);Algorithm II:\(Y=e^{-i\theta}A\bar X+e^{i\theta}\sigma X\);Algorithm III:\(\sigma^{-1}B=E^2\) 共轭对合,\(Y=XE\);P18 用实表示 \(R_2(A)=\begin{bmatrix}A_1&A_2\\A_2&-A_1\end{bmatrix}\):\(A\bar x=\sigma x\iff R_2(A)w=\sigma w\),非零特征值 \(\pm\) 成对)。P19:\(R_2(A)\sim R_2(B)\iff A,B\) 共轭相似。P20:\(\operatorname{rank}A=\operatorname{rank}A\bar A\) 时 \(\{x:A\bar x=0\}=\operatorname{null}A\bar A\)。
- P21(共轭对角化算法):\(A\bar A=S\Lambda S^{-1}\),\(\lambda_1>\cdots>\lambda_d\ge0\),\(S=[S_1\cdots S_d]\);\(Y_j=e^{-i\theta_j}A\bar S_j+e^{i\theta_j}\sigma_jS_j\)(选 \(\theta_j\) 使满秩),\(Y=[Y_1\cdots Y_d]\),则 \(A=Y\Sigma\bar Y^{-1}\)。
- P22:幂零 Jordan 矩阵是某幂零矩阵之平方的 Jordan 形 \(\iff\) Weyr 特征不含相邻重复的奇数、且块数为奇数时 \(w_1-w_2>0\);判断 \(J_2(0)\)、\(J_2\oplus J_2\)、\(J_3\oplus J_1\)、\(J_5\oplus J_2\oplus J_1\) 等。P23:\(A\bar A\) 的 Jordan 形 \(=B\oplus N\) 的结构;\(J_1(1)\oplus J_2(0)\) 能否是 \(A\bar A\) 的 Jordan 形?P24:\(\begin{bmatrix}0&A\\\bar A&0\end{bmatrix}\) 的 Jordan 形只含 \(J_k(\lambda)\oplus J_k(-\lambda)\)(\(\lambda\ge0\))与 \(J_k(\lambda)\oplus J_k(-\lambda)\oplus J_k(\bar\lambda)\oplus J_k(-\bar\lambda)\)。P25:4.5.P35 中不存在 \(S\) 使 \(S^*AS\)、\(S^TBS\) 同时对角。P26:上三角 \(\Delta\) 与 \(D\) 主对角相同、\(\Delta\bar\Delta\) 正规 ⇒ \(\Delta\) 分块对角。
- P27:\(B\bar B=I\) 时 \(B=U(I_{n-2q}\oplus\bigoplus\begin{bmatrix}0&\sigma_j^{-1}\\\sigma_j&0\end{bmatrix})U^T\)(4.6.19)——共轭对合矩阵的特殊 SVD;\(A\bar A\) 半正定 \(\iff A\) 酉合同于 \([\sigma]\)、\(\begin{bmatrix}0&s\\0&0\end{bmatrix}\)、\(\tau\begin{bmatrix}0&t\\t^{-1}&0\end{bmatrix}\) 块的直和(4.6.20)。P28:\(A=\begin{bmatrix}0&-1\\1&0\end{bmatrix}\) 无实特征向量、无复共轭特征向量,但有四元数右共轭特征值 \(\pm i\)(\(x_\pm=[\pm j\ \ k]^T\)),而无左共轭特征值。
Notes:共轭相似标准形及共轭相似于 Hermitian/实矩阵的证明见 Hong–Horn (1988);4.6.16 也可不用标准形证明(Asano–Nakayama 1938);4.6.17 见 Hsu (1955)、Horn–Merino (1995);(4.6.19) 见 Horn–Sergeichuk (2009);四元数共轭相似见 Huang Liping (2001)。
(PDF p.332 为空白页。)
第 4 章 本章要点(本块覆盖 4.0–4.6,即第 4 章全部)
- Hermitian 矩阵 \(\iff x^*Ax\) 恒实 \(\iff\) 正规且特征值实;谱定理 \(A=U\Lambda U^*\);Toeplitz 分解 \(A=H+iK\);可交换 Hermitian 族可同时酉对角化;\(A\) 相似于实矩阵 \(\iff A\) 是两个 Hermitian 矩阵之积。正定 \(\iff x^*Ax>0\ \forall x\ne0\iff\) Hermitian 且特征值为正(实情形必须另加对称假设)。
- 变分刻画:Rayleigh 商给出 \(\lambda_{\min},\lambda_{\max}\);Courant–Fischer 极小极大公式;子空间交引理是本章所有特征值不等式的统一工具。
- 特征值不等式:Weyl 不等式及其推论(秩 \(r\) 扰动、单调性、\(|\lambda_i(A+B)-\lambda_i(A)|\le\|B\|_2\));Cauchy 交错(加边与秩一扰动)及其逆定理;包含原理、Poincaré 分离、Ky Fan 迹极值 \(\sum_{i\le m}\lambda_i=\min\operatorname{tr}V^*AV\)。
- 优超:Schur(特征值优超对角元)、Schur–Horn 逆定理、Fan 与 Lidskii 不等式、优超 \(\iff\) 双随机变换 \(\iff\) 置换凸包;迹不等式 \(\sum\lambda_i^\downarrow(A)\lambda_i^\uparrow(B)\le\operatorname{tr}AB\le\sum\lambda_i^\downarrow(A)\lambda_i^\downarrow(B)\)。
- 酉合同与复对称矩阵:\(A\bar A\) 的谱结构(非实成共轭对、负实成相等对);Youla 分解;共轭正规矩阵标准形;Autonne–Takagi 分解 \(A=U\Sigma U^T\);斜对称与酉矩阵的酉合同标准形;每个复方阵相似于复对称矩阵;复对称矩阵可对角化 \(\iff\) 可复正交对角化。
- 合同:Sylvester 惯性定律、Ostrowski 定量版本;复对称在合同下只由秩决定;同时对角化的三套判据(酉型 4.5.15、非奇异型 4.5.17);*合同与合同的标准形(Type 0/I/II 块)、消去定理、余平方。
- 共轭相似:共轭特征值与 \(A\bar A\) 的关系;可共轭三角化 \(\iff A\bar A\) 特征值非负;可共轭对角化判据 4.6.11;共轭相似标准形;每个矩阵共轭相似于实矩阵和 Hermitian 矩阵。
第 4 章 与量化交易的关联
- 协方差矩阵与风险模型:协方差矩阵是 Hermitian(实对称)半正定矩阵,\(\operatorname{Cov}(SX)=S\operatorname{Cov}(X)S^*\)(4.5.3*)正是组合风险 \(w^T\Sigma w\)、因子暴露变换、PCA 旋转的代数形式。Sylvester 惯性定律说明线性变换不改变协方差矩阵的正定性;Ostrowski 定理给出变换后特征值(风险)缩放的上下界 \([\sigma_n^2,\sigma_1^2]\)。
- PCA 与因子模型:Rayleigh 商与 Courant–Fischer 是主成分"方差最大化"定义的数学依据;Ky Fan 定理 \(\max_{V^*V=I_m}\operatorname{tr}V^*\Sigma V=\sum_{i>n-m}\lambda_i\) 说明前 \(m\) 个主成分捕获的方差是任意 \(m\) 维正交投影中最大的——这是统计因子模型选因子数、解释方差比的理论基础。
- 协方差估计误差与收缩:Weyl 不等式 \(|\lambda_i(\hat\Sigma)-\lambda_i(\Sigma)|\le\|\hat\Sigma-\Sigma\|_2\) 用于分析样本协方差的特征值偏差;秩 \(r\) 扰动推论(4.3.5)解释了"低秩因子 + 对角特异风险"结构下特征值的位置;单调性定理说明加入半正定的特异风险矩阵只会抬高每个特征值。交错定理说明从资产池中剔除一只资产,剩余协方差矩阵的特征值与原矩阵交错——子组合的最小方差不会低于全组合的最小特征值。
- 优超与风险分散度:Schur 定理说明对角元(各资产方差)被特征值优超,特征值比方差"更分散";这与集中度/分散度指标(如有效因子数、熵型指标)相关,双随机矩阵刻画的"平均化"可解释组合权重的分散化效应。迹不等式 4.3.53 可用于 \(\operatorname{tr}(\Sigma W)\) 型目标的界(如风险平价、跟踪误差的上下界)。
- 广义特征值与同时对角化:4.5.17(a) 在 \(A\) 正定时保证 \(A,B\) 可同时合同对角化,即广义特征问题 \(Bx=\lambda Ax\)。量化中用于:两个协方差矩阵的比较(如样本内/样本外、不同市场状态)、最大化 Sharpe 比的 \(\Sigma^{-1}\mu\) 型问题、信号对噪声的 Fisher 判别、CCA(典型相关分析)。
- 正定性检验:Sylvester 判据(顺序主子式全正,4.3.P5)与 Haynsworth 惯性加性(Schur 补,4.5.P21)在检查协方差/相关矩阵是否正定、做矩阵修补(nearest PSD)、以及分块协方差矩阵条件化(条件协方差 = Schur 补)时直接使用。4.1.13 的 \(A=A_+-A_-\) 分解对应"把不正定的估计相关矩阵截断负特征值"的修正方法。
- 复对称矩阵、酉合同、*合同标准形、共轭相似等内容在量化交易中基本没有直接应用,属于纯理论结构,编写教材时可作选读或略去。
第 4 章 推荐习题
- 4.1.P5(三对角矩阵对称化,特征值全实)、4.1.P13(\(\operatorname{rank}A\ge(\operatorname{tr}A)^2/\operatorname{tr}A^2\),可用于估计有效秩)、4.1.P21(\(xy^*+yx^*\) 的特征值)、4.1.P30(Hermitian 矩阵的主子式符号)。
- 4.2.P3(对角元介于最小与最大特征值之间)、4.2.P8(半正定扰动的单调性)。
- 4.3.P1、P4(扰动与 Loewner 序)、4.3.P5(Sylvester 正定判据与 Jacobi 符号规则)、4.3.P14(部分特征值和的凸凹性)、4.3.P15(行列式的 Poincaré 型界)、4.3.P17(Jacobi 矩阵与 Sturm 序列)、4.3.P24(Lidskii 的差形式)。
- 4.4.P1(对称矩阵 \(=SS^T\))、4.4.P27(对称矩阵奇异值与对角元的关系)、4.4.P38(QS 分解)。
- 4.5.P5(PDE 类型与惯性)、4.5.P8(Ostrowski 推出相对扰动界)、4.5.P18(广义特征值互异 ⇒ 同时对角化)、4.5.P19(惯性定律的同伦证明)、4.5.P21(Haynsworth 惯性加性)、4.5.P37(可正规化矩阵的六种等价刻画)。
- 4.6.P2(可对角化与可共轭对角化互不包含)、4.6.P9、4.6.P12、4.6.P21(共轭对角化算法)。
第 5 章 向量与矩阵的范数(Norms for Vectors and Matrices)(续见下一块)
5.0 引言(Introduction)(PDF p.333,本块只覆盖起始一页)
欧氏长度 \(\|x\|_2=(x^Tx)^{1/2}\) 是 \(\mathbf R^2,\mathbf R^3\) 中最熟悉的"大小"与"接近程度"的度量:\(\|x\|_2\) 小则 \(x\) "小",\(\|x-y\|_2\) 小则二者"接近"。本章问:是否有其他有用的方式度量实/复向量的大小?如何度量矩阵的大小,使之反映 \(M_n\) 的代数结构?范数(norm)是欧氏长度的推广,但不只是数学推广——它在矩阵幂级数研究和数值算法的分析评估中自然出现。
Example 5.0.1(收敛性). 对复数 \(|x|<1\),\((1-x)^{-1}=1+x+x^2+\cdots\)。类比得