Horn & Johnson《Matrix Analysis》(2nd ed., Cambridge, 2013) 精读笔记(二)——负责 PDF 第 112–222 页(原书正文 p.92–202)
页码对应:PDF 页码 = 原书页码 + 20。本块从第 2 章 2.1 节习题中段开始(接上一块),覆盖 2.2–2.7 节(酉相似、Schur 三角化、正规矩阵、QR/奇异值分解、CS 分解等)与第 3 章(Jordan 标准形及其应用、有理标准形等,续见下一块)。 记号:\(M_n\) 为 \(n\times n\) 复矩阵,\(M_{m,n}\) 为 \(m\times n\) 复矩阵,\(A^*\) 为共轭转置,\(\bar A\) 为逐元共轭,\(\|\cdot\|_2\) 为欧氏范数,\(\sigma(A)\) 为谱(特征值集合)。
第 2 章 酉相似与酉等价(Unitary similarity and unitary equivalence)
2.1 酉矩阵与 QR 分解——习题后半(PDF p.112–114,接上一块)
本块从 2.1.P5 开始。习题题型与要点如下(编写者可作为教材习题选用):
- 2.1.P5:置换矩阵(permutation matrices, 0.9.5)构成实正交群的子群;\(M_n\) 中共有 \(n!\) 个置换矩阵。
- 2.1.P6:给出 \(3\times3\) 正交群的参数表示(2×2 情形见 2.1.5 后练习:旋转 \(\begin{bmatrix}\cos\theta&-\sin\theta\\ \sin\theta&\cos\theta\end{bmatrix}\) 与反射 \(\begin{bmatrix}\cos\theta&\sin\theta\\ \sin\theta&-\cos\theta\end{bmatrix}\))。
- 2.1.P7:若 \(A,B\in M_n\) 且 \(AB=I\),则 \(BA=I\)。论证:任意 \(y=A(By)\),故 \(\operatorname{rank}A=n\),零空间维数为 0;而 \(A(AB-BA)=A-(AB)A=0\),所以 \(AB-BA=0\)。
- 2.1.P8 复正交矩阵(complex orthogonal):\(A^TA=I\)。(a) 复正交矩阵是酉的当且仅当它是实的;(b) 取 \(S=\begin{bmatrix}0&1\\-1&0\end{bmatrix}\),\(A(t)=(\cosh t)I+(i\sinh t)S\) 对所有实 \(t\) 是复正交的,但仅在 \(t=0\) 时酉;(c) 复正交矩阵集无界,故不紧(与酉群相反);(d) 构成群;实正交矩阵组成的较小(且紧)的群称正交群;(e) \(|\det A|=1\) 但特征值可以 \(|\lambda|\ne1\)(用 \(A(t)\));(f) \(\bar A, A^T, A^*\) 也都是复正交且非奇异;(g) 刻画对角复正交矩阵(对角元为 \(\pm1\));(h) 同时复正交且酉 ⟺ 实正交。
- 2.1.P9–P10:\(U\) 酉 ⟹ \(\bar U,U^T,U^*\) 酉;\(x\perp y \iff Ux\perp Uy\)。
- 2.1.P11 斜正交(skew orthogonal):\(A^{-1}=-A^T\) ⟺ \(\pm iA\) 正交;一般地 \(A^{-1}=e^{i\theta}A^T \iff e^{i\theta/2}A\) 是(复)正交的。
- 2.1.P12–P13:若 \(A\) 相似于某酉矩阵,则 \(A^{-1}\) 相似于 \(A^*\);反之不成立:\(\operatorname{diag}(2,\tfrac12)\) 满足 \(A^{-1}\sim A^*\) 但不与酉矩阵相似(特征值模不为 1)。
- 2.1.P14:酉群 ∩ 复正交群 = 实正交群。
- 2.1.P15:\(U\) 酉、\(U[\alpha,\alpha^c]=0\) ⟹ \(U[\alpha^c,\alpha]=0\),且 \(U[\alpha]\)、\(U[\alpha^c]\) 都是酉的(酉矩阵的块三角 ⟹ 块对角)。
- 2.1.P16 Palais 矩阵:\(x,y\in\mathbb R^n\) 线性无关单位向量,\(w=x+y\),\(P_{x,y}=I-2(w^Tw)^{-1}ww^T+2yx^T\)。证明:(a) \(P_{x,y}=(I-2(w^Tw)^{-1}ww^T)(I-2xx^T)=U_wU_x\) 为两个实 Householder 矩阵之积,故实正交;(b) \(\det P_{x,y}=+1\),是真旋转(proper rotation);(c) \(P_{x,y}x=y\),\(P_{x,y}y=-x+2(x^Ty)y\);(d) 对 \(z\perp x,z\perp y\) 有 \(P_{x,y}z=z\);(e) 在 \((\operatorname{span}\{x,y\})^\perp\) 上为恒等,在二维平面 \(\operatorname{span}\{x,y\}\) 上为把 \(x\) 转到 \(y\) 的旋转;(f) \(n=3\) 时它是唯一把 \(x\) 转到 \(y\) 且固定 \(x\times y\) 的真旋转;(g) 特征值为 \(x^Ty\pm i(1-(x^Ty)^2)^{1/2}=e^{\pm i\theta}\)(\(\cos\theta=x^Ty\))及 \(n-2\) 个 1。
- 2.1.P17:对满列秩 \(A\in M_{n,m}\) 的列做 Gram–Schmidt,逐列得到 \(Q=AR\)(\(Q\) 列正交、\(R\) 上三角),与 (2.1.14) 的 QR 分解关系是 \(A=QR^{-1}\)。
- 2.1.P18:\(A=QR\) 时 \(\{q_1,\dots,q_k\}\) 是 \(\operatorname{span}\{a_1,\dots,a_k\}\) 的标准正交基;\(r_{kk}\) 等于 \(a_k\) 到 \(\operatorname{span}\{a_1,\dots,a_{k-1}\}\) 的欧氏距离。
- 2.1.P19 对偶基(dual / reciprocal basis):\(X=QR\) 满列秩,\(Y=QR^{-*}\),则 \(Y^*X=I_m\),\(Y\) 的列是 \(S=\operatorname{span}\{x_i\}\) 的对偶基且唯一;对偶基的对偶基是原基;\(n=m\) 时 \(X^{-*}\) 的列即对偶基。
- 2.1.P20:\(\operatorname{adj}U=(\det U)U^*\),故 \(\operatorname{adj}U\) 酉。
- 2.1.P21:(2.1.10)(酉的上三角矩阵必对角)对复正交同样成立。
- 2.1.P22:\(X,Y\in M_{n,m}\) 列正交,则二者列空间相同 ⟺ 存在酉 \(U\in M_m\) 使 \(X=YU\)。
- 2.1.P23 Hadamard 不等式:由 \(A=QR\),\(|\det A|=\det R=r_{11}\cdots r_{nn}\),且 \(\|a_i\|_2=\|r_i\|_2\ge r_{ii}\),等号 ⟺ \(a_i=r_{ii}q_i\)。故
\[|\det A|\le\prod_{i=1}^n\|a_i\|_2,\]等号 ⟺ 某 \(a_i=0\) 或 \(A\) 的列两两正交(\(A^*A=\operatorname{diag}(\|a_1\|_2^2,\dots,\|a_n\|_2^2)\))。
- 2.1.P24:全 1 的 \(E\in M_3\) 有 \(\operatorname{per}E=6\);用 Hadamard 不等式(\(|\det B|\le 3^{3/2}<6\))说明 \(\pm1\) 矩阵 \(B\) 不可能使 \(\operatorname{per}E=\det B\)。
- 2.1.P25:酉矩阵的复合矩阵(compound matrix)\(C_r(U)\) 是酉的。
- 2.1.P26:(a) \(A=H_1\cdots H_{n-1}R\)(Householder 矩阵之积乘上三角);(b) 酉 \(U=H_1\cdots H_{n-1}D\),\(D\) 对角酉;(c) 实正交 \(Q=H_1\cdots H_{n-1}D\),\(D=\operatorname{diag}(1,\dots,1,(-1)^{n-1}\det Q)\)。
- 2.1.P27–P29(平面旋转版本):用平面旋转 \(U(\theta;i,j)\) 逐个把向量末尾分量消零(取 \(\cos\theta_1=x_{n-1}/\sqrt{x_n^2+x_{n-1}^2}\),\(\sin\theta_1=-x_n/\sqrt{\cdot}\)),且保持 2-范数;任意 \(A\in M_{n,m}(\mathbb R)\) 可经 \(N=m(n-\frac{m+1}{2})\) 个平面旋转化为 \(\begin{bmatrix}B\\0\end{bmatrix}\)(\(B\) 上三角、前 \(m-1\) 个对角元非负);\(A\in M_n(\mathbb R)\) 可写为 \(A=U_1\cdots U_NR\),\(N=n(n-1)/2\);实正交 \(Q=U_1\cdots U_ND\),\(D=\operatorname{diag}(1,\dots,1,\det Q)\)。
延伸阅读:满足 (2.1.9)(\(A^{-1}\) 相似于 \(A^*\))的矩阵见 DePrima & Johnson (1974)。
2.2 酉相似(Unitary similarity)(PDF p.114–121)
定义 2.2.1:\(A,B\in M_n\)。若存在酉 \(U\) 使 \(A=UBU^*\),称 \(A\) 酉相似于 \(B\);若 \(U\) 可取实(即实正交),称实正交相似(real orthogonally similar)。\(A\) 酉相似于对角矩阵称可酉对角化(unitarily diagonalizable);实正交相似于对角阵称可实正交对角化。酉相似是等价关系。
定理 2.2.2(Frobenius 范数不变):\(U\in M_n\)、\(V\in M_m\) 酉,\(A=UBV\in M_{n,m}\),则
练习:\(\begin{bmatrix}3&1\\-2&0\end{bmatrix}\) 与 \(\begin{bmatrix}1&1\\0&2\end{bmatrix}\) 相似(特征值都是 1,2)但不酉相似(元素平方和 14 ≠ 6)。酉相似蕴含相似,反之不然;酉相似把 \(M_n\) 划分为更细的等价类,对应于标准正交基之间的基变换。平面旋转 \(U(\theta;i,j)\) 的实正交相似只改变第 \(i,j\) 行和列;\(U(y,x)^*AU(y,x)=U_w^*AU_w\),即经由本质 Hermite 的 \(U(y,x)\) 的酉相似就是 Householder 相似,称为 Householder 变换。
例 2.2.3(酉相似于对角元全相等的矩阵):对任意 \(A\in M_n\) 存在酉 \(U\)(\(A\) 实时可取实正交)使 \(U^*AU\) 的主对角元全相等,因而都等于 \(\frac1n\operatorname{tr}A\)。
- 复 2×2 情形:以 \(A-\frac12(\operatorname{tr}A)I\) 代替,可设 \(\operatorname{tr}A=0\),特征值 \(\pm\lambda\)。要找单位向量 \(u\) 使 \(u^*Au=0\)。\(\lambda=0\) 时取 \(Au=0\) 的 \(u\);\(\lambda\ne0\) 时取单位特征向量 \(w,z\)(对应 \(\lambda,-\lambda\)),令 \(x(\theta)=e^{i\theta}w+z\ne0\),算得 \(x(\theta)^*Ax(\theta)=2i\lambda\operatorname{Im}(e^{i\theta}z^*w)\);若 \(z^*w=e^{i\phi}|z^*w|\),则 \(x(-\phi)^*Ax(-\phi)=0\)。令 \(u=x(-\phi)/\|x(-\phi)\|_2\),\(U=[u\ v]\),则 \((U^*AU)_{11}=0\),由迹为 0 得 \((U^*AU)_{22}=0\)。
- 实 2×2 情形:用平面旋转 \(U_\theta\),\(U_\theta AU_\theta^T\) 对角元相等的条件为 \((\cos^2\theta-\sin^2\theta)(a_{11}-a_{22})=2\sin\theta\cos\theta(a_{12}+a_{21})\),取 \(\theta\in(0,\pi/2)\) 使 \(\cot2\theta=(a_{12}+a_{21})/(a_{11}-a_{22})\)。
- \(n>2\):定义 \(f(A)=\max_{i,j}|a_{ii}-a_{jj}|\)。若 \(f(A)>0\),取达到最大值的 \((i,j)\),用 2×2 结果构造只作用于 \(i,j\) 行列的 \(U(i,j)\),把 \(a_{ii},a_{jj}\) 都换成平均值 \(\frac12(a_{ii}+a_{jj})\)。由三角不等式,对 \(k\ne i,j\):
\[\Big|a_{kk}-\tfrac12(a_{ii}+a_{jj})\Big|\le\tfrac12|a_{kk}-a_{ii}|+\tfrac12|a_{kk}-a_{jj}|\le f(A),\]等号要求 \(a_{kk}-a_{ii}\) 与 \(a_{kk}-a_{jj}\) 同向且等模,从而 \(a_{ii}=a_{jj}\),矛盾;所以严格小于。于是达到最大值的指标对数目减少 1,重复有限次得 \(f(U^*AU)<f(A)\)。最后在紧集 \(R(A)=\{U^*AU:U\text{ 酉}\}\) 上连续函数 \(f\) 取到最小值 \(f(B)\);若 \(f(B)>0\) 可再降,矛盾,故 \(f(B)=0\)。
- 用途:2.2.P9(迹零矩阵是两个幂零矩阵之和)、2.2.P8。
例 2.2.4(酉相似于上 Hessenberg 矩阵):任意 \(A\) 酉相似于次对角元非负的上 Hessenberg 矩阵。构造:第一列写成 \(a_1^T=[a_{11}\ \xi^T]\),\(\xi\in\mathbb C^{n-1}\);若 \(\xi\ne0\) 用 (2.1.13) 的 Householder 型酉矩阵 \(U_1=U(\|\xi\|_2e_1,\xi)\) 把 \(\xi\) 变为 \(\|\xi\|_2e_1\);\(V_1=I_1\oplus U_1\),\(\mathcal A_1=V_1AV_1^*\) 第一列为 \([a_{11},\|\xi\|_2,0,\dots,0]^T\)(右乘 \(V_1^*\) 不改变第一列)。对右下 \(A_2\in M_{n-1}\) 的第一列重复,至多 \(n-1\) 步。练习:若 \(A\) Hermite(或斜 Hermite),结果是三对角 Hermite(斜 Hermite)矩阵——这是 Householder 三对角化,是对称特征值算法的第一步。
词(word)与 Specht 定理:两个非交换变量 \(s,t\) 的有限形式乘积
定理 2.2.6(Specht):\(A,B\in M_n\) 酉相似 ⟺ 对每个词 \(W(s,t)\),
定理 2.2.8(Specht 定理的有限化): (a) 只需验证所有长度不超过 \(n\sqrt{\frac{2n^2}{n-1}+\frac14}+\frac n2-2\) 的词; (b) \(n=2\):只需三个词 \(s,\ s^2,\ st\); (c) \(n=3\):七个词 \(s,\ s^2,\ st,\ s^3,\ s^2t,\ s^2t^2,\ s^2t^2st\); (d) \(n=4\):20 个词:\(s;\ s^2,st;\ s^3,s^2t;\ s^4,s^3t,s^2t^2,stst;\ s^3t^2;\ s^2ts^2t,s^2t^2st,t^2s^2ts;\ s^3t^2st;\ s^3t^2s^2t,s^3t^3st,t^3s^3ts;\ s^3ts^2tst,s^2t^2sts^2t;\ s^3t^3s^2t^2\)。 两个实矩阵酉相似 ⟺ 实正交相似(见 2.5.21),故上述准则也判定实正交相似。
2.2 节习题:
- 2.2.P1 Jacobi 方法:实对称非对角 \(A\),取 \(|a_{ij}|=\max_{p<q}|a_{pq}|\),\(\cot2\theta=(a_{ii}-a_{jj})/2a_{ij}\),\(B=U(\theta;i,j)^TAU(\theta;i,j)\),则 \(b_{ij}=0\) 且
\[\sum_{p\ne q}|b_{pq}|^2=\sum_{p\ne q}|a_{pq}|^2-2|a_{ij}|^2\le\Big(1-\frac{2}{n^2-n}\Big)\sum_{p\ne q}|a_{pq}|^2 ,\]因此非对角质量几何收敛到 0,极限对角阵给出特征值,旋转乘积给出特征向量。实际实现不需三角函数(Golub & Van Loan)。
- 2.2.P2 Givens 方法:\(n\ge3\),用平面旋转 \(U(\theta;1,3),U(\theta;1,4),\dots\) 依次消去第一行 \(1,3\) 到 \(1,n\) 位置,再从第二行 \(2,4\) 开始……至第 \(n-3\) 行,得到实下 Hessenberg 矩阵(对称时为三对角),但特征值需进一步计算。
- 2.2.P3:\(A\in M_2\),对 (2.2.8b) 三个词有 \(\operatorname{tr}W(A,A^*)=\operatorname{tr}W(A^T,\bar A)\),故每个 2×2 复矩阵都酉相似于其转置。
- 2.2.P4:\(A\in M_3\) 酉相似于 \(A^T\) ⟺ \(\operatorname{tr}(A^2(A^*)^2AA^*)=\operatorname{tr}((A^T)^2\bar A^2A^T\bar A)\) ⟺ \(\operatorname{tr}(AA^*(A^*A-AA^*)A^*A)=0\);例 \(\begin{bmatrix}1&1&1\\-1&0&1\\-1&-1&-1\end{bmatrix}\) 不酉相似于其转置(尽管任何方阵都相似于其转置,3.2.3)。
- 2.2.P5:若 \(A^*=UAU^*\),则 \(U\) 与 \(A+A^*\) 交换;用于证明上例的酉相似只能是对角的,再证对角酉做不到。
- 2.2.P6:\(B,C\) 酉相似 ⟺ \(A\oplus B\) 与 \(A\oplus C\) 酉相似 ⟺ \(B\oplus\cdots\oplus B\) 与 \(C\oplus\cdots\oplus C\) 酉相似(个数相同)等(酉相似的消去律)。
- 2.2.P7:举出满足 (2.2.2) 但不酉相似的 2×2 矩阵。
- 2.2.P8:\(A,B\in M_2\),\(C=AB-BA\),则 \(C^2=\lambda I\)(用 2.2.3:迹零 2×2 矩阵酉相似于零对角矩阵)。
- 2.2.P9:\(\operatorname{tr}A=0\) ⟺ \(A\) 是两个幂零矩阵之和(由 2.2.3 把对角化为 0,再分上、下严格三角部分)。
- 2.2.P10 Fourier 矩阵与循环矩阵:\(\omega=e^{2\pi i/n}\),\(\sum_{k=0}^{n-1}\omega^{k\ell}=0\) 除非 \(n\mid\ell\)(此时为 \(n\));\(F_n=n^{-1/2}[\omega^{(i-1)(j-1)}]\) 对称、酉、共轭对合(\(F_nF_n^*=F_n\bar F_n=I\));基本循环置换 \(C_n\) 满足 \(C_nF_n=F_nD\),\(D=\operatorname{diag}(1,\omega,\dots,\omega^{n-1})\),故 \(C_n=F_nDF_n^*\);首行为 \([a_1\dots a_n]\) 的循环矩阵 \(A=F_n\Lambda F_n^*\),
\[\lambda_\ell=\sum_{k=0}^{n-1}a_{k+1}\omega^{k(\ell-1)},\quad \ell=1,\dots,n, \tag{2.2.9}\]且 \(\lambda\) 向量为 \(n^{1/2}F_n^*Ae_1\)。若某 \(|a_i|>\sum_{j\ne i}|a_j|\) 则 \(A\) 非奇异。\(F_n=\mathcal C_n+i\mathcal S_n\) 分实虚部,Hartley 矩阵 \(H_n=\mathcal C_n+\mathcal S_n\) 实对称正交;\(\mathcal C_n^2+\mathcal S_n^2=I\),\(\mathcal C_n\mathcal S_n=0\);与反序矩阵 \(K_n\) 有 \(\mathcal C_nK_n=\mathcal C_n\),\(\mathcal S_nK_n=-\mathcal S_n\),均为中心对称;对 \(A=E+K_nF\)(\(E,F\) 实循环,\(E\) 对称,\(F\) 斜对称)有 \(H_nAH_n=\Lambda\),因而 Hartley 矩阵给出实对称循环矩阵的显式实正交对角化。
注记:Specht 原始证明 (1940);Đoković–Johnson (2007) 综述;4×4 词表来自 Đoković (2007);4×4 复矩阵酉相似于其转置 ⟺ 七个零迹恒等式(Garcia–Poore–Tener 2012);非奇异矩阵的近似版 Specht 定理(Marcoux–Mastnak–Radjavi 2007):\(A,B\) 酉相似 ⟺ 对每个词 \(|\operatorname{tr}W(A,A^*)-\operatorname{tr}W(B,B^*)|\le1\) 且对逆亦然。
2.3 酉与实正交三角化(Unitary and real orthogonal triangularizations)(PDF p.121–128)
本节核心是 Schur 定理:任意复方阵酉相似于上三角矩阵,对角元为特征值且顺序可任意指定。作者称之为"初等矩阵理论中最根本有用的事实"。证明手法是逐次收缩(deflation)。
定理 2.3.1(Schur 形;Schur 三角化):设 \(A\in M_n\) 的特征值按任意指定顺序为 \(\lambda_1,\dots,\lambda_n\),\(x\in\mathbb C^n\) 为单位向量且 \(Ax=\lambda_1x\)。 (a) 存在酉 \(U=[x\ u_2\ \dots\ u_n]\) 使 \(U^*AU=T=[t_{ij}]\) 为上三角,\(t_{ii}=\lambda_i\)。 (b) 若 \(A\in M_n(\mathbb R)\) 只有实特征值,则 \(x\) 可取实,并存在实正交 \(Q=[x\ q_2\dots q_n]\) 使 \(Q^TAQ=T\) 上三角、\(t_{ii}=\lambda_i\)。
证明:取以 \(x\) 为第一列的酉矩阵 \(U_1\)(如 (2.1.13) 的 \(U(x,e_1)\),或 2.3.P1 的构造),则
练习:若 \(U^*A^TU\) 上三角,令 \(V=\bar U\),则 \(V^*AV\) 下三角(即也有下三角 Schur 形)。
例 2.3.2(Schur 形不唯一):特征值次序改变时,\(T\) 的上三角部分可不同:
Schur 不等式(偏离正规性,defect from normality):若 \(A\) 酉相似于上三角 \(T\),由 2.2.2,
定理 2.3.3(交换族的同时酉三角化):\(\mathcal F\subseteq M_n\) 为非空交换族,则存在酉 \(U\) 使对每个 \(A\in\mathcal F\),\(U^*AU\) 都是上三角的。 证明:沿用 2.3.1 的证明,每步利用 (1.3.19)(交换族有公共特征向量)选公共单位特征向量作为 \(U\) 的首列,它以同样方式收缩族中每个矩阵;相似保持交换性,且若 \(\begin{bmatrix}A_{11}&A_{12}\\0&A_{22}\end{bmatrix}\) 与 \(\begin{bmatrix}B_{11}&B_{12}\\0&B_{22}\end{bmatrix}\) 交换,则 \(A_{22},B_{22}\) 交换,可以归纳。 注意:2.3.3 不能指定特征值在对角线上的顺序——每步公共特征向量对应各矩阵的某个特征值,只能"来者照单全收"。
实情形与拟三角:练习:实矩阵 \(\begin{bmatrix}a&b\\-b&a\end{bmatrix}\) 的特征值为 \(a\pm ib\)。实矩阵若有非实特征值,就不可能经实相似化为上三角(对角元会非实),但总能经实正交相似化为实上拟三角形(upper quasitriangular),非实共轭特征值对对应 2×2 对角块。
定理 2.3.4(实 Schur 形):\(A\in M_n(\mathbb R)\)。 (a) 存在实非奇异 \(S\) 使 \(S^{-1}AS\) 为实上拟三角矩阵
交换族的实版本:把 (2.3.5) 的分块结构描述为"与拟对角矩阵 \(D=J_{n_1}\oplus\cdots\oplus J_{n_m}\) 共形"(\(J_k\) 为 \(k\times k\) 全 1 矩阵,\(n_j\in\{1,2\}\))。
定理 2.3.6:\(\mathcal F\subseteq M_n(\mathbb R)\) 非空交换族。 (a) 存在实非奇异 \(S\) 与拟对角 \(D\),使:(i) 每个 \(A\in\mathcal F\),\(S^{-1}AS\) 是与 \(D\) 共形的实上拟三角形 (2.3.6.1),对角块 \(A_1(A),\dots,A_m(A)\);(ii) 若 \(n_j=2\),则 \(A_j(A)=\begin{bmatrix}a_j(A)&b_j(A)\\-b_j(A)&a_j(A)\end{bmatrix}\) (2.3.6.2),\(a_j(A)\pm ib_j(A)\) 是 \(A\) 的特征值;(iii) 对每个 \(n_j=2\) 的 \(j\),存在某 \(A\in\mathcal F\) 使 \(b_j(A)\ne0\)。若族中矩阵特征值全实,则 \(S^{-1}AS\) 全上三角。 (b) 存在实正交 \(Q\) 与拟对角 \(D\),使每个 \(Q^TAQ\) 是与 \(D\) 共形的上拟三角形,且对每个 \(n_j=2\) 的 \(j\),存在某 \(A\) 使 \(A_j(A)\) 有一对共轭非实特征值;特征值全实时全部上三角。 证明:(a) 取公共单位特征向量 \(x=u+iv\)(\(u,v\in\mathbb R^n\))。情形 (i):\(\{u,v\}\) 线性相关,则 \(u=\alpha w,v=\beta w\),\(w=(\alpha+i\beta)^{-1}x\) 是公共实单位特征向量,用以 \(w\) 为首列的实正交 \(Q\) 得 \(Q^TAQ=\begin{bmatrix}\lambda(A)&*\\0&*\end{bmatrix}\)。情形 (ii):\(\{u,v\}\) 线性无关,按 1.3.P3 构造实 \(S\) 使 \(S^{-1}AS=\begin{bmatrix}A_1(A)&*\\0&*\end{bmatrix}\),\(A_1(A)\) 具 (2.3.6.2) 形;若 \(b_1(A)\ne0\) 得一对非实特征值,若 \(b_1(A)=0\) 则 \(a_1(A)\) 为二重实特征值;若对所有 \(A\) 都有 \(b_1(A)=0\),就把 2×2 块拆成两个 1×1。(b) 对 \(S\) 做 QR 分解,同 2.3.4 论证。同样不能控制特征值出现顺序。
\(A\bar A\) 为实的矩阵:练习:\(A\) 与 \(\bar A\) 交换 ⟺ \(A\bar A\) 实;\(A=\begin{bmatrix}1&i\\-i&1\end{bmatrix}\) 时 \(A\bar A\) 实,且 \(\operatorname{Re}A\) 与 \(\operatorname{Im}A\) 交换;\(A=B+iC\)(\(B,C\) 实)则 \(A\bar A=\bar AA\iff BC=CB\)。集合 \(\mathcal S=\{A:A\bar A=\bar AA\}\) 比 \(M_n(\mathbb R)\) 大,但有共同性质:都能实正交相似于(复)上拟三角形。
推论 2.3.7:\(A\in M_n\) 且 \(A\bar A=\bar AA\),则存在实正交 \(Q\) 和拟对角 \(D\),使 \(Q^TAQ\) 是与 \(D\) 共形的复上拟三角矩阵,且对每个 \(n_j=2\),\(\operatorname{Re}A_j\) 或 \(\operatorname{Im}A_j\) 至少一个有共轭非实特征值对。若 \(\operatorname{Re}A\) 与 \(\operatorname{Im}A\) 特征值都实,则 \(Q^TAQ\) 上三角。证明:\(A=B+iC\),\(B,C\) 实且交换,用 2.3.6(b) 同时化 \(B,C\),\(Q^TAQ=Q^TBQ+iQ^TCQ\)。
2.3 节习题:
- 2.3.P1(显式构造以给定单位向量为首列的酉矩阵):\(x=[x_1\ y^T]^T\),取 \(\theta\) 使 \(e^{i\theta}x_1\ge0\),\(z=e^{i\theta}x=[z_1\ \zeta^T]^T\),令 Hermite 矩阵
\[V_x=\begin{bmatrix}z_1&\zeta^*\\ \zeta&-I+\frac1{1+z_1}\zeta\zeta^*\end{bmatrix}, \tag{2.3.8}\]分块计算 \(V_x^*V_x=V_x^2=I\),于是 \(U=e^{-i\theta}V_x=[x\ u_2\dots u_n]\) 是酉的。2.3.P2:实单位向量的简化版本。
- 2.3.P3:实矩阵的非实特征值成共轭对出现。
- 2.3.P4:\(\mathcal F=\{\begin{bmatrix}0&-1\\0&-1\end{bmatrix},\begin{bmatrix}1&1\\0&-1\end{bmatrix}\}\) 不交换但可同时上三角化——交换性充分但不必要。
- 2.3.P5:若两两乘积族 \(\mathcal G=\{A_iA_j\}\) 交换,则 \(\mathcal F\) 可同时酉上三角化 ⟺ 每个交换子 \(A_iA_j-A_jA_i\) 的特征值全为 0(Hong–Horn 1985);该假设弱于 \(\mathcal F\) 交换。
- 2.3.P6:若 \(A,B\) 可同时相似上三角化,则 \(AB-BA\) 的特征值全为 0。
- 2.3.P7–P8(复正交相似的局限):若 \(A=Q\Delta Q^T\)(\(Q\) 复正交、\(\Delta\) 上三角),则 \(A\) 有特征向量满足 \(x^Tx\ne0\);\(\begin{bmatrix}1&i\\i&-1\end{bmatrix}\) 不可复正交三角化;复正交 \(Q\) 的特征值 \(\lambda\ne\pm1\) 对应的特征向量必有 \(x^Tx=0\)。
- 2.3.P9(加边矩阵的特征值):\(Ax=\lambda x\),\(\mathcal A=\begin{bmatrix}\alpha&y^*\\x&A\end{bmatrix}\) 的特征值为 \(\begin{bmatrix}\alpha&y^*x\\1&\lambda\end{bmatrix}\) 的两个特征值加上 \(\lambda_2,\dots,\lambda_n\);若 \(y\perp x\),特征值为 \(\alpha,\lambda,\lambda_2,\dots,\lambda_n\)。
- 2.3.P10:\(c=\max|a_{ij}|\),则 \(|\det A|\le c^nn^{n/2}\):(a) AM–GM 与 (2.3.2a):\(|\det A|^2\le((|\lambda_1|^2+\dots+|\lambda_n|^2)/n)^n\le(nc^2)^n\);(b) 用 Hadamard 不等式。
- 2.3.P11:特征值全为 0 ⟹ \(A^n=0\)。
- 2.3.P12 复合矩阵:\(C_r(A)\) 的特征值是 \(\binom nr\) 个乘积 \(\lambda_{i_1}\cdots\lambda_{i_r}\);\(\operatorname{tr}C_r(A)=S_r(\lambda)=E_r(A)\);\(\rho(C_r(A))=|\lambda_1\cdots\lambda_r|\)(按模降序);\(p_A(t)=\sum_k(-1)^kt^{n-k}\operatorname{tr}C_k(A)\),\(\det(I+A)=\sum_k\operatorname{tr}C_k(A)\);\(A\) 非奇异时 \(\det(A+B)=\sum_{k=0}^n\operatorname{tr}(\operatorname{adj}_k(A)C_k(B))\);证明 (0.8.12.3)。
- 2.3.P13:\(A=\begin{bmatrix}-2&5\\-1&2\end{bmatrix}\) 特征值 \(\pm i\),实相似于 \(B=\begin{bmatrix}0&1\\-1&0\end{bmatrix}\),但不实正交相似(平方和不等,或 \(B\) 正规而 \(A\) 不正规)。
- 2.3.P14:\(|\operatorname{tr}VA|\le\sum_{i,j}|a_{ji}|\)(\(V\) 酉);从而 \(\sum|\lambda_i|\le\sum_{i,j}|a_{ij}|\)。
延伸:(3.4.3.1) 对 2.3.1 的精化;Hong & Horn (1985)。
2.4 Schur 三角化定理的推论(Consequences of Schur's triangularization theorem)(PDF p.128–151)
本节是 Schur 定理的"丰收":迹与行列式、多项式的特征值、Cayley–Hamilton、Sylvester 方程、Schur 形的唯一性、分块对角化、几乎可对角化、交换族与 McCoy 定理、特征值连续性、秩一扰动、双正交原理。
2.4.1 迹与行列式
若 \(A\) 的特征值为 \(\lambda_1,\dots,\lambda_n\),则 \(\sum\lambda_i=\operatorname{tr}A\),\(\sum_i\prod_{j\ne i}\lambda_j=\operatorname{tr}(\operatorname{adj}A)\),\(\det A=\prod\lambda_i\)。用 Schur 形可直接看出:对非奇异 \(S\),\(\operatorname{tr}(S^{-1}AS)=\operatorname{tr}A\),\(\operatorname{tr}\operatorname{adj}(S^{-1}AS)=\operatorname{tr}((\operatorname{adj}S)(\operatorname{adj}A)(\operatorname{adj}S)^{-1})=\operatorname{tr}\operatorname{adj}A\),\(\det(S^{-1}AS)=\det A\);于是用上三角 \(T\) 计算:\(\operatorname{tr}T=\sum t_{ii}\),\(\det T=\prod t_{ii}\),\(\operatorname{adj}T\) 的对角元为 \(\prod_{j\ne i}t_{jj}\)。
2.4.2 多项式的特征值
(1.1.6) 只说明 \(p(A)\) 的不同特征值是 \(\{p(\lambda_i)\}\);Schur 定理给出重数:\(A=UTU^*\) ⟹ \(p(A)=Up(T)U^*\),\(p(T)\) 上三角,对角元为 \(p(\lambda_1),\dots,p(\lambda_n)\),故这些(计重数)就是 \(p(A)\) 的特征值。特别地
2.4.3 Cayley–Hamilton 定理
引理 2.4.3.1:\(R,T\in M_n\) 上三角,\(r_{ij}=0\)(\(1\le i,j\le k<n\)),且 \(t_{k+1,k+1}=0\),则 \(S=RT\) 满足 \(s_{ij}=0\)(\(1\le i,j\le k+1\))。证明:\(R=\begin{bmatrix}0_k&R_{12}\\0&R_{22}\end{bmatrix}\),\(T=\begin{bmatrix}T_{11}&T_{12}\\0&T_{22}\end{bmatrix}\),\(T_{22}=[0\ Z]\)(首列为零),则 \(RT=\begin{bmatrix}0_k&[0\ R_{12}Z]\\0&[0\ R_{22}Z]\end{bmatrix}\),左上 \((k+1)\) 阶主子阵为零。
定理 2.4.3.2(Cayley–Hamilton):\(p_A(t)\) 为 \(A\in M_n\) 的特征多项式,则 \(p_A(A)=0\)。 证明:\(p_A(t)=(t-\lambda_1)\cdots(t-\lambda_n)\),\(A=UTU^*\),\(p_A(A)=U[(T-\lambda_1I)\cdots(T-\lambda_nI)]U^*\)。\(T-\lambda_1I\) 的左上 1×1 块为 0,\(T-\lambda_2I\) 的 (2,2) 元为 0,由引理乘积左上 2×2 为 0;归纳:左上 \(k\times k\) 为 0,乘以 \((k+1,k+1)\) 元为 0 的 \(T-\lambda_{k+1}I\) 后左上 \((k+1)\times(k+1)\) 为 0。最终全零。
两个错误论证的练习:(1) "\(p_A(A)\) 的特征值 \(p_A(\lambda_i)=0\),故 \(p_A(A)=0\)"——错,特征值全零只说明幂零(例:\(\begin{bmatrix}0&1\\0&0\end{bmatrix}\) 非零);(2) "\(p_A(A)=\det(AI-A)=\det0=0\)"——错,\(p_A(A)\) 是先算标量多项式再代入矩阵,左边是矩阵右边是数。C–H 是纯形式结果,对任何交换环上的矩阵成立(2.4.P3)。
用途:把 \(A^k(k\ge n)\) 写成 \(I,A,\dots,A^{n-1}\) 的线性组合。 例 2.4.3.3:\(A=\begin{bmatrix}3&1\\-2&0\end{bmatrix}\),\(p_A(t)=t^2-3t+2\),\(A^2=3A-2I\),\(A^3=7A-6I\),\(A^4=15A-14I\);\(A^{-1}=-\frac12A+\frac32I=\begin{bmatrix}0&-1/2\\1&3/2\end{bmatrix}\),\(A^{-2}=-\frac34A+\frac74I\)。 推论 2.4.3.4:\(A\) 非奇异,\(p_A(t)=t^n+a_{n-1}t^{n-1}+\cdots+a_1t+a_0\),则 \(A^{-1}=q(A)\),\(q(t)=-(t^{n-1}+a_{n-1}t^{n-2}+\cdots+a_2t+a_1)/a_0\)。
练习:\(A\sim B\) ⟹ \(g(A)\sim g(B)\),\(A,B\) 满足相同多项式方程;反之不成立。 例 2.4.3.5:\(A=\begin{bmatrix}1&0&0\\0&1&1\\0&0&1\end{bmatrix}\),\(p_A=(t-1)^3\),但 \((A-I)^2=0\),满足 2 次方程,而无 1 次方程。练习:可对角化矩阵有 \(d\) 个不同特征值时 \(q(t)=\prod(t-\lambda_i)\) 零化 \(A\) 且无更低次的;不可对角化时零化多项式最小次数可严格大于不同特征值个数(引出最小多项式,3.3 节)。
2.4.4 Sylvester 线性矩阵方程
\(AX-XB=C\) 称 Sylvester 方程(\(AX-XA=0\) 是交换性的特例)。若 \(AX=XB\),则 \(A^kX=XB^k\),从而: 引理 2.4.4.0:\(A\in M_n,B\in M_m,X\in M_{n,m}\),\(AX-XB=0\) ⟹ 对任意多项式 \(g\),\(g(A)X-Xg(B)=0\)。
定理 2.4.4.1(Sylvester):\(AX-XB=C\) 对每个 \(C\in M_{n,m}\) 有唯一解 \(X\) ⟺ \(\sigma(A)\cap\sigma(B)=\varnothing\)。特别地此时 \(AX=XB\) 只有零解。若 \(A,B\) 实,则对实 \(C\) 有唯一实解。 证明:线性映射 \(T(X)=AX-XB\) 在 \(M_{n,m}\) 上,只需证核为零。若 \(AX=XB\),则 \(p_B(A)X=Xp_B(B)=0\)(C–H)。\(p_B(A)=\prod_j(A-\lambda_jI)\)(\(\lambda_j\) 为 \(B\) 的特征值)。谱不交 ⟹ 每个因子非奇异 ⟹ \(p_B(A)\) 非奇异 ⟹ \(X=0\)。反之若 \(p_B(A)X=0\) 有非零解,则某 \(A-\lambda_jI\) 奇异。实情形同理(即使 \(B\) 有非实特征值,实矩阵 \(p_B(A)\) 非奇异 ⟺ 谱不交)。
\(AX=XB\) 称缠绕关系(intertwining relation);例:\(AB=BA\)、\(AB=-BA\)、\(AB=BA^T\)、\(AB=B\bar A\)、\(AB=BA^*\)。 推论 2.4.4.2:\(B=B_1\oplus\cdots\oplus B_k\),\(C=C_1\oplus\cdots\oplus C_k\) 共形分块,\(i\ne j\) 时 \(\sigma(B_i)\cap\sigma(C_j)=\varnothing\)。若 \(AB=CA\),则 \(A=A_1\oplus\cdots\oplus A_k\) 共形块对角,且 \(A_iB_i=C_iA_i\)。证明:\(A_{ij}B_j=C_iA_{ij}\),\(i\ne j\) 时由 Sylvester 定理 \(A_{ij}=0\)。 基本原则:若 \(AX=XB\) 且 \(A,B\) 结构特殊,则 \(X\) 也很可能结构特殊——用标准形代替 \(A,B\) 研究。 推论 2.4.4.3:\(A=S(A_1\oplus\cdots\oplus A_d)S^{-1}\),\(A_j\in M_{n_j}\),各块谱两两不交。则 \(AB=BA\) ⟺ \(B=S(B_1\oplus\cdots\oplus B_d)S^{-1}\) 且 \(A_iB_i=B_iA_i\)。常见应用:\(A_i=\lambda_iI_{n_i}\)(于是与可对角化矩阵交换的矩阵在同一基下块对角)。
2.4.5 Schur 三角化的唯一性
不同的上三角矩阵(对角相同)可以酉相似。问:若 \(T'=WTW^*\)(\(WT=T'W\)),\(W\) 是什么样?
定理 2.4.5.1:\(n_1+\cdots+n_d=n\),\(\Lambda=\lambda_1I_{n_1}\oplus\cdots\oplus\lambda_dI_{n_d}\)(\(\lambda_i\) 互异),\(T,T'\) 上三角且主对角线与 \(\Lambda\) 相同,按 \(\Lambda\) 共形分块 \(T=[T_{ij}]\)、\(T'=[T'_{ij}]\)、\(W=[W_{ij}]\),\(WT=T'W\)。则 (a) \(W_{ij}=0\)(\(i>j\)),即 \(W\) 块上三角; (b) 若 \(W\) 酉,则 \(W=W_{11}\oplus\cdots\oplus W_{dd}\) 块对角; (c) 若每个 \(T_{ii}\) 的第一超对角元全非零,则 \(W\) 上三角;若再酉,则 \(W=\operatorname{diag}(w_1,\dots,w_n)\); (d) 若 \(W\) 酉且 \(t_{i,i+1}>0\)、\(t'_{i,i+1}>0\)(所有 \(i\)),则 \(W=wI\) 为纯量酉矩阵,此时 \(T=T'\)。 证明:(a) 比较 \(WT=T'W\) 的 \((d,1)\) 块:\(W_{d1}T_{11}=T'_{dd}W_{d1}\),谱不交 ⟹ \(W_{d1}=0\);再 \((d,2)\) 块 \(W_{d2}T_{22}=T'_{dd}W_{d2}\) ⟹ \(W_{d2}=0\)……逐行向上、自左向右。(b) \(W=\begin{bmatrix}W_{11}&X\\0&\hat W\end{bmatrix}\) 酉 ⟹ \(X=0\)(2.1.10),归纳。(c) 归结为 \(d=1\):\(t_{ii}=t'_{ii}=\lambda\),\(t_{i,i+1}\ne0\)。比较第 \(n\) 行:位置 \((n,2)\):\(w_{n1}t_{12}+w_{n2}\lambda=\lambda w_{n2}\) ⟹ \(w_{n1}t_{12}=0\) ⟹ \(w_{n1}=0\);依次 \(w_{ni}t_{i,i+1}+w_{n,i+1}\lambda=\lambda w_{n,i+1}\) ⟹ \(w_{ni}=0\);逐行向上得上三角。(d) \(W\) 对角酉,比较 \((i,i+1)\):\(w_it_{i,i+1}=t'_{i,i+1}w_{i+1}\),\(w_{i+1}/w_i=t_{i,i+1}/t'_{i,i+1}\) 正实且模 1,故为 1。 练习:纯量酉相似 ⟹ \(A=B\);对角互异的上三角 \(T,T'\) 酉相似则相似矩阵必对角,且第一超对角元正实时 \(T=T'\);若 \(a_{i,i+1}\ne0\),取 \(D=\operatorname{diag}(1,a_{12}/|a_{12}|,a_{12}a_{23}/|a_{12}a_{23}|,\dots)\) 使 \(DAD^*\) 第一超对角元为正实数。
2.4.6 每个方阵可分块对角化
定理 2.4.6.1:\(A\) 的不同特征值 \(\lambda_1,\dots,\lambda_d\),重数 \(n_1,\dots,n_d\)。由 2.3.1,\(A\) 酉相似于 \(d\times d\) 块上三角 \(T=[T_{ij}]\),\(T_{ii}=\lambda_iI_{n_i}+R_i\)(\(R_i\) 严格上三角)。则 \(A\) 相似于
定理 2.4.6.3:\(\mathcal F\) 交换族,\(A_0\in\mathcal F\) 有不同特征值 \(\lambda_1,\dots,\lambda_d\)(重数 \(n_i\))。存在非奇异 \(S\) 使 (a) \(\hat A_0=S^{-1}A_0S=T_1\oplus\cdots\oplus T_d\),\(T_i\in M_{n_i}\) 上三角、对角元全为 \(\lambda_i\);(b) 对每个 \(A\in\mathcal F\),\(S^{-1}AS\) 上三角且与 \(\hat A_0\) 共形块对角。 证明:先用 2.4.6.1 取 \(S_0\) 使 \(S_0^{-1}A_0S_0=R_1\oplus\cdots\oplus R_d\);对 \(B\in S_0^{-1}\mathcal FS_0\),\(R_iB_{ij}=B_{ij}R_j\),Sylvester ⟹ \(B_{ij}=0\ (i\ne j)\)。各对角块族 \(\mathcal F_i\) 交换,由 2.3.3 用酉 \(U_i\) 同时上三角化,\(S=S_0(U_1\oplus\cdots\oplus U_d)\)。 推论 2.4.6.4:交换族 \(\mathcal F\),存在非奇异 \(S\) 与 \(n_1+\cdots+n_k=n\),使每个 \(A\in\mathcal F\),\(S^{-1}AS=A_1\oplus\cdots\oplus A_k\),每个 \(A_i\) 上三角且只有一个特征值。证明:选不同特征值最多的 \(A_0\) 做 2.4.6.3,各块对应的子族若仍有矩阵具两个以上不同特征值则再分,有限步终止。
2.4.7 每个方阵几乎可对角化
定理 2.4.7.1:对任意 \(A\) 和 \(\epsilon>0\),存在有 \(n\) 个不同特征值(故可对角化)的 \(A(\epsilon)\) 使 \(\sum_{i,j}|a_{ij}-a_{ij}(\epsilon)|^2<\epsilon\)。 证明:\(U^*AU=T\),取 \(E=\operatorname{diag}(\varepsilon_i)\),\(|\varepsilon_i|<(\epsilon/n)^{1/2}\) 且 \(t_{ii}+\varepsilon_i\) 互异;\(A(\epsilon)=A+UEU^*\) 相似于 \(T+E\),特征值互异;由 2.2.2,\(\sum|a_{ij}-a_{ij}(\epsilon)|^2=\sum|\varepsilon_i|^2<\epsilon\)。练习:条件可换为 \(\max|a_{ij}-a_{ij}(\epsilon)|<\epsilon\)(用 \(\epsilon^2\))。 定理 2.4.7.2:对任意 \(\epsilon>0\) 存在非奇异 \(S_\epsilon\) 使 \(S_\epsilon^{-1}AS_\epsilon=T_\epsilon\) 上三角且 \(|t_{ij}(\epsilon)|\le\epsilon\ (i<j)\)。 证明:\(U^*AU=T\),\(D_\alpha=\operatorname{diag}(1,\alpha,\dots,\alpha^{n-1})\),\(t=\max_{i<j}|t_{ij}|\),设 \(\epsilon<1\)。\(t\le1\) 时 \(S_\epsilon=UD_\epsilon\):\(t_{ij}(\epsilon)=t_{ij}\epsilon^{j-i}\),\(|\cdot|\le\epsilon^{j-i}\le\epsilon\);\(t>1\) 时先用 \(D_{1/t}\) 预处理使非对角元模 \(\le1\),\(S_\epsilon=UD_{1/t}D_\epsilon\)。练习变体:\(\sum_{j>i}|t_{ij}(\epsilon)|\le\epsilon\)。 直观:可对角化矩阵在 \(M_n\) 中稠密;特征值互异的矩阵构成开稠集(2.4.P1)。这是用"先对可对角化矩阵证明再取极限"这一常用技巧的依据。
2.4.8 交换族与同时三角化
定理 2.4.8.1:\(A,B\) 交换,则存在特征值排序 \(\alpha_1..\alpha_n\)、\(\beta_1..\beta_n\) 使 \(A+B\) 的特征值为 \(\alpha_i+\beta_i\),\(AB\) 的特征值为 \(\alpha_i\beta_i\)。特别 \(\sigma(A+B)\subseteq\sigma(A)+\sigma(B)\),\(\sigma(AB)\subseteq\sigma(A)\sigma(B)\)。证明:2.3.3 同时酉上三角化,\(T+R\)、\(TR\) 的对角元。 练习:交换时谱半径次可加、次可乘:\(\rho(A+B)\le\rho(A)+\rho(B)\),\(\rho(AB)\le\rho(A)\rho(B)\)。 例 2.4.8.2:\(A=\operatorname{diag}(1,2),B=\operatorname{diag}(3,4)\),\(1+4=5\notin\sigma(A+B)=\{4,6\}\)——包含可以是真包含。 例 2.4.8.3:不交换时,\(A=\begin{bmatrix}0&1\\0&0\end{bmatrix},B=\begin{bmatrix}0&0\\1&0\end{bmatrix}\),\(\sigma(A+B)=\{\pm1\}\not\subseteq\{0\}\);且 \(\rho(A+B)>\rho(A)+\rho(B)\),谱半径在 \(M_n\) 上不次可加。 例 2.4.8.4(逆命题不成立):\(A=\begin{bmatrix}0&1&0\\0&0&-1\\0&0&0\end{bmatrix}\),\(B=\begin{bmatrix}0&0&0\\1&0&0\\0&1&0\end{bmatrix}\),\(p_{\alpha A+\beta B}(t)=t^3\),特征值对所有 \(\alpha,\beta\) "相加",但 \(\sigma(AB)=\{-1,0,1\}\not\subseteq\{0\}\),故不可同时三角化,更不交换。刻画"特征值可加"的矩阵对是未解决问题。 推论 2.4.8.5:\(A,B\) 交换且 \(\alpha_i\ne-\beta_j\)(对所有 \(i,j\)),则 \(A+B\) 非奇异。 练习:\(T,R\) 上三角,\(p(s,t)\) 是两个非交换变量的多项式,则 \(p(T,R)\) 上三角,对角元为 \(p(t_{ii},r_{ii})\)。
定理 2.4.8.6:\(A_1,\dots,A_m\) 可同时相似上三角化 ⟺ 可同时酉相似上三角化。证明:\(S=QR\),\(Q^*A_iQ=RT_iR^{-1}\) 为三个上三角之积。
定理 2.4.8.7(McCoy):\(m\ge2\),\(A_1,\dots,A_m\in M_n\)。以下等价: (a) 对每个 \(m\) 元非交换多项式 \(p\) 及每对 \(k,\ell\),\(p(A_1,\dots,A_m)(A_kA_\ell-A_\ell A_k)\) 幂零; (b) 存在酉 \(U\) 使每个 \(U^*A_iU\) 上三角; (c) 存在各 \(A_i\) 特征值的排序 \(\lambda^{(i)}_1,\dots,\lambda^{(i)}_n\) 使对任意非交换多项式 \(p\),\(p(A_1,\dots,A_m)\) 的特征值为 \(p(\lambda^{(1)}_i,\dots,\lambda^{(m)}_i)\),\(i=1..n\)。 证明:(b)⟹(c):\(p(A_1..)=Up(T_1..)U^*\),看对角元。(c)⟹(a):令 \(q_{k\ell}=p\cdot(t_kt_\ell-t_\ell t_k)\),其特征值 \(p(\cdot)\cdot(\lambda^{(k)}_i\lambda^{(\ell)}_i-\lambda^{(\ell)}_i\lambda^{(k)}_i)=0\),故幂零。(a)⟹(b):由下面引理存在公共单位特征向量 \(x\),\(U_1\) 以之为首列:\(U_1^*A_iU_1=\begin{bmatrix}\lambda^{(i)}_1&\star\\0&\tilde A_i\end{bmatrix}\) (2.4.8.8);\(U^*p(A)(A_kA_\ell-A_\ell A_k)U\) 幂零,其右下块 \(p(\tilde A)(\tilde A_k\tilde A_\ell-\tilde A_\ell\tilde A_k)\) 也幂零(1,1 元为 0)(2.4.8.9),故 \(\tilde A_i\) 继承 (a),归纳。
引理 2.4.8.10:若条件 (a) 成立,则对任意非零 \(x\),存在非交换多项式 \(q\) 使 \(q(A_1,\dots,A_m)x\) 是 \(A_1,\dots,A_m\) 的公共特征向量。 证明(\(m=2\)):\(C=AB-BA\),\(p(A,B)C\) 对所有 \(p\) 幂零。由 (1.1.9) 取 \(g_1\) 使 \(\xi_1=g_1(A)x\) 为 \(A\) 的特征向量(\(A\xi_1=\lambda\xi_1\))。 情形 I:对所有多项式 \(p\),\(Cp(B)\xi_1=0\),即 \(ABp(B)\xi_1=BAp(B)\xi_1\) (2.4.8.11)。归纳得 \(AB^k\xi_1=B^kA\xi_1\),于是 \(Ap(B)\xi_1=\lambda p(B)\xi_1\),\(p(B)\xi_1\)(非零时)是 \(A\) 的特征向量;再取 \(g_2\) 使 \(g_2(B)\xi_1\) 是 \(B\) 的特征向量,\(q(s,t)=g_2(t)g_1(s)\) 即可。 情形 II:存在 \(f_1\) 使 \(Cf_1(B)\xi_1\ne0\),取 \(q_1\) 使 \(\xi_2=q_1(A)Cf_1(B)\xi_1\) 为 \(A\) 的特征向量;若对 \(\xi_2\) 落入情形 I 则完成,否则继续构造
2.4.9 特征值的连续性
引理 2.4.9.1:\(A_k\to A\)(逐元收敛),则存在子列 \(k_1<k_2<\cdots\) 与酉 \(U_{k_i}\) 使 (a) \(T_i=U_{k_i}^*A_{k_i}U_{k_i}\) 上三角;(b) \(U=\lim U_{k_i}\) 存在且酉;(c) \(T=U^*AU\) 上三角;(d) \(T_i\to T\)。证明:酉群紧(引理 2.1.8)取收敛子列,三因子乘积收敛,上三角极限仍上三角。
定理 2.4.9.2(特征值连续依赖于元素):\(A_k\to A\),\(\lambda(A),\lambda(A_k)\) 为给定的特征值排列向量,\(S_n\) 为置换群。则对任意 \(\varepsilon>0\) 存在 \(N\) 使
2.4.10 秩一扰动的特征值
定理 2.4.10.1(A. Brauer):\(A\) 特征值 \(\lambda,\lambda_2,\dots,\lambda_n\),\(Ax=\lambda x\)(\(x\ne0\)),则对任意 \(v\in\mathbb C^n\),\(A+xv^*\) 的特征值为 \(\lambda+v^*x,\lambda_2,\dots,\lambda_n\)。 证明:\(\xi=x/\|x\|_2\),\(U=[\xi\ u_2\dots u_n]\) 酉,\(U^*AU=\begin{bmatrix}\lambda&\star\\0&A_1\end{bmatrix}\);\(U^*xv^*U=\begin{bmatrix}\|x\|_2\\0\end{bmatrix}[v^*\xi\ v^*u_2\cdots]=\begin{bmatrix}v^*x&\star\\0&0\end{bmatrix}\),相加即得。(另一途径见 1.2.8。)意义:秩一扰动可任意移动一个特征值而不动其他特征值(如 Google PageRank、紧缩法)。
2.4.11 完整的双正交原理(complete principle of biorthogonality)
定理 2.4.11.1:\(A\in M_n\),单位向量 \(x,y\),\(\lambda,\mu\in\mathbb C\)。 (a) 若 \(Ax=\lambda x\),\(y^*A=\mu y^*\),\(\lambda\ne\mu\),则 \(y^*x=0\);令 \(U=[x\ y\ u_3\dots u_n]\) 酉,则
2.4 节习题(PDF p.144–151)
- 2.4.P1:特征值互异的矩阵构成 \(M_n\) 的开子集(由 2.4.9.2)。
- 2.4.P2:上三角矩阵的秩 ≥ 非零对角元个数;\(A\) 恰有 \(k\) 个非零特征值则 \(\operatorname{rank}A\ge k\)(可对角化时取等);由
\[\Big|\sum_{i=1}^k\lambda_i\Big|^2\le k\sum|\lambda_i|^2=k\sum|t_{ii}|^2\le k\sum|t_{ij}|^2=k\sum|a_{ij}|^2\]得 \(\operatorname{rank}A\ge|\operatorname{tr}A|^2/\operatorname{tr}(A^*A)\),等号 ⟺ \(T=aI_k\oplus0_{n-k}\)。
- 2.4.P3(交换环上的 Cayley–Hamilton,Buchheim 1884 证法):\((tI-A)\operatorname{adj}(tI-A)=p_A(t)I=It^n+a_{n-1}It^{n-1}+\cdots+a_0I\) (2.4.12);\(\operatorname{adj}(tI-A)=A_{n-1}t^{n-1}+\cdots+A_1t+A_0\) (2.4.13),\(A_0=(-1)^{n-1}\operatorname{adj}A\);比较系数得 \(A_{n-1}=I\),\(A_{n-2}-AA_{n-1}=a_{n-1}I\),…,\(A_0-AA_1=a_1I\),\(-AA_0=a_0I\) (2.4.15);第 \(k\) 式左乘 \(A^{n-k+1}\) 相加得 \(p_A(A)=0\);左乘 \(A^{n-k}\) 加前 \(n\) 式得
\[\operatorname{adj}A=(-1)^{n-1}(A^{n-1}+a_{n-1}A^{n-2}+\cdots+a_2A+a_1I) \tag{2.4.16}\](adj \(A\) 是 \(A\) 的多项式,系数为特征多项式系数倒序);且 \(A_{n-k-1}=A^k+a_{n-1}A^{k-1}+\cdots+a_{n-k}I\) (2.4.17)。只用加法和乘法,无除法、无求根。
- 2.4.P4:\(A,B\) 交换 ⟹ \(B\) 与 \(\operatorname{adj}A\) 交换,\(\operatorname{adj}A\) 与 \(\operatorname{adj}B\) 交换;\(A\) 非奇异时 \(B\) 与 \(A^{-1}\) 交换。
- 2.4.P5:\(\begin{bmatrix}0&\epsilon\\0&0\end{bmatrix}\) 说明不可对角化矩阵可以任意接近可对角化矩阵(0);若原矩阵特征值互异则不会。
- 2.4.P6:\(A=\operatorname{diag}(1,2,3)\),\(B=\begin{bmatrix}-2&1&2\\-1&-2&-1\\1&1&1\end{bmatrix}\),\(\sigma(aA+bB)=\{a-2b,2a-2b,3a+b\}\) 对所有 \(a,b\) 成立(性质 L),但不可同时三角化;问 \(AB\) 的特征值。
- 2.4.P7:用 2.3.P6 判据(\(AB-BA\) 特征值全零)检验 2.4.8.4 与 2.4.P6。
- 2.4.P8:\(A=UBU^*\) ⟹ \(p(A,A^*)=Up(B,B^*)U^*\),故 \(\operatorname{tr}p(A,A^*)=\operatorname{tr}p(B,B^*)\)——与 Specht 定理的关系。
- 2.4.P9 Newton 恒等式:\(p(t)=t^n+a_{n-1}t^{n-1}+\cdots+a_0\) 的零点 \(\lambda_i\),幂和 \(\mu_k=\sum\lambda_i^k\)(\(\mu_0=n\)):
\[ka_{n-k}+a_{n-k+1}\mu_1+\cdots+a_{n-1}\mu_{k-1}+\mu_k=0\ (k=1,\dots,n-1), \tag{2.4.18}\]\[a_0\mu_k+a_1\mu_{k+1}+\cdots+a_{n-1}\mu_{n+k-1}+\mu_{n+k}=0\ (k\ge0). \tag{2.4.19}\]证法:\(|t|>R\) 时 \(f(t)=\sum(t-\lambda_i)^{-1}=nt^{-1}+\mu_1t^{-2}+\mu_2t^{-3}+\cdots\),且 \(p'(t)=p(t)f(t)\),比较系数。前 \(n\) 个幂和唯一决定首一多项式的系数(另见 3.3.P18)。
- 2.4.P10:\(A,B\) 特征多项式相同 ⟺ \(\operatorname{tr}A^k=\operatorname{tr}B^k\)(\(k=1..n\));\(A\) 幂零 ⟺ \(\operatorname{tr}A^k=0\)(\(k=1..n\))。
- 2.4.P11 交换子:\(C=AB-BA\):(a) \(\operatorname{tr}C=0\);(b) 交换子不必幂零;(c) \(\operatorname{rank}C\le1\) ⟹ \(C\) 幂零;(d) \(\operatorname{rank}C=0\) ⟹ 同时酉三角化;(e) Laffey 定理:\(\operatorname{rank}C=1\) ⟹ \(A,B\) 可同时三角化(证明概要:设 \(A\) 奇异;若 \(\ker A\) 为 \(B\)-不变则得公共不变子空间;否则取 \(Ax=0,ABx\ne0\),\(C=ABxz^T\),推出 \(\operatorname{range}BA\subset\operatorname{range}AB\subset\operatorname{range}A\),\(\operatorname{range}A\) 为 \(B\)-不变;化为块三角后对角块交换子至少一个为零,递归)。
- 2.4.P12:(a) Jacobson 引理:若 \(C\) 与 \(A\) 或 \(B\) 交换,则 \(\operatorname{tr}C^k=\operatorname{tr}(AC^{k-1}B-C^{k-1}BA)=0\),故 \(C\) 幂零;(b) \(n=2\) 时 \(C\) 与 \(A,B\) 都交换 ⟺ \(C=0\);(c) \(A\) 可对角化时 \(C\) 与 \(A\) 交换 ⟺ \(C=0\);(d)(e) 拟交换(quasicommute):\(A,B\) 都与 \(C\) 交换,则 \(p(A,B)C\) 幂零,由 McCoy 定理可同时三角化(小 McCoy 定理);(f) \(n=2\):可同时三角化 ⟺ \(C^2=0\);(g) \(n=3\) 反例 \(A=E_{12}\),\(B=E_{23}+E_{31}\):\(A\) 与 \(C\) 交换但 \(B\) 不,\(B,C\) 不可同时三角化;(h) Laffey:\(n=3\) 时可同时三角化 ⟺ \(C,AC^2,BC^2\) 及 \(A^2C^2,ABC^2,B^2C^2\) 之一幂零;\(C^2=0\) 足够,\(C^3=0\) 不够。
- 2.4.P13:Sylvester 定理的另一证明:\(T_1(X)=AX\)、\(T_2(X)=XB\) 交换,\(T=T_1-T_2\) 的特征值是差 \(\lambda-\mu\);\(X=xy^*\)(\(x\) 为 \(A\) 的右特征向量、\(y\) 为 \(B\) 的左特征向量)给出 \(T(X)=(\lambda-\mu)X\),谱恰为所有差。
- 2.4.P14:\(\operatorname{rank}A=r\) ⟹ \(A\) 酉相似于前 \(r\) 行线性无关、后 \(n-r\) 行为零的上三角矩阵。
- 2.4.P15 二元 Cayley–Hamilton:\(p_{A,B}(s,t)=\det(tB-sA)\);可同时三角化时 \(=\prod(t\beta_i-s\alpha_i)\);\(A,B\) 交换时 \(p_{A,B}(B,A)=\prod(\beta_iA-\alpha_iB)=0\);\(n=2\):\((\det B)A^2-(\operatorname{tr}(A\operatorname{adj}B))AB+(\det A)B^2=0\);\(n=3\) 类似公式;\(B=I\) 即普通 C–H。
- 2.4.P16:2×2 中 \(\mu=a+d-\lambda\) 为另一特征值,\((A-\lambda I)(A-\mu I)=0\),故 \(A-\lambda I\) 的非零列是 \(\mu\) 的特征向量,非零行给出 \(\lambda\) 的左特征向量(快速求 2×2 特征向量的技巧)。
- 2.4.P17:\(A,B\) 生成的子代数 \(\mathcal A(A,B)\);\(n=2\),\(A=E_{12},B=A^T\) 时维数为 \(n^2\);\(\dim\mathcal A(A,I)\le n\)(C–H);Gerstenhaber 定理:交换时 \(\dim\mathcal A(A,B)\le n\)。
- 2.4.P18–P19:块上三角矩阵幂零 ⟺ 对角块幂零;块上三角的同时三角化 ⟺ 对应对角块族分别可同时三角化。
- 2.4.P20:\(AB=0\) ⟹ \(C^2=0\),由 McCoy 可同时三角化。
- 2.4.P21 矩矩阵与判别式:Hankel 矩阵 \(K=[\operatorname{tr}A^{i+j-2}]\),\(K=VV^T\)(\(V\) 为 Vandermonde),\(\det K=\prod_{i<j}(\lambda_j-\lambda_i)^2\) 是判别式;特征值互异 ⟺ \(K\) 非奇异;\(K\) 相似不变。例 (2.4.20):符号模式 \(A=\begin{bmatrix}a&b&0\\0&0&c\\d&-e&0\end{bmatrix}\)(\(a..e>0\))的 \(\det K=-27b^2c^2d^2-4c^3e^3-4a^4ce-8a^2c^2e^2-4a^3bcd-36abc^2de<0\),故总有三个互异特征值("要求互异特征值"的符号模式)。
- 2.4.P22:\(K_m=V_mDV_m^T\),\(\operatorname{rank}K=\) 不同特征值个数;\(d=\max\{m:K_m\text{ 非奇异}\}\)。
- 2.4.P23–P24:\(\operatorname{adj}T\) 上三角,对角元 \(\prod_{j\ne i}t_{jj}\);\(\operatorname{adj}A\) 的特征值为 \(\prod_{j\ne i}\lambda_j\)。
- 2.4.P25:2×2 时 \(A\) 酉相似于 \(\begin{bmatrix}\lambda_1&x\\0&\lambda_2\end{bmatrix}\),\(x\ge0\),\(x^2=\operatorname{tr}AA^*-|\lambda_1|^2-|\lambda_2|^2\);\(A,B\in M_2\) 酉相似 ⟺ \(\operatorname{tr}A=\operatorname{tr}B\),\(\operatorname{tr}A^2=\operatorname{tr}B^2\),\(\operatorname{tr}AA^*=\operatorname{tr}BB^*\)。
- 2.4.P26–P28:\(BCp(BC)=Bp(CB)C\);\(A=BC\)(\(B\in M_{n,k}\))则存在次数 ≤ \(k+1\) 的零化多项式;奇异 \(A\) 秩为 \(r\) 则存在次数 ≤ \(r+1\) 的零化多项式。
- 2.4.P29:\(\lambda\) 为单特征值、\(Ax=\lambda x\)、\(y^*A=\lambda y^*\),则 \(A-\lambda I+\kappa xy^*\) 对 \(\kappa\ne0\) 非奇异。
- 2.4.P30:\(p(t)=h(t)p_A(t)+r(t)\),\(\deg r<n\),则 \(p(A)=r(A)\)(系统计算高次幂)。
- 2.4.P31–P32:特征值全零 ⟹ \(A^n=0\);\(\operatorname{tr}(AB-BA)=0\),故 \(AB-BA=cI\)(\(c\ne0\))不可能(有限维中无 Heisenberg 关系)。
- 2.4.P33:\(A=\begin{bmatrix}A_{11}&A_{12}\\0&A_{22}\end{bmatrix}\) 对角块谱不交,\(B^p=A\) ⟹ \(B\) 共形块上三角,\(B_{11}^p=A_{11}\),\(B_{22}^p=A_{22}\)。
- 2.4.P34:2×2 直接验证 \(A^2-(a+d)A+(ad-bc)I=0\)。
- 2.4.P35:\(A\) 与所有酉矩阵交换 ⟺ \(A\) 为纯量矩阵。
注记:同时三角化专著见 Radjavi & Rosenthal (2000);McCoy (1936);证明改编自 Drazin–Dungey–Gruenberg (1951)。性质 L:\(\sigma(aA+bB)=\{a\alpha_j+b\beta_{i_j}\}\) 对所有 \(a,b\);条件 (2.4.8.7c) 称性质 P;P ⟹ L,L ⟹ P 仅 \(n=2\) 成立;正规矩阵对有性质 L ⟺ 交换(Wiegmann 1953)。近似版:非奇异 \(A,B\) 特征多项式相同 ⟺ \(|\operatorname{tr}A^k-\operatorname{tr}B^k|\le1\)(\(k=\pm1,\pm2,\dots\))。量子力学中 \(xp_x-p_xx=i\hbar I\)(无穷维),位置与动量都与其交换子交换(拟交换)。历史:Cayley (1858) 只验证 2×2(与 3×3),Frobenius (1878) 首个严格证明(先引入最小多项式)。
2.5 正规矩阵(Normal matrices)(PDF p.151–169)
正规矩阵类在矩阵分析中无处不在,包括酉、Hermite、斜 Hermite、实正交、实对称、实斜对称矩阵。
定义 2.5.1:\(A\in M_n\) 称正规,若 \(AA^*=A^*A\)。 练习(性质清单):正规类对复数数乘、酉相似、直和封闭;\(A\oplus B\) 正规 ⟹ \(A,B\) 正规;\(\begin{bmatrix}a&b\\-b&a\end{bmatrix}\) 正规,特征值 \(a\pm ib\);酉、Hermite、斜 Hermite 矩阵都正规;\(A=\begin{bmatrix}1&e^{i\pi/4}\\-e^{i\pi/4}&1\end{bmatrix}\) 正规,但其任何纯量倍都不是酉、Hermite 或斜 Hermite 的(正规类严格更大);对角矩阵正规,Hermite 对角阵必实;酉/Hermite/斜 Hermite 类对酉相似封闭;Hermite 矩阵对角元实,斜 Hermite 对角元纯虚,实斜对称对角元为 0;\(A\) 可酉对角化 ⟺ 存在 \(n\) 个标准正交特征向量。
几何解释:\(A=[c_1\dots c_n]\),\(A^T=[r_1\dots r_n]\)。\(A^*A=AA^*\) ⟺ \(c_i^*c_j=\overline{r_i^*r_j}\) 对所有 \(i,j\)。特别 \(\|c_i\|_2=\|r_i\|_2\):每列与对应行等长;列为零 ⟺ 对应行为零。实正规矩阵还有 \(\langle c_i,c_j\rangle=\langle r_i,r_j\rangle\),即第 \(i,j\) 列夹角等于第 \(i,j\) 行夹角。
引理 2.5.2:\(A=\begin{bmatrix}A_{11}&A_{12}\\0&A_{22}\end{bmatrix}\)(对角块方阵),则 \(A\) 正规 ⟺ \(A_{11},A_{22}\) 正规且 \(A_{12}=0\)。块上三角矩阵正规 ⟺ 非对角块全零、对角块全正规;特别上三角矩阵正规 ⟺ 对角。 证明:比较 \(AA^*=A^*A\) 的 (1,1) 块:\(A_{11}^*A_{11}=A_{11}A_{11}^*+A_{12}A_{12}^*\),取迹得 \(\operatorname{tr}A_{12}A_{12}^*=0\),即 \(A_{12}\) 元素平方和为 0,\(A_{12}=0\)。块上三角情形对 \(B=\begin{bmatrix}B_{11}&X\\0&\tilde B\end{bmatrix}\) 归纳。 练习:\(A\) 正规,\(A[\alpha,\alpha^c]=0\) ⟹ \(A[\alpha^c,\alpha]=0\)。
定理 2.5.3(正规矩阵的谱定理,spectral theorem for normal matrices):\(A\) 特征值 \(\lambda_1..\lambda_n\)。以下等价: (a) \(A\) 正规;(b) \(A\) 可酉对角化;(c) \(\sum_{i,j}|a_{ij}|^2=\sum_i|\lambda_i|^2\);(d) \(A\) 有 \(n\) 个标准正交特征向量。 ((a)⟺(b) 通常称为正规矩阵的谱定理。) 证明:\(A=UTU^*\)。(a)⟹(b):\(T\) 正规且上三角 ⟹ 对角(2.5.2)。(b)⟹(c):2.2.2。(c)⟹(d):\(\operatorname{tr}A^*A=\sum|\lambda_i|^2+\sum_{i<j}|t_{ij}|^2\),(c) 迫使 \(\sum_{i<j}|t_{ij}|^2=0\),\(T\) 对角,\(AU=UT\) 即 \(Au_i=t_{ii}u_i\),\(U\) 的列是标准正交特征向量。(d)⟹(a):标准正交组线性无关,故 \(A\) 可对角化且对角化矩阵可取酉的,\(A=U\Lambda U^*\),\(AA^*=U|\Lambda|^2U^*=A^*A\)。
正规矩阵表示 \(A=U\Lambda U^*\)(\(U\) 酉、\(\Lambda\) 对角)称为 \(A\) 的谱分解(spectral decomposition)。 练习:正规矩阵无亏(nondefective),每个特征值几何重数 = 代数重数;正规时 \(Ax=\lambda x\iff x^*A=\lambda x^*\)(右特征向量也是左特征向量,取 \(x\) 为 \(U\) 的首列,\(A^*=U\bar\Lambda U^*\));不同特征值的特征向量正交(结合双正交原理)。
酉对角化的操作流程:已知不同特征值 \(\lambda_1..\lambda_d\),对每个特征空间求基并正交化;特征空间两两正交且维数等于重数(都由正规性保证),并起来即 \(\mathbb C^n\) 的标准正交基,排成 \(U\)。但对角化酉矩阵从不唯一:若 \(X,Y\in M_{n,k}\) 列标准正交且列空间相同,则 \(X=YG\),\(G\) 必酉。
定理 2.5.4(谱分解的唯一性):\(A\) 正规,不同特征值 \(\lambda_1..\lambda_d\),重数 \(n_i\),\(\Lambda=\lambda_1I_{n_1}\oplus\cdots\oplus\lambda_dI_{n_d}\),\(A=U\Lambda U^*\)。 (a) \(A=V\Lambda V^*\)(\(V\) 酉)⟺ 存在酉 \(W_i\in M_{n_i}\) 使 \(U=V(W_1\oplus\cdots\oplus W_d)\); (b) 两个正规矩阵酉相似 ⟺ 特征值相同。 证明:(a) \(W=U^*V\) 与 \(\Lambda\) 交换,由 2.4.4.2 块对角;反之直接计算。(b) \(B=V\Lambda V^*\),则 \((UV^*)B(UV^*)^*=A\)。
定理 2.5.5:\(\mathcal N\subseteq M_n\) 为正规矩阵族,则 \(\mathcal N\) 交换 ⟺ 可同时酉对角化。对给定 \(A_0\in\mathcal N\) 及其特征值的任意排序,可取 \(U\) 使 \(U^*A_0U=\operatorname{diag}(\lambda_1..\lambda_n)\) 且对每个 \(B\in\mathcal N\),\(U^*BU\) 对角。(证明:2.3.3 + 三角正规 ⟹ 对角;排序靠置换矩阵。)
定理 2.5.6(Hermite 矩阵谱定理):\(A\) Hermite,特征值 \(\lambda_1..\lambda_n\),则 (a) 特征值全实;(b) 可酉对角化;(c) 存在酉 \(U\) 使 \(A=U\Lambda U^*\)。证明:Hermite 类对酉相似封闭,Hermite 对角阵对角元实。 对比第 1 章:这里不需假设特征值互异,也不需假设可对角化——标准正交特征基由正规性结构性保证。
实正规矩阵:
引理 2.5.7:\(A=\begin{bmatrix}a&b\\c&d\end{bmatrix}\in M_2(\mathbb R)\) 正规且有共轭非实特征值对,则 \(c=-b\ne0\),\(d=a\)。证明:\(AA^T=A^TA\iff b^2=c^2\) 且 \(ac+bd=ab+cd\);\(b=c\) 则对称、特征值实,矛盾;故 \(b=-c\ne0\),\(b(d-a)=b(a-d)\) ⟹ \(a=d\)。
定理 2.5.8(实正规矩阵的实正交标准形):\(A\in M_n(\mathbb R)\) 正规。 (a) 存在实正交 \(Q\) 使 \(Q^TAQ=A_1\oplus\cdots\oplus A_m\)(实拟对角,2.5.9),1×1 块给出所有实特征值,2×2 块为特殊形式
推论 2.5.11:\(A\in M_n(\mathbb R)\)。 (a) \(A=A^T\) ⟺ 存在实正交 \(Q\) 使 \(Q^TAQ=\operatorname{diag}(\lambda_1..\lambda_n)\) (2.5.12);两个实对称矩阵实正交相似 ⟺ 特征值相同。 (b) \(A=-A^T\) ⟺ 存在实正交 \(Q\) 与 \(p\ge0\) 使
定理 2.5.15(交换实正规族):\(\mathcal N\subseteq M_n(\mathbb R)\) 交换实正规族,存在实正交 \(Q\) 与 \(q\ge0\),使每个 \(A\in\mathcal N\)
定理 2.5.16(Fuglede–Putnam):\(A\in M_n,B\in M_m\) 正规,\(X\in M_{n,m}\),则 \(AX=XB\iff A^*X=XB^*\)。 证明:\(A=U\Lambda U^*\),\(B=VMV^*\),\(U^*XV=[\xi_{ij}]\)。\(AX=XB\iff\Lambda(U^*XV)=(U^*XV)M\iff\xi_{ij}(\lambda_i-\mu_j)=0\iff\xi_{ij}\overline{(\lambda_i-\mu_j)}=0\iff\bar\Lambda(U^*XV)=(U^*XV)\bar M\iff A^*X=XB^*\)。关键事实:\(ab=0\iff a\bar b=0\)。(另证见 2.5.P26。)
练习:\(A\) 正规,\(\bar AA=A\bar A\),\(A=B+iC\)(\(B,C\) 实),则 \(B,C\) 正规且交换(\(B=(A+\bar A)/2\))。练习:\(A=\begin{bmatrix}a&b\\-b&a\end{bmatrix}\in M_2(\mathbb C)\),\(b\ne0\),\(A_0=\begin{bmatrix}1&i\\-i&1\end{bmatrix}\),\(Q=\operatorname{diag}(1,-1)\):(a) \(A\) 非奇异 ⟺ \(A=c\begin{bmatrix}\alpha&\beta\\-\beta&\alpha\end{bmatrix}\),\(c,\beta\ne0\),\(\alpha^2+\beta^2=1\);(b) \(A\) 奇异非零 ⟺ \(A\) 是 \(A_0\) 或 \(\bar A_0\) 的非零倍;(c) \(\bar A_0=QA_0Q^T\)。
定理 2.5.17:\(A\) 正规,以下等价:(a) \(\bar AA=A\bar A\);(b) \(A^TA=AA^T\);(c) 存在实正交 \(Q\) 使 \(Q^TAQ\) 是(任意指定顺序的)零块或下列块的非零纯量倍的直和:
推论 2.5.18:\(U\) 酉。(a) 若 \(U\) 对称,存在实正交 \(Q\) 和实 \(\theta_j\in[0,2\pi)\) 使 \(U=Q\operatorname{diag}(e^{i\theta_1},\dots,e^{i\theta_n})Q^T\) (2.5.19.1);(b) 若 \(U\) 斜对称,则 \(n\) 偶且 \(U=Q\big(e^{i\theta_1}\begin{bmatrix}0&1\\-1&0\end{bmatrix}\oplus\cdots\oplus e^{i\theta_{n/2}}\begin{bmatrix}0&1\\-1&0\end{bmatrix}\big)Q^T\) (2.5.19.2)。反之这些形式分别是酉对称、酉斜对称的。证明:\(UU^T=U^TU\),用 2.5.17,只能选对称(或斜对称)块,模为 1。 练习:\(U\) 同时酉且复正交 ⟺ 实正交(\(U^{-1}=U^*=U^T\))。
推论 2.5.20:\(U\) 酉。(a) 若 \(U\) 对称,存在酉对称 \(V\) 使 \(V^2=U\) 且 \(V\) 是 \(U\) 的多项式(故与所有和 \(U\) 交换的矩阵交换);(b) 酉矩阵的 QS 分解:存在实正交 \(Q\) 与对称酉 \(S\) 使 \(U=QS\),且 \(S\) 是 \(U^TU\) 的多项式。 证明:(a) \(U=P\operatorname{diag}(e^{i\theta_j})P^T\),取插值多项式 \(p(e^{i\theta_j})=e^{i\theta_j/2}\)(0.9.11.4),\(V=p(U)=P\operatorname{diag}(e^{i\theta_j/2})P^T\)。(b) 对对称酉 \(U^TU\) 用 (a) 得 \(S^2=U^TU\),\(Q=US^*\),\(Q^TQ=S^*U^TUS^*=S^*S^2S^*=I\),\(Q\) 既酉又复正交 ⟹ 实正交。练习:也有 \(U=SQ\),\(S\) 为 \(UU^T\) 的多项式。
定理 2.5.21(实矩阵的酉相似 ⟹ 实正交相似):\(\mathcal F=\{A_\alpha\},\mathcal G=\{B_\alpha\}\subset M_n(\mathbb R)\)。若存在酉 \(U\) 使对所有 \(\alpha\),\(A_\alpha=UB_\alpha U^*\),则存在实正交 \(Q\) 使 \(A_\alpha=QB_\alpha Q^T\)。特别两实矩阵酉相似 ⟺ 实正交相似(类比 1.3.29:实矩阵复相似 ⟺ 实相似)。 证明:\(A_\alpha=\bar A_\alpha=\bar UB_\alpha U^T\),故 \(U^TUB_\alpha=B_\alpha U^TU\);QS 分解 \(U=QS\),\(S\) 是 \(U^TU\) 的多项式,与 \(B_\alpha\) 交换,\(A_\alpha=QSB_\alpha S^*Q^T=QB_\alpha SS^*Q^T=QB_\alpha Q^T\)。
2.5 节习题(PDF p.161–167)
- P1:\(A\) 正规 ⟺ \(\|Ax\|_2=\|A^*x\|_2\) 对所有 \(x\)。P2–P4:正规矩阵是酉/Hermite/斜 Hermite ⟺ 特征值模 1/实/纯虚。P5:\(iA\) 在 Hermite 与斜 Hermite 间转换。
- P6:\(A\) 正规 ⟺ 与某个特征值互异的正规矩阵交换。P7:\(A=B^{-1}B^*\) 酉 ⟺ \(B\) 正规;\(B=HNH\) 时 \(A\) 相似于酉矩阵。
- P8:\(A=H(A)+iK(A)\)(Hermite 部与斜部)正规 ⟺ \(H(A),K(A)\) 交换。P9:\(H(A)\) 的每个特征向量都是 \(K(A)\) 的特征向量 ⟹ 正规;逆不成立(\(\begin{bmatrix}1&i\\-i&1\end{bmatrix}\))。
- P10:\(A,B\) 正规且交换 ⟹ \(AB,A\pm B\) 正规;反例 \(A=\begin{bmatrix}1&-1\\1&1\end{bmatrix}\),\(B=\begin{bmatrix}-1&1\\1&1\end{bmatrix}\):\(A,B,AB,BA\) 都正规但不交换。
- P11–P13:\(\bar z=e^{i\theta}z\),\(|z|=e^{i\tau}z\);对角 \(\Lambda\) 存在对角酉 \(U,V\) 使 \(\bar\Lambda=U\Lambda\),\(|\Lambda|=V\Lambda\);\(A\) 正规 ⟺ 存在酉 \(V\) 使 \(A^*=AV\);正规时 \(\operatorname{range}A=\operatorname{range}A^*\)。
- P14:实矩阵正规且特征值全实 ⟺ 对称。P15–P16:两个正规矩阵相似 ⟺ 特征多项式相同 ⟺ 酉相似(非正规时不成立:\(0_2\) 与 \(E_{12}\));给出相似但不酉相似的可对角化矩阵例。
- P17–P19:\(p(A)\) 正规;\(p(A)\) 正规不推出 \(A\) 正规;\(A\) 正规 ⟺ \(A+aI\) 正规(直接从定义)。P20–P21:正规时右特征向量即左特征向量;\(\ker A=\ker A^*\);\(B=\begin{bmatrix}0&1\\0&1\end{bmatrix}\) 可对角化但 \(\ker B\ne\ker B^*\)。
- P22:Hermite 矩阵特征多项式系数实。P23:\(\begin{bmatrix}1&i\\i&1\end{bmatrix}\) 正规、\(\begin{bmatrix}i&i\\i&-1\end{bmatrix}\) 不正规——复对称矩阵不必正规(与实对称的重要区别)。P24:正规且幂零 ⟹ \(A=0\)。
- P25:\(A,B\) 正规,\(AX=X\bar B\iff A^*X=XB^T\)。P26:(a) \(A^*=p(A)\) ⟹ 正规;(b) 正规 ⟹ 存在次数 ≤ \(n-1\) 的 \(p\) 使 \(A^*=p(A)\)(Lagrange 插值);(c)(d) 实系数版本;(e)(f) 对两正规矩阵同一多项式;(g) 由此证 Fuglede–Putnam。
- P27:\(AB^*,B^*A\) 正规 ⟹ \(BA^*A=AA^*B\);\(A\bar A\) 正规(合同正规,congruence normal)⟺ \(AA^*A^T=A^TA^*A\);此时 \(A\bar A,\overline{A^*A},AA^*\) 交换。
- P28:Hermite \(A,B\) 且 \(AB\) 正规:\(BA\) 正规;\(A\) 与 \(B^2\) 交换;若 \(A=p(A^2)\) 或 \(B=p(B^2)\) 则 \(A,B\) 交换且 \(AB\) Hermite(如 \(A\) 或 \(B\) 半正定);例 \(A=\begin{bmatrix}0&1\\1&0\end{bmatrix},B=\begin{bmatrix}0&i\\-i&0\end{bmatrix}\)。
- P29:\(A\in M_2\),\(bc\ne0\):正规 ⟺ \(c=e^{i\theta}b\) 且 \(a-d=e^{i\theta}b(\bar a-\bar d)/\bar b\);正规时 \(e^{-i(\phi+\theta/2)}(A-aI)\) Hermite(本质 Hermite);实情形:正规 ⟺ \(A=A^T\) 或 \(c=-b,a=d\)。
- P30:正规 ⟺ \((Ax)^*(Ay)=(A^*x)^*(A^*y)\);实情形 \(Ax,Ay\) 夹角等于 \(A^Tx,A^Ty\) 夹角。P31:实正规且 \(AA^T\) 有 \(n\) 个互异特征值 ⟹ 对称。
- P32 Euler 定理:\(A\in M_3(\mathbb R)\) 正交、\(\det A>0\) ⟹ 正交相似于 \([1]\oplus\) 平面旋转:绕过原点某固定轴的旋转(刚体运动 = 平移 + 绕轴旋转)。
- P33:交换正规族存在单个 Hermite \(B\) 使每个 \(A_\alpha=p_\alpha(B)\)(\(\deg\le n-1\))。P34 正规特征向量:\(Ax=\lambda x,x^*A=\mu x^*\) ⟹ \(\lambda=\mu\);正规特征向量给出 \([\lambda]\oplus A_1\);\(A\) 正规 ⟺ 每个特征向量都是正规特征向量。
- P35:\(xx^*=yy^*\iff x=e^{i\theta}y\);秩一 \(xy^*\) 正规 ⟺ \(x=re^{i\theta}y\) ⟺ 本质 Hermite。P36 正规膨胀:\(\begin{bmatrix}A&A^*\\A^*&A\end{bmatrix}\) 正规,任何方阵都是某正规矩阵的主子阵。
- P37–P38:\(\operatorname{rank}(FF^*-F^*F)\ne1\);正规矩阵主子阵 \(B\) 要么正规要么 \(\operatorname{rank}(BB^*-B^*B)=2\);\(C=AA^*-A^*A\) Hermite,幂零 ⟺ \(C=0\);\(A\) 正规 ⟺ 与 \(C\) 交换;近正规(nearly normal):\(\operatorname{rank}C=2\);三对角 Toeplitz 矩阵 \(C=\operatorname{diag}(\alpha,0..0,-\alpha)\),\(\alpha=|a_{12}|^2-|a_{21}|^2\)。
- P39:对称/斜对称酉矩阵的表示由特征值唯一决定;斜对称酉矩阵特征值成 \(\pm\) 对。P40:\(A=\begin{bmatrix}0&B\\0&0\end{bmatrix}\),\(B=\begin{bmatrix}1&i\\-i&1\end{bmatrix}\):与 \(A^T\)、\(\bar A\) 交换但不正规。P41:\(z=x+iy\),\(\{z,\bar z\}\) 线性相关 ⟺ \(\{x,y\}\) 线性相关 ⟺ \(z=cu\)(\(u\) 实单位);线性无关时 \(\operatorname{span}\{z,\bar z\}\) 有实标准正交基。
- P42 偏离正规性 \(\Delta(A)=\operatorname{tr}A^*A-\sum|\lambda_i|^2\ge0\):\(A,B,AB\) 正规 ⟹ \(BA\) 正规;\(A\) 正规、\(B\) 与之特征多项式相同且 \(\operatorname{tr}A^*A=\operatorname{tr}B^*B\) ⟹ \(B\) 正规且与 \(A\) 酉相似。
- P43:正规 \(A=[A_{ij}]\) 若对角块的特征值合起来就是 \(A\) 的特征值,则 \(A\) 块对角;每个对角元都是特征值 ⟹ 对角。P44:\(A\) Hermite ⟺ \(\operatorname{tr}A^2=\operatorname{tr}A^*A\);Hermite \(A,B\) 交换 ⟺ \(\operatorname{tr}(AB)^2=\operatorname{tr}(A^2B^2)\)。
- P45:交换实对称族可用同一实正交矩阵同时对角化。P46:实矩阵非实特征值成共轭对。P47:正规 \(A\) 的 \(\operatorname{adj}A\) 正规、特征值 \(\prod_{j\ne i}\lambda_j\),保持 Hermite/正定/酉性。
- P48:正规 \(A\) 秩 \(r\):\(A=V\Lambda_rV^*\) 为满秩分解;\(\det A[\alpha]=|\det V_\alpha|^2\det\Lambda_r\),所有 \(r\) 阶主子式在同一射线 \(\{se^{i\theta}\}\) 上且至少一个非零——正规矩阵是**秩主(rank principal)**的。
- P49:上三角可对角化矩阵可用上三角相似对角化。P50:反序矩阵 \(K_n\) 实对称正交,特征值 \(\pm1\),\(n\) 偶时各 \(n/2\) 个,\(n\) 奇时 \(+1\) 有 \((n+1)/2\) 个。
- P51:正规 \(A\) 的 \(x^*Ax=\sum|\xi_i|^2\lambda_i\) 正是特征值凸包中的点,且凸包每点都可达到(正规矩阵的数值域 = 特征值凸包)。
- P52 Marcus–Thompson 定理:乘法交换子 \(C=ABA^{-1}B^{-1}\);\(C=I\iff AB=BA\);若 \(A,C\) 正规且 0 不在 \(B\) 特征值凸包内,则 \(A\) 与 \(C\) 交换 ⟺ \(A\) 与 \(B\) 交换(证明:\(\mathcal B=U^*BU\) 对角元 \(\beta_{ii}\ne0\),\(M\mathcal B=\Lambda\mathcal B\Lambda^{-1}\) ⟹ \(\mu_i\beta_{ii}=\beta_{ii}\) ⟹ \(M=I\))。P53 Frobenius 定理:\(V\) 为"受限酉矩阵"(cramped unitary,特征值位于长度 \(<\pi\) 的开弧上),\(C=UVU^*V^*\),则 \(U\) 与 \(C\) 交换 ⟺ \(U\) 与 \(V\) 交换。
- P54:正规 \(A\):\(\ker A\perp\operatorname{range}A\);\(\operatorname{range}A=\operatorname{range}A^*\);\(\ker A\subseteq\ker B\iff\operatorname{range}A\supseteq\operatorname{range}B\)。
- P55:正规矩阵的 Specht 简化:\(A,B\) 正规,酉相似 ⟺ \(\operatorname{tr}A^k=\operatorname{tr}B^k\)(\(k=1..n\))。
- P56:\(A^k=A^*\) ⟺ \(A\) 正规且谱 \(\subseteq\{0,1,\omega,\dots,\omega^k\}\),\(\omega=e^{2\pi i/(k+1)}\);非奇异时为酉。
- P57:\(A\) 正规且对称 ⟺ \(A=Q\Lambda Q^T\)(\(Q\) 实正交、\(\Lambda\) 复对角);正规且斜对称 ⟺ \(Q^TAQ\) 为零块与 \(\begin{bmatrix}0&z_j\\-z_j&0\end{bmatrix}\) 的直和。P58:正规 \(A\):\(A\bar A=0\iff AA^T=A^TA=0\)。P59:\(A\) 正规且特征值互异、\(AB=BA\) ⟹ \(B\) 正规。
- P60–P61 特征值散布界:\(x^Te=0\) ⟹ \(\max|x_i|\le\sqrt{(n-1)/n}\,\|x\|_2\);
\[\max_i\Big|\lambda_i-\frac{\operatorname{tr}A}{n}\Big|\le\sqrt{\frac{n-1}{n}}\Big(\operatorname{tr}A^*A-\frac{|\operatorname{tr}A|^2}{n}\Big)^{1/2},\]等号 ⟺ \(A\) 正规且特征值为 \((n-1)c,-c,\dots,-c\);谱散布(spread)\(\operatorname{spread}A=\max|\lambda-\mu|\le2\sqrt{\frac{n-1}{n}}(\operatorname{tr}A^*A-|\operatorname{tr}A|^2/n)^{1/2}\),Hermite 时以 \(\operatorname{tr}A^2\) 代替(下界见 4.3.P16)。
- P62:正规且恰 \(k\) 个非零特征值 ⟹ \(\operatorname{rank}A=k\)。P63:正规三对角 ⟹ \(|a_{i,i+1}|=|a_{i+1,i}|\)。P64:\(\operatorname{rank}(AA^*-A^*A)\ne1\)。P65:正规 ⟹ 复合矩阵 \(C_r(A)\) 正规。
- P66 平方正规(squared normal,\(A^2\) 正规):⟺ \(A\) 酉相似于 \([\lambda]\) 与 \(\tau\begin{bmatrix}0&1\\\mu&0\end{bmatrix}\)(\(\tau>0,|\mu|<1\))的直和 (2.5.22a);等价地酉相似于 \([\lambda]\) 与 \(\begin{bmatrix}\nu&r\\0&-\nu\end{bmatrix}\)(\(r>0\),\(\nu\in\mathcal D_+\) 右半平面并正虚轴)的直和 (2.5.22b),在块置换意义下唯一。
- P67–P68:\(A,B\) 正规:\(AB=0\iff BA=0\);\(B\) 正规且 \(A\) 的每个零向量都是正规特征向量时亦然。
- P69–P70:块 Jordan 型矩阵 \(M_A\)(\(A_{i,i+1}=I_n\),上方块为任意 \(A_{ij}\))的酉相似 \(W\) 必为 \(U\oplus\cdots\oplus U\);由此把有限多对矩阵的同时酉相似化为单个大矩阵的酉相似,进而可用 Specht 定理有限步判定。
- P71:\(\begin{bmatrix}a&b\\-b&a\end{bmatrix}\) 是复数 \(a+ib\) 的实表示 \(R_1\)(见 3.1.P20)。P72:\(A_1=\operatorname{diag}(i,-i)\) 与 \(A_2=\begin{bmatrix}0&1\\-1&0\end{bmatrix}\) 都正规且与共轭交换、特征值相同、酉相似,但不实正交相似——(2.5.17) 中块的选取需要比特征值更多的信息。
- P73:实正规 \(A\) 的非实特征对 \((\lambda,x)\):\(x^Tx=0\);\(x=u+iv\) 时 \(u^Tu=v^Tv\ne0\),\(u^Tv=0\),由此给出不依赖 2.3.4b 的 2.5.8 证明。P74–P75:\(X\) 正规、\(AX=XB\) 未必有 \(AX^*=X^*B\);但若 \(AX=XB\) 且 \(XA=BX\) 且 \(X\) 正规,则 \(AX^*=X^*B\)(考虑 \(\begin{bmatrix}0&X\\X&0\end{bmatrix}\) 与 \(A\oplus B\) 交换 + Fuglede)。
- P76:0-1 矩阵正规 ⟺ \(Ae=A^Te\) 且 \(c_i^Tc_j=r_i^Tr_j\)(\(i\ne j\));⟺ \(J-A\) 正规。
注记:正规性的 89 种刻画(Grone–Johnson–Sa–Wolkowicz 1987;Elsner–Ikramov 1998 增补)。(2.5.17) 在直和项置换并允许以转置替换的意义下确为实正交相似的标准形(Goodson–Horn 2009)。平方正规的标准形见 Horn–Sergeichuk (2009)。4.4.P38:每个非奇异复方阵都有 QS 分解(2.5.20b 的推广)。
2.6 酉等价与奇异值分解(Unitary equivalence and the singular value decomposition)(PDF p.169–179)
背景:\(A\) 是线性变换 \(T:V\to V\) 在标准正交基下的表示,酉相似 \(A\to UAU^*\) 对应换另一组标准正交基;若 \(T:V_1\to V_2\),\(A\in M_{m,n}\),则酉等价 \(A\to UAW^*\) 对应两边独立地换标准正交基。两个独立的酉矩阵带来额外的灵活性,可以达到酉相似达不到的简化形式。
定理 2.6.1(两个矩阵同时酉等价三角化):任意 \(A,B\in M_n\),存在酉 \(V,W\) 使 \(A=VT_AW^*\),\(B=VT_BW^*\),\(T_A,T_B\) 上三角。若 \(B\) 非奇异,\(T_B^{-1}T_A\) 的对角元是 \(B^{-1}A\) 的特征值。(与同时酉相似需交换性不同,这里无需任何条件。) 证明:\(B\) 非奇异时,\(B^{-1}A=UTU^*\)(Schur),\(BU=QR\)(QR 分解),则 \(A=BUTU^*=Q(RT)U^*\),\(B=QRU^*\),\(RT\) 上三角;\(B^{-1}A=UR^{-1}Q^*QRTU^*=UTU^*\)。\(A,B\) 都奇异时,\(B_\varepsilon=B+\varepsilon I\) 对小 \(\varepsilon>0\) 非奇异(1.2.17),取 \(\varepsilon_k\to0\) 使 \(V_{\varepsilon_k}\to V\)、\(W_{\varepsilon_k}\to W\)(酉群紧,2.1.8),极限仍上三角。 练习:\(A\) 上三角、\(B\) 上拟三角 ⟹ \(AB\) 是与 \(B\) 共形的上拟三角。 定理 2.6.2(实版本):\(A,B\in M_n(\mathbb R)\),存在实正交 \(V,W\) 使 \(A=VT_AW^T\),\(B=VT_BW^T\),\(T_A\) 实上拟三角,\(T_B\) 实上三角。(\(B^{-1}A=UTU^T\) 用 2.3.4,\(BU=QR\) 实 QR,\(RT\) 上拟三角;奇异时实极限论证。)这是广义特征值问题 QZ 算法的理论基础。
只有正规矩阵能被酉相似对角化,但任何复矩阵都能被酉等价对角化:
定理 2.6.3(奇异值分解,SVD):\(A\in M_{n,m}\),\(q=\min\{m,n\}\),\(\operatorname{rank}A=r\)。 (a) 存在酉 \(V\in M_n\)、\(W\in M_m\) 和方对角阵 \(\Sigma_q=\operatorname{diag}(\sigma_1,\dots,\sigma_q)\) (2.6.3.1),\(\sigma_1\ge\cdots\ge\sigma_r>0=\sigma_{r+1}=\cdots=\sigma_q\),使 \(A=V\Sigma W^*\),其中
定义:\(\sigma_1..\sigma_q\) 称 \(A\) 的奇异值(singular values);奇异值 \(\sigma\) 的重数是 \(\sigma^2\) 作为 \(AA^*\)(或 \(A^*A\))特征值的重数;\(\sigma^2\) 为单特征值时称 \(\sigma\) 单(simple)。\(\operatorname{rank}A\) 等于非零奇异值个数,而 \(\operatorname{rank}A\) 不小于(可大于)非零特征值个数。\(\Sigma\) 在对角元置换意义下唯一,惯例取降序。 练习:\(A,\bar A,A^T,A^*\) 奇异值相同。
定理 2.6.4(奇异值的连续性):\(A_k\to A\)(\(M_{n,m}\) 中逐元),\(\sigma_i\) 均降序排列,则 \(\lim_k\sigma_i(A_k)=\sigma_i(A)\),\(i=1..q\)。 证明:反证,存在 \(\varepsilon_0\) 与子列使 \(\max_i|\sigma_i(A_{k_j})-\sigma_i(A)|>\varepsilon_0\) (2.6.4.1);\(A_{k_j}=V_{k_j}\Sigma_{k_j}W_{k_j}^*\),紧性取子子列 \(V_{k_{j_\ell}}\to V\),\(W_{k_{j_\ell}}\to W\),则 \(\Sigma_{k_{j_\ell}}=V^*_{k_{j_\ell}}A_{k_{j_\ell}}W_{k_{j_\ell}}\to V^*AW=:\Sigma\),非负对角降序,\(A=V\Sigma W^*\);奇异值唯一性给出矛盾。(与特征值不同,奇异值有自然的降序排列,所以连续性陈述更干净。)
定理 2.6.5(Autonne 唯一性定理):\(A\in M_{n,m}\) 秩 \(r\),\(s_1..s_d\) 是不同的正奇异值(任意次序),重数 \(n_1..n_d\),\(\Sigma_d=s_1I_{n_1}\oplus\cdots\oplus s_dI_{n_d}\in M_r\),\(A=V\Sigma W^*\),\(\Sigma=\begin{bmatrix}\Sigma_d&0\\0&0\end{bmatrix}\)。设 \(\hat V\in M_n,\hat W\in M_m\) 酉。则 \(A=\hat V\Sigma\hat W^*\) ⟺ 存在酉 \(U_i\in M_{n_i}\)、\(\tilde V\in M_{n-r}\)、\(\tilde W\in M_{m-r}\) 使
SVD 是矩阵分析中极重要的工具,广泛用于工程、数值计算、统计、图像压缩(详见第 7 章与 Horn–Johnson《Topics》第 3 章)。
推论 2.6.6:\(A\in M_n\),\(r=\operatorname{rank}A\)。 (a) (Autonne / Takagi 分解) \(A=A^T\) ⟺ 存在酉 \(U\) 与非负对角 \(\Sigma\) 使 \(A=U\Sigma U^T\);\(\Sigma\) 的对角元是 \(A\) 的奇异值。 (b) 若 \(A=-A^T\),则 \(r\) 为偶数,且存在酉 \(U\)、正实数 \(s_1..s_{r/2}\) 使
推论 2.6.7(实 SVD):\(A\in M_{n,m}(\mathbb R)\),则 \(A=P\Sigma Q^T\),\(P,Q\) 实正交,\(\Sigma\) 非负对角形如 (2.6.3.1)/(2.6.3.2)。 证明:\(V\Sigma W^*=A=\bar A=\bar V\Sigma\bar W^*\),2.6.5 给出 \(\bar V=VU_V\),\(\bar W=WU_W\);\(U_V=V^*\bar V=\bar V^T\bar V\) 对称酉,同理 \(U_W\);各块 \(U_i\) 对称酉;取对称酉平方根 \(R_{\tilde V},R_{\tilde W},R_i\),\(R_V=R_1\oplus\cdots\oplus R_d\oplus R_{\tilde V}\) 等,满足 \(R_V^{-1}=\bar R_V\),\(R_V\Sigma\overline{R_W}=\Sigma\),\(A=(VR_V)\Sigma(WR_W)^*\);又 \(\overline{VR_V}=\bar VR_V^*=VR_V\),故 \(VR_V\)、\(WR_W\) 实正交。
2.6 节习题(PDF p.174–177)
- P1:\(n\ge m\),\(A\in M_{n,m}\) 满列秩 ⟺ 奇异值全正。
- P2–P5 同时酉等价对角化:\(A,B\) 可同时被 \(X^*\cdot Y\) 对角化 ⟹ \(AB^*\)、\(B^*A\) 正规;反之亦然(P3);\(AB^*,B^*A\) 都 Hermite ⟺ 可同时化为实对角(P4),非负 ⟺ Hermite 矩阵特征值非负;实情形用实正交;\(A=B+iC\) 可实正交等价对角化 ⟺ \(BC^T\)、\(C^TB\) 实对称(P5)。
- P6:\(A=QR\),\(QR\) 正规 ⟺ \(RQ\) 正规;\(A\) 正规 ⟺ \(Q\) 与 \(R^*\) 可同时酉等价对角化。
- P7:同型复矩阵酉等价 ⟺ 奇异值相同。P8:用 SVD 证 \(\operatorname{rank}AB\le\min\{\operatorname{rank}A,\operatorname{rank}B\}\)。
- P9:若 \(A^*A=W\Sigma^2W^*\),存在酉 \(V\) 使 \(A=V\Sigma W^*\)。P10:等价:(a) \(A^*A=B^*B\);(b) \(A=X\Sigma W^*\),\(B=Y\Sigma W^*\);(c) \(B=UA\)(\(U\) 酉)(推广见 7.3.11)。
- P11:\(B\) 正规,\(A^*A\) 与 \(B\) 交换 ⟺ \(A=V\Sigma W^*\)、\(B=W\Lambda W^*\)。
- P12 伴随矩阵的 SVD:\(\operatorname{adj}A=X^*SY\),\(X=(\det W)\operatorname{adj}W\),\(Y=(\det V)\operatorname{adj}V\),\(S=\operatorname{diag}(s_i)\),\(s_i=\prod_{j\ne i}\sigma_j\);\(\operatorname{rank}A\le n-2\) ⟹ \(\operatorname{adj}A=0\);\(\operatorname{rank}A=n-1\) 时 \(\operatorname{adj}A=\sigma_1\cdots\sigma_{n-1}e^{i\theta}w_nv_n^*\)。
- P13:\(A\) 酉 ⟺ \(\Sigma=I\);\(A\) 是酉矩阵纯量倍 ⟺ 保持正交性。
- P14:正规 \(A=U\Lambda U^*\),\(\lambda_j=e^{i\theta_j}|\lambda_j|\),则 \(A=(UD)\Sigma U^*\) 是 SVD,正规矩阵的奇异值 = 特征值的模;\(A\) 正规 ⟺ \(V=WU\)(\(U\) 与 \(\Sigma\) 共形块对角酉);正规且奇异值互异则 \(V=WD\)。
- P15:\(\sum|a_{ij}|^2=\operatorname{tr}A^*A=\sum\sigma_i^2\);\(\sum|\lambda_i|^2\le\sum\sigma_i^2\)(Schur 不等式),等号 ⟺ 正规;\(\sigma_i=|\lambda_i|\ \forall i\) ⟺ 正规;\(|a_{ii}|=\sigma_i\ \forall i\) ⟹ 对角。
- P16:任意酉 \(U,V\) 有 \(U=XDY\),\(V=Y^*DX^*\)(\(D\) 对角酉);酉等价 = 酉相似 ∘ 对角酉合同 ∘ 酉相似。
- P17:\(\operatorname{rank}A=\operatorname{rank}AA^*=\operatorname{rank}A^*A\)。
- P18 投影(幂等)矩阵:秩 \(r\) 的幂等 \(A\) 酉相似于 \(\begin{bmatrix}I_r&X\\0&0_{n-r}\end{bmatrix}\),进而 \(\begin{bmatrix}I_r&\Sigma\\0&0\end{bmatrix}\);奇异值为 \((I_r+\Sigma\Sigma^T)^{1/2}\oplus0_{n-r}\) 的对角元;酉相似于 \(0_{n-r-g}\oplus I_{r-g}\oplus\bigoplus_i\begin{bmatrix}1&(\sigma_i^2-1)^{1/2}\\0&0\end{bmatrix}\)(\(\sigma_i>1\))。
- P19:酉 \(U=\begin{bmatrix}U_{11}&U_{12}\\U_{21}&U_{22}\end{bmatrix}\)(\(k\le\ell\)):\(\sigma_i(U_{11})=\sigma_i(U_{22})\),\(\sigma_i(U_{12})=\sigma_i(U_{21})=(1-\sigma_{k-i+1}^2(U_{11}))^{1/2}\)(\(i\le k\)),\(\sigma_i(U_{22})=1\)(\(i>k\));\(|\det U_{11}|=|\det U_{22}|\)(CS 分解的前奏)。
- P20:奇异对称矩阵的 Autonne 分解:(a) 用 \(A+\varepsilon I\) 与极限;(b) 用零空间基分块,\(U^TAU\) 仅 \(A_{22}\) 非零且非奇异对称。
- P21–P22:对称 \(A,B\):\(A\bar B\) 正规 ⟺ 可同时 \(U\cdot U^T\) 对角化(\(\Sigma\ge0\));Hermite ⟺ 对角阵实;Hermite 且特征值非负 ⟺ 对角阵都非负。
- P23 自零化(\(A^2=0\))矩阵:秩 \(r\),酉相似于
\[\sigma_1\begin{bmatrix}0&1\\0&0\end{bmatrix}\oplus\cdots\oplus\sigma_r\begin{bmatrix}0&1\\0&0\end{bmatrix}\oplus0_{n-2r}, \tag{2.6.8}\]\(\sigma_i\) 为正奇异值(证法:\(\operatorname{range}A\subseteq\ker A\),\(2r\le n\);用 \(\ker A^*\) 基构造 \(U\),\(U^*AU=\begin{bmatrix}0&B\\0&0\end{bmatrix}\),再对 \(B\) 做 SVD)。
- P24:共轭自零化(\(A\bar A=0\))矩阵酉合同于 (2.6.8)。
- P25–P26:秩 \(r<n\) 时 \(A=U\begin{bmatrix}\Sigma_rK&\Sigma_rL\\0&0_{n-r}\end{bmatrix}U^*\),\(KK^*+LL^*=I_r\) (2.6.9);\(A\) 正规 ⟺ \(L=0\) 且 \(\Sigma_rK=K\Sigma_r\);\(A^2=0\) ⟺ \(K=0\)。
- P27:斜对称且秩 ≤1 ⟹ \(A=0\)。
- P28 EP 矩阵:\(\operatorname{range}A=\operatorname{range}A^*\)(正规矩阵和非奇异矩阵都是 EP);EP 且秩 \(r\) ⟺ \(A=V\begin{bmatrix}B&0\\0&0\end{bmatrix}V^*\)(\(B\in M_r\) 非奇异、\(V\) 酉);EP 矩阵秩主。
- P29:\(x\) 为正规特征向量(特征值 \(\lambda\))⟹ \(|\lambda|\) 是奇异值。P30:\(\operatorname{rank}A=r\iff A=S\begin{bmatrix}I_r&0\\0&0\end{bmatrix}T\)。
- P31–P32 Jordan–Wielandt 矩阵:\(\begin{bmatrix}0&A\\A^*&0\end{bmatrix}\) Hermite,酉相似于 \(\begin{bmatrix}0&\Sigma\\\Sigma^T&0\end{bmatrix}\),方阵时特征值为 \(\pm\sigma_i\)——把奇异值问题化为 Hermite 特征值问题的标准技巧;\(\begin{bmatrix}0&A\\A^T&0\end{bmatrix}\) 的奇异值为每个 \(\sigma_i\) 重复两次。
- P33:复合矩阵 \(C_r(A)\) 的奇异值是 \(\sigma_{i_1}\cdots\sigma_{i_r}\);\(\sigma_1\cdots\sigma_r\) 是 \(C_r(A)\) 的最大奇异值。
- P34–P35 Schur 不等式的加强:
\[\sum|\lambda_i(A)|^2\le\sqrt{(\operatorname{tr}AA^*)^2-\tfrac12\operatorname{tr}((AA^*-A^*A)^2)} \tag{2.6.9}\](等号 ⟺ \(A^2\) 与 \(C_2(A)\) 都正规;\(A\) 正规时等号成立),以及\[\sum|\lambda_i|^2\le\sqrt{(\operatorname{tr}AA^*-\tfrac1n|\operatorname{tr}A|^2)^2-\tfrac12\operatorname{tr}((AA^*-A^*A)^2)}+\tfrac1n|\operatorname{tr}A|^2, \tag{2.6.10}\]后者更强(等号 ⟺ \(\operatorname{tr}A=0\) 或正规)。推导用到 \(\sum|\lambda_i|^4\le\sum\sigma_i^2(A^2)\) 与 \(C_2(A)\) 上的 Schur 不等式。
- P36:\(A\) 对称 ⟺ \(V=\bar W(S_1\oplus\cdots\oplus S_d\oplus\tilde W)\)(\(S_j\) 对称酉);奇异值互异时 \(V=\bar WD\)。P37:奇异值互异时 SVD 的酉因子只差对角酉矩阵(非奇异时左右用同一个 \(D\);奇异时至多差一个对角元)。
- P38:\(A\) 非奇异,\(A+A^{-*}\) 的最小奇异值 \(\ge2\)。P39:共轭对合(coninvolutory,\(A=\bar A^{-1}\))矩阵不等于 1 的奇异值成倒数对。
- P40:(2.4.5.1) 中若 \(T,T'\) 酉相似,则各块 \(T_{ij},T'_{ij}\) 奇异值相同(必要条件),\(n=2\) 时充要,\(n=4,d=2\) 有反例。
注记:复对称矩阵的特殊 SVD(2.6.6a)由 Autonne 于 1915 年发表,此后被多次重新发现(常称 Takagi 分解);SVD 历史见 Horn–Johnson (1991) 3.0 节。
2.7 CS 分解(The CS decomposition)(PDF p.179–182)
CS 分解是分块酉矩阵在分块酉等价下的标准形,证明综合用到 SVD、QR 分解和下面的观察。
练习(关键引理):\(\Gamma=\operatorname{diag}(\gamma_1..\gamma_p)\),\(0\le\gamma_1\le\cdots\le\gamma_p\le1\),\(L=[\ell_{ij}]\in M_p\) 下三角,且 \([\Gamma\ L\ 0]\in M_{p,2p+k}\) 的行标准正交,则 \(L\) 对角,\(|\lambda_j|^2=1-\gamma_j^2\)。(提示:\(\gamma_1=1\) 时 \(L=0\);否则 \(|\ell_{11}|^2=1-\gamma_1^2\),正交性迫使 \(\ell_{21}=\cdots=\ell_{p1}=0\),逐行向下。)
定理 2.7.1(CS 分解):\(1<p\le q<n\),\(p+q=n\),\(U=\begin{bmatrix}U_{11}&U_{12}\\U_{21}&U_{22}\end{bmatrix}\in M_n\) 酉,\(U_{11}\in M_p\),\(U_{22}\in M_q\)。存在酉 \(V_1,W_1\in M_p\),\(V_2,W_2\in M_q\) 使
- SVD:\(U_{11}=V\Sigma W=(VK_p)(K_p\Sigma K_p)(K_pW)=\tilde V\Gamma\tilde W\),\(K_p\) 为反序矩阵,\(\Gamma=\operatorname{diag}(\sigma_p..\sigma_1)\) 升序。\(\begin{bmatrix}\tilde V^*&0\\0&I_q\end{bmatrix}U\begin{bmatrix}\tilde W^*&0\\0&I_q\end{bmatrix}=\begin{bmatrix}\Gamma&\tilde V^*U_{12}\\U_{21}\tilde W^*&U_{22}\end{bmatrix}\) 酉,列单位长 ⟹ \(\sigma_1=\gamma_p\le1\)。
- QR:\(\tilde V^*U_{12}=[L\ 0]\tilde Q\)(\(L\) 下三角),\(U_{21}\tilde W^*=Q\begin{bmatrix}R\\0\end{bmatrix}\)(\(R\) 上三角),用 \(I_p\oplus Q^*\)、\(I_p\oplus\tilde Q^*\) 变换得 \(\begin{bmatrix}\Gamma&[L\ 0]\\\begin{bmatrix}R\\0\end{bmatrix}&Q^*U_{22}\tilde Q^*\end{bmatrix}\)。
- 由上述引理 \(L,R\) 都对角,\(|r_{ii}|=|\ell_{ii}|=\sqrt{1-\gamma_i^2}\)。令 \(M=\operatorname{diag}(\sqrt{1-\gamma_i^2})\),\(t=\max\{i:\gamma_i<1\}\)(若 \(\gamma_1=1\) 则 \(\Gamma=I_p\),\(M=0\),直接得结论)。用对角酉 \(D_1R=-M\),\(LD_2=M\) 做分块酉合同,得 \(\begin{bmatrix}\Gamma&[M\ 0]\\\begin{bmatrix}-M\\0\end{bmatrix}&Z\end{bmatrix}\);按 \(\Gamma=\Gamma_1\oplus I_{p-t}\)、\(M=M_1\oplus0_{p-t}\)(\(M_1\) 非奇异)细分,\(Z=[Z_{ij}]_{3\times3}\)。
- 第一、三块列正交 + \(M_1\) 非奇异 ⟹ \(Z_{11}=\Gamma_1\);行列单位长 ⟹ \(Z_{12},Z_{13},Z_{21},Z_{31}=0\)。右下 \(\tilde Z=\begin{bmatrix}Z_{22}&Z_{23}\\Z_{32}&Z_{33}\end{bmatrix}\in M_{q-t}\) 是酉矩阵的直和项,故酉,\(\tilde Z=\hat VI\hat W\),用 \(I_{p+t}\oplus\hat V^*\)、\(I_{p+t}\oplus\hat W^*\) 化为单位阵。
- 最后用 \(K_p\oplus K_p\oplus I_{q-p}\) 的酉相似把升序改回降序,得 (2.7.1.2)。
参数化解读:CS 分解给出了所有按 \(I_p\oplus I_q\) 分块的酉矩阵的参数描述:参数为四个较小的任意酉矩阵 \(V_1,W_1\in M_p\)、\(V_2,W_2\in M_q\),以及 \(p\) 个实数 \(1\ge\sigma_1\ge\cdots\ge\sigma_p\ge0\):
2.7 节习题(要求用 CS 分解解答):定义 \(A\in M_{n,m}\) 为**压缩(contraction)**若最大奇异值 ≤1。
- P1:酉矩阵的任何子矩阵(不必主、不必方)都是压缩。
- P2 酉膨胀(unitary dilation):压缩 \(A\in M_{m,n}\) 恰有 \(\nu\) 个奇异值 <1,则存在 \(B,C,D\) 使 \(\begin{bmatrix}D&B\\C&A\end{bmatrix}\in M_{\max\{m,n\}+|m-n|+\nu}\) 为酉。
- P3:\(n\times n\) 酉矩阵的 \(k\times k\) 子矩阵在 \(2k>n\) 时必有奇异值等于 1。
- P4:\(U_{11},U_{22}\) 零化度相等,\(U_{12},U_{21}\) 零化度相等(对比 0.7.5)。P5:证明 2.6.P19。
- P6:2×2 酉矩阵 \(|u_{11}|=|u_{22}|\),\(|u_{21}|=|u_{12}|=(1-|u_{11}|^2)^{1/2}\);对角酉相似于复对称矩阵。
延伸:任意 2×2 分块(\(U_{ij}\in M_{r_i,c_j}\))的 CS 分解与历史见 Paige & Wei (1994)。
第 2 章 本章要点
- 酉相似保持 Frobenius 范数和所有"词迹" \(\operatorname{tr}W(A,A^*)\);Specht 定理(2.2.6)给出酉相似的完整不变量,\(n=2,3,4\) 只需 3、7、20 个词。
- Schur 三角化(2.3.1):任意方阵酉相似于上三角阵,对角元顺序任意;交换族可同时酉三角化(2.3.3);实矩阵有实 Schur 形(实正交相似于上拟三角,2.3.4)。
- Schur 定理的推论:迹/行列式与特征值关系、\(p(A)\) 特征值计重数、Cayley–Hamilton(2.4.3.2)、Sylvester 方程 \(AX-XB=C\) 唯一可解 ⟺ 谱不交(2.4.4.1)、分块对角化(2.4.6.1)、可对角化矩阵稠密(2.4.7.1)、McCoy 同时三角化定理(2.4.8.7)、特征值连续性(2.4.9.2)、Brauer 秩一扰动(2.4.10.1)、双正交原理(2.4.11.1)。
- 正规矩阵(\(AA^*=A^*A\))⟺ 可酉对角化 ⟺ \(\sum|a_{ij}|^2=\sum|\lambda_i|^2\) ⟺ 有标准正交特征基(2.5.3);Hermite 矩阵特征值实、可酉对角化(2.5.6);交换正规族可同时酉对角化(2.5.5);实正规/对称/斜对称/正交矩阵的实正交标准形(2.5.8、2.5.11);Fuglede–Putnam(2.5.16);实矩阵酉相似 ⟺ 实正交相似(2.5.21)。
- SVD(2.6.3):任意 \(A=V\Sigma W^*\),奇异值为 \(A^*A\) 特征值的平方根,连续依赖于元素(2.6.4),酉因子的非唯一性由 Autonne 定理(2.6.5)精确刻画;对称矩阵有 \(A=U\Sigma U^T\)(2.6.6),实矩阵有实 SVD(2.6.7)。
- CS 分解(2.7.1):分块酉矩阵的标准形,参数为四个小酉矩阵与 \(p\) 个"余弦"。
第 2 章 与量化交易的关联
- 协方差矩阵与风险模型:协方差/相关矩阵是实对称(Hermite)半正定矩阵,谱定理(2.5.6、2.5.11a)保证 \(\Sigma=Q\Lambda Q^T\),这是 PCA、统计因子模型、风险分解(按特征组合分解组合方差)、协方差矩阵收缩与特征值裁剪(随机矩阵理论去噪)的数学基础。交换族同时对角化(2.5.5、2.5.P45)说明:若两个协方差估计"交换",可以在同一组特征组合下比较。
- SVD 与因子提取:收益矩阵 \(R\in M_{T,N}\) 的 SVD 给出 PCA 因子与载荷;截断 SVD 是低秩近似(Eckart–Young,第 7 章);奇异值连续性(2.6.4)说明小扰动下主成分强度稳定,但 Autonne 定理(2.6.5)说明奇异值重复/接近时奇异向量不唯一——这正是 PCA 因子在相邻窗口间"旋转""翻号"的根源,回测中需做符号与子空间对齐。
- 最小二乘与回归:QR 分解(2.1)与 SVD 是数值稳定求解因子回归、截面回归(Fama–MacBeth)、病态设计矩阵伪逆的标准方法;Gram–Schmidt 正交化对应因子的逐步正交化(剔除已有因子暴露)。
- Sylvester / Lyapunov 方程(2.4.4):出现在 VAR 模型的平稳协方差 \(\Sigma=A\Sigma A^T+Q\)、卡尔曼滤波稳态、连续时间利率/波动率模型的矩估计中;唯一可解条件"谱不交"直接对应模型平稳性条件。
- Cayley–Hamilton 与矩阵函数(2.4.3):矩阵指数、矩阵幂可降为 \(n-1\) 次多项式,用于多因子仿射期限结构模型中 \(e^{At}\) 的计算、马尔可夫链(信用评级迁移矩阵)的多期转移。
- 特征值连续性与秩一扰动(2.4.9、2.4.10):解释"加入一个市场因子"或"相关矩阵加一个常数相关"时谱如何变化(市场模式对应最大特征值被平移),对相关矩阵正则化和压力测试有直接意义。
- CS 分解与子空间夹角(2.7):比较两个时期 PCA 因子子空间的主角,衡量风险模型的稳定性、因子漂移;跟踪误差子空间分析也可用。
- 第 2 章其余内容(Specht 定理、McCoy 定理、复正交/斜对称标准形)属于纯理论,与量化实务无直接关联。
第 2 章 推荐习题
- 2.1.P23(Hadamard 不等式):由 QR 分解证明,理解行列式与列范数(体积)关系。
- 2.2.P1(Jacobi 方法):对称特征值算法的收敛性,适合编程实现。
- 2.2.P10(Fourier 与循环矩阵):循环矩阵的显式对角化,对应时间序列中循环卷积与谱分析。
- 2.3.P10:\(|\det A|\le c^nn^{n/2}\),练习 Schur 不等式与 AM-GM。
- 2.4.P3:无除法的 Cayley–Hamilton 证明与 \(\operatorname{adj}A\) 的多项式表示。
- 2.4.P9 / P10:Newton 恒等式,特征多项式由幂迹决定。
- 2.4.P13:Sylvester 方程的谱刻画。
- 2.5.P1、P8、P26、P51:正规性的等价刻画;正规矩阵数值域等于特征值凸包。
- 2.5.P60–P61:特征值散布上界(可用于估计相关矩阵最大最小特征值之差)。
- 2.6.P10、P15、P31:\(A^*A=B^*B\) 的刻画、Schur 不等式的奇异值形式、Jordan–Wielandt 矩阵技巧。
- 2.7.P1–P3:压缩与酉膨胀。
第 3 章 相似标准形与三角分解(Canonical forms for similarity and triangular factorizations)
3.0 引言(PDF p.183–184)
如何判断两个矩阵相似?例:
思路:找一组"特殊矩阵"作为代表,把两个矩阵都化到特殊矩阵再比较。上三角矩阵类太大(不唯一,2.3.2b 中对角相同的不同上三角矩阵可以相似);对角矩阵类太小(有些相似类不含对角矩阵,存在性失败)。Jordan 矩阵是两者之间的巧妙折中:任何复矩阵都相似于某个 Jordan 矩阵;两个 Jordan 矩阵相似 ⟺ 对角块(不计顺序)相同;且相似类中没有其他矩阵的非零非对角元比 \(J\) 更少。
**标准形(canonical form)**的一般概念:对一个等价关系,选一组代表矩阵,使 (a) 每个等价类中都有代表;(b) 不同代表互不等价。判断等价时把两者都化为代表看是否相同。已有例子:正规矩阵在酉相似下的标准形是对角阵(2.5.3,对角阵按置换相似视为相同);\(M_n\) 在酉等价下的标准形是 \(\Sigma=\operatorname{diag}(\sigma_1\ge\cdots\ge\sigma_n\ge0)\)(SVD,2.6.3)。
3.1 Jordan 标准形定理(The Jordan canonical form theorem)(PDF p.184–195)
定义 3.1.1:Jordan 块 \(J_k(\lambda)\) 是 \(k\times k\) 上三角矩阵
存在性三步走:
- 第 1 步(2.3.1):任意复矩阵相似于上三角阵,特征值在对角线上且相等的特征值排在一起;
- 第 2 步(2.4.6.1):进一步相似于块对角上三角阵 (2.4.6.2),每个对角块对角元全相等;
- 第 3 步(本节):对角元全相等的上三角阵相似于 Jordan 矩阵。 若实矩阵只有实特征值,三步都可用实相似完成。
\(k\times k\) 特征值为 0 的 Jordan 块称幂零 Jordan 块。 引理 3.1.4:\(k\ge2\),则 \(J_k(0)^TJ_k(0)=\begin{bmatrix}0&0\\0&I_{k-1}\end{bmatrix}\),\(J_k(0)^p=0\)(\(p\ge k\)),\(J_k(0)e_{i+1}=e_i\)(\(i=1..k-1\)),\([I_k-J_k^T(0)J_k(0)]x=(x^Te_1)e_1\)。
定理 3.1.5(严格上三角矩阵的 Jordan 形):\(A\in M_n\) 严格上三角,则存在非奇异 \(S\) 与整数 \(n_1\ge n_2\ge\cdots\ge n_m\ge1\),\(\sum n_i=n\),使
- \(\begin{bmatrix}1&0\\0&S_1^{-1}\end{bmatrix}A\begin{bmatrix}1&0\\0&S_1\end{bmatrix}=\begin{bmatrix}0&a^TS_1\\0&S_1^{-1}A_1S_1\end{bmatrix}\) (3.1.8),记 \(a^TS_1=[a_1^T\ a_2^T]\)(\(a_1\in\mathbb C^{k_1}\))。
- 用 \(\begin{bmatrix}1&-a_1^TJ_{k_1}^T&0\\0&I&0\\0&0&I\end{bmatrix}\) 相似,利用 \((I-J_k^TJ_k)x=(x^Te_1)e_1\),把第一行中 \(a_1^T\) 化为 \((a_1^Te_1)e_1^T\):
\[\begin{bmatrix}0&(a_1^Te_1)e_1^T&a_2^T\\0&J_{k_1}&0\\0&0&J\end{bmatrix}. \tag{3.1.9}\]
- 情形 \(a_1^Te_1\ne0\):用 \(\operatorname{diag}(1/a_1^Te_1,I,(1/a_1^Te_1)I)\) 相似缩放得 \(\begin{bmatrix}\tilde J&e_1a_2^T\\0&J\end{bmatrix}\),其中 \(\tilde J=\begin{bmatrix}0&e_1^T\\0&J_{k_1}\end{bmatrix}=J_{k_1+1}(0)\)。由 \(\tilde Je_{i+1}=e_i\),用 \(\begin{bmatrix}I&e_{i+1}a_2^TJ^{i-1}\\0&I\end{bmatrix}\) 逐次相似把右上块 \(e_ia_2^TJ^{i-1}\) 推成 \(e_{i+1}a_2^TJ^i\);因 \(J^{k_1}=0\),至多 \(k_1\) 步后右上块消失,\(A\sim\tilde J\oplus J\)。
- 情形 \(a_1^Te_1=0\):(3.1.9) 为 \(\begin{bmatrix}0&0&a_2^T\\0&J_{k_1}&0\\0&0&J\end{bmatrix}\),置换相似于 \(\begin{bmatrix}J_{k_1}&0&0\\0&0&a_2^T\\0&0&J\end{bmatrix}\) (3.1.10),右下 \(\begin{bmatrix}0&a_2^T\\0&J\end{bmatrix}\in M_{n-k_1}\) 严格上三角,归纳假设化为 Jordan 矩阵 \(\hat J\),故 \(A\sim J_{k_1}\oplus\hat J\),必要时块置换使块大小降序。
- 实情形所有相似都是实的。
一般情形:若 \(A\) 上三角且对角元全为 \(\lambda\),则 \(A_0=A-\lambda I\) 严格上三角,\(S^{-1}AS=S^{-1}A_0S+\lambda I\) 是 \(J_{n_i}(\lambda)\) 的直和。于是:
定理 3.1.11(Jordan 标准形定理):\(A\in M_n\),存在非奇异 \(S\)、正整数 \(q\) 与 \(n_1+\cdots+n_q=n\)、标量 \(\lambda_1..\lambda_q\) 使
唯一性的证明(秩序列):两个关键事实:(1) 两矩阵同时平移同一纯量矩阵仍相似;(2) 秩是相似不变量。若 \(A=SJS^{-1}\),则 \((A-\lambda I)^k\sim(J-\lambda I)^k\)。把 \(J\) 写成 \(J_{m_1}(\lambda)\oplus\cdots\oplus J_{m_p}(\lambda)\oplus\hat J\)(\(\hat J\) 不含特征值 \(\lambda\),\(\hat J-\lambda I\in M_m\) 非奇异,\(m=n-\sum m_i\)),则
Weyr 特征(Weyr characteristic):\(w(A,\lambda)=(w_1(A,\lambda),\dots,w_q(A,\lambda))\),\(q\) 为指标。Jordan 结构完全由各特征值的 Weyr 特征决定:\(J_k(\lambda)\) 块的个数为 \(w_k-w_{k+1}\)。两个本质不同的 Jordan 矩阵不能同时相似于 \(A\)——唯一性得证。
引理 3.1.18:\(J_k(\lambda)\) 在 \(A\) 的 Jordan 标准形中出现的次数为 \(w_k(A,\lambda)-w_{k+1}(A,\lambda)\)。\(A,B\in M_n\) 相似 ⟺ (a) 不同特征值相同;(b) 对每个特征值 \(\lambda_i\) 和所有 \(k\),\(w_k(A,\lambda_i)=w_k(B,\lambda_i)\)。
Segre 特征(Segre characteristic):特征值 \(\lambda\) 的 Jordan 块大小降序列表
数值上的警告:上述推导是显式算法,但不适合在软件中计算 Jordan 形。例:\(A_\epsilon=\begin{bmatrix}\epsilon&0\\1&0\end{bmatrix}\)(\(\epsilon\ne0\))\(=S_\epsilon J_\epsilon S_\epsilon^{-1}\),\(S_\epsilon=\begin{bmatrix}0&\epsilon\\1&1\end{bmatrix}\),\(J_\epsilon=\begin{bmatrix}0&0\\0&\epsilon\end{bmatrix}\);\(\epsilon\to0\) 时 \(J_\epsilon\to J_1(0)\oplus J_1(0)\),但 \(A_\epsilon\to A_0=\begin{bmatrix}0&0\\1&0\end{bmatrix}\),其 Jordan 形为 \(J_2(0)\)。元素的微小变化可导致 Jordan 形剧变,根源是秩不是元素的连续函数。
推论 3.1.21(\(\epsilon\)-Jordan 形):\(A\in M_n\),\(\epsilon\ne0\),存在非奇异 \(S(\epsilon)\) 使
3.1 节习题:
- P1:验证引理 3.1.4。P2:(3.0.0) 两矩阵的 Jordan 形(\(J_2(0)\oplus J_2(0)\) 与 \(J_3(0)\oplus J_1(0)\))。P3:只有实特征值的复矩阵相似于实矩阵;相似矩阵一般不能取实。
- P4:\(A\) 相似于 \(cA\)(\(|c|\ne1\))⟹ \(\sigma(A)=\{0\}\),\(A\) 幂零;反之幂零矩阵对所有 \(c\ne0\) 相似于 \(cA\)。
- P5:\(J_k(\lambda)\) 的特征空间一维,几何重数 1,代数重数 \(k\)。
- P6:按三步求 \(\begin{bmatrix}1&1\\1&1\end{bmatrix}\) 与 \(\begin{bmatrix}3&1&2\\0&3&0\\0&0&3\end{bmatrix}\) 的 Jordan 形,用 3.1.18 验证。
- P7:\(r_{k-1}-2r_k+r_{k+1}\) = 特征值 \(\lambda\)、阶为 \(k\) 的块数。P8:\(A^2=0\)、秩 \(r\) ⟹ Jordan 形 \(J_2(0)^{\oplus r}\oplus0_{n-2r}\)(对比 2.6.P23)。
- P9:\(J_n(0)^2\) 的 Jordan 形:\(n=2m\) 时 \(J_m(0)\oplus J_m(0)\),\(n=2m+1\) 时 \(J_{m+1}(0)\oplus J_m(0)\)。P10:\(-J_k(\lambda)\) 的 Jordan 形为 \(J_k(-\lambda)\)。
- P11 点图(Ferrers/Young 图):第 \(k\) 行放 \(w_k\) 个点,列长即 Segre 特征;Segre 与 Weyr 是共轭分拆。P12:Weyr 与 Segre 特征之间的一系列不等式关系(如 \(s_{w_k}\ge k\),\(w_{s_k}\ge k\),\(s_k\ge p>s_{k+1}\iff w_p=k\) 等)。
- P13:块 Jordan 矩阵 \(J_k^+(\lambda I_m)\)(对角为 \(\lambda I_m\)、超对角为 \(I_m\))的 Jordan 形为 \(J_k(\lambda)^{\oplus m}\)。
- P14:\(A\) 与 \(A^T\) 相似(Weyr 特征相同);\(A\) 与 \(A^*\) 未必相似。
- P15:秩一 \(A=xy^*\) 的 Jordan 形为 \(\begin{bmatrix}y^*x&0\\0&0\end{bmatrix}\oplus0_{n-2}\)(\(y^*x\ne0\))或 \(J_2(0)\oplus0_{n-2}\)(\(y^*x=0\));秩一矩阵可对角化 ⟺ 迹非零。
- P16:\(\lambda\ne0\) 时 \(J_k(\lambda)^{-1}\) 是上三角 Toeplitz,对角 \(\lambda^{-1}\),第一超对角为 \(-\lambda^{-2}\)(全非零),故 Jordan 形为 \(J_k(\lambda^{-1})\)。
- P17:非奇异 \(A\) 与 \(A^{-1}\) 相似 ⟺ 对 \(\lambda\ne\pm1\),\(J_k(\lambda)\) 与 \(J_k(\lambda^{-1})\) 成对出现。P18:特征值全为 \(\pm1\) ⟹ \(A\sim A^{-1}\);\(A=BC\),\(B^{-1}=SBS^{-1}\),\(C^{-1}=SCS^{-1}\) ⟹ \(A\sim A^{-1}\)。
- P19 Heisenberg 群:\(A_{x,y,t}=\begin{bmatrix}1&x^T&t\\&I_n&y\\&&1\end{bmatrix}\),\(A_{x,y,t}A_{\xi,\eta,\tau}=A_{x+\xi,y+\eta,t+\tau}\)(书中如此印刷;按矩阵乘法直接计算,右上角元应为 \(t+\tau+x^T\eta\),编写时宜核对),构成群;Jordan 形按 \(x^Ty\ne0\)、\(x^Ty=0\) 等情形为 \(J_3(1)\oplus I_{n-1}\)、\(J_2(1)\oplus J_2(1)\oplus I_{n-2}\)、\(J_2(1)\oplus I_n\)、\(I_{n+2}\);总与其逆相似。
- P20:\(\operatorname{rank}A=\operatorname{rank}A^2\)(0 为半单特征值)⟹ \(A\) 秩主(0.7.6)。
- P21:不可约上 Hessenberg 矩阵每个特征值几何重数为 1(非减次,nonderogatory);可对角化时特征值必互异(如 Hermite 三对角)。
- P22–P23:实三对角 \(a_{i,i+1}a_{i+1,i}>0\) ⟹ \(n\) 个互异实特征值;≥0 ⟹ 全实;对角为 0 且乘积为负 ⟹ \(n\) 个互异纯虚特征值,成 \(\pm\) 对,\(n\) 奇时奇异。
- P24:两个 0-1 幂零矩阵 \(A,B\) 各次幂中 1 的个数相同、彼此相似,但不置换相似。
- P25:\(A\) 可对角化 ⟺ 对每个特征值,\((A-\lambda I)^2x=0\Rightarrow(A-\lambda I)x=0\)。P26–P27:由此不用谱定理证明正规矩阵可对角化,再结合 QR 证明可酉对角化。
- P28:\(A,B\) 相似 ⟺ 对所有特征值与 \(k=1..n\),\(r_k(A,\lambda)=r_k(B,\lambda)\)。P29:\(a_{ii}=1\)、\(a_{i,i+1}\ne0\) 的上三角矩阵相似于 \(J_k(1)\)。P30:唯一特征值为 1 ⟹ \(A\sim A^k\)(所有 \(k\))。
注记:C. Jordan 1870 年于 Traité des Substitutions 发表;本节证明遵循 Fletcher–Sorensen (1983) 的算法推导;组合证明见 Brualdi (1987)。
3.2 Jordan 标准形的推论(Consequences of the Jordan canonical form)(PDF p.195–211)
3.2.1 Jordan 矩阵的结构
对 (3.2.1.1) \(J=J_{n_1}(\lambda_1)\oplus\cdots\oplus J_{n_k}(\lambda_k)\):
- 块数 \(k\) = \(J\) 的线性无关特征向量的最大个数;
- \(J\) 可对角化 ⟺ \(k=n\)(所有块 1×1);
- 给定特征值的块数 = 几何重数(特征空间维数);块大小之和 = 代数重数;
- 对非零 \(A\) 及其特征值 \(\lambda\),存在正整数 \(q\) 使 \(r_1(A,\lambda)>r_2(A,\lambda)>\cdots>r_q(A,\lambda)=r_{q+1}(A,\lambda)\);\(q\) 即 \(\lambda\) 的指标 = 最大 Jordan 块阶。
3.2.2 常系数线性常微分方程组
初值问题
3.2.3 矩阵与其转置相似
\(K_m\) 为 \(m\times m\) 反序矩阵(0.9.5.1),对称且对合:\(K_m=K_m^T=K_m^{-1}\)。 练习:\(K_mJ_m(\lambda)=J_m(\lambda)^TK_m\),\(J_m(\lambda)K_m=K_mJ_m(\lambda)^T\);故 \(K_mJ_m(\lambda)\) 与 \(J_m(\lambda)K_m\) 对称(Hankel 型),且 \(J_m(\lambda)=K_mJ_m(\lambda)^TK_m\)。 于是 Jordan 矩阵 \(J^T=KJK\),\(K=K_{n_1}\oplus\cdots\oplus K_{n_k}\) 对称对合。若 \(A=SJS^{-1}\),则
定理 3.2.3.1:任意 \(A\in M_n\),存在非奇异复对称矩阵 \(S\) 使 \(A^T=SAS^{-1}\)。(若 \(A\) 非减次,则 \(A\) 与 \(A^T\) 之间的每个相似都必经对称矩阵,见 3.2.4.4。) 又 \(A=SJS^{-1}=(SKS^T)(S^{-T}KJS^{-1})=(SJKS^T)(S^{-T}KS^{-1})\),其中 \(KJ\)、\(JK\) 对称: 定理 3.2.3.2:每个复方阵都是两个复对称矩阵之积,且可任选其中一个因子非奇异。 对任意域 \(\mathbb F\),\(M_n(\mathbb F)\) 中每个矩阵都经 \(M_n(\mathbb F)\) 中某个对称矩阵相似于其转置;特别实方阵经实对称矩阵相似于转置。
3.2.4 交换性与非减次矩阵
\(p(A)\) 总与 \(A\) 交换。反之,若 \(B\) 与 \(A\) 交换,\(B\) 是否为 \(A\) 的多项式?不一定:\(A=I\) 与所有矩阵交换,但 \(p(I)=p(1)I\) 只能是纯量矩阵。问题在于 \(A\) 的形式允许它与很多矩阵交换,却只能生成有限的多项式集合。 练习:\(B\) 与 \(J_m(\lambda)\) 交换 ⟺ 与 \(J_m(0)\) 交换;\(B\in M_2\) 与 \(J_2(0)\) 交换 ⟺ \(b_{21}=0,b_{11}=b_{22}\) ⟺ \(B=b_{11}I+b_{12}J_2(0)\);\(B\in M_3\) 与 \(J_3(0)\) 交换 ⟺ \(B\) 是上三角 Toeplitz 矩阵(0.9.7)⟺ \(B=b_{11}I+b_{12}J_3(0)+b_{13}J_3(0)^2\);\(J_4(0)\) 类似。
定义 3.2.4.1:方阵称非减次(nonderogatory),若每个特征值几何重数为 1。等价:每个不同特征值在 Jordan 形中恰对应一个块。例:\(n\) 个互异特征值的矩阵;只有一个特征值且几何重数 1 的矩阵(相似于单个 Jordan 块)。纯量矩阵是其反面。练习:非减次 ⟹ \(\operatorname{rank}A\ge n-1\)。
定理 3.2.4.2:\(A\) 非减次,\(B\) 与 \(A\) 交换,则存在次数 ≤ \(n-1\) 的多项式 \(p\) 使 \(B=p(A)\)。 证明:\(A=SJ_AS^{-1}\),\((S^{-1}BS)J_A=J_A(S^{-1}BS)\);若 \(S^{-1}BS=p(J_A)\) 则 \(B=p(A)\),故设 \(A=J_{n_1}(\lambda_1)\oplus\cdots\oplus J_{n_k}(\lambda_k)\),\(\lambda_i\) 互异。由 2.4.4.2,\(B=B_{11}\oplus\cdots\oplus B_{kk}\),\(B_{ii}J_{n_i}(0)=J_{n_i}(0)B_{ii}\),故 \(B_{ii}\) 为上三角 Toeplitz
推论 3.2.4.4:\(A\) 非减次。(a) 若 \(AB=BA^T\),则 \(B\) 对称;(b) 若 \(S\) 非奇异且 \(A^T=S^{-1}AS\),则 \(S\) 对称。 证明:(a) 由 3.2.3.1 有对称非奇异 \(R\),\(A^T=RAR^{-1}\),\(AB=BRAR^{-1}\) ⟹ \(A(BR)=(BR)A\),故 \(BR=p(A)\);\(RB^T=(BR)^T=p(A^T)=p(RAR^{-1})=Rp(A)R^{-1}=R(BR)R^{-1}=RB\),\(R\) 非奇异 ⟹ \(B^T=B\)。(b) \(SA^T=AS\),用 (a)。
3.2.5 收敛矩阵与幂有界矩阵
定义:\(A\) **收敛(convergent)**若 \(A^m\) 的每个元素当 \(m\to\infty\) 时趋于 0;**幂有界(power bounded)**若 \(\{A^m\}\) 的所有元素有界。收敛 ⟹ 幂有界;\(I\) 幂有界但不收敛。收敛矩阵在数值线性代数的迭代算法分析中很重要。
对角(可对角化)矩阵收敛 ⟺ 所有特征值模 <1。对不可对角化矩阵同样成立,但需仔细分析:\(A^m=SJ_A^mS^{-1}\),只需看单个 Jordan 块。\(J_1(\lambda)^m=[\lambda^m]\to0\iff|\lambda|<1\)。\(k\ge2\) 时由二项式定理与 \(J_k(0)^m=0\)(\(m\ge k\)):
定理 3.2.5.2:\(A\) 收敛 ⟺ 每个特征值模 <1(即谱半径 \(\rho(A)<1\));\(A\) 幂有界 ⟺ 每个特征值模 ≤1 且模为 1 的特征值对应的 Jordan 块都是 1×1(即模为 1 的特征值都半单)。
3.2.6 几何重数–代数重数不等式
几何重数 = 对应 Jordan 块数 ≤ 块大小之和 = 代数重数。二者相等(\(\lambda\) 半单,semisimple)⟺ \(\lambda\) 的所有 Jordan 块都是 1×1。(先前从不同角度讨论过:1.2.18、1.3.7、1.4.10。)
3.2.7 可对角化 + 幂零:Jordan 分解
\(J_k(\lambda)=\lambda I_k+J_k(0)\),\(J_k(0)^k=0\):每个 Jordan 块是对角矩阵与幂零矩阵之和。一般地 \(J=D+N\),\(D\) 为 \(J\) 的对角部分,\(N=J-D\) 幂零,\(N^k=0\)(\(k\) 为最大块阶 = 0 作为 \(N\) 特征值的指标)。若 \(A=SJ_AS^{-1}\),则
3.2.8 直和的 Jordan 标准形
若 \(A_i=S_iJ_iS_i^{-1}\),则 \(A=A_1\oplus\cdots\oplus A_m\) 经 \(S=S_1\oplus\cdots\oplus S_m\) 相似于 \(J=J_1\oplus\cdots\oplus J_m\);\(J\) 本身是 Jordan 矩阵,由唯一性即为 \(A\) 的 Jordan 形。
3.2.9 Jordan 标准形的最优性
Jordan 形未必是相似类中非零元最少的。例
观察 3.2.9.2:\(B\in M_m\) 的非零非对角元少于 \(m-1\) 个,则存在置换矩阵 \(P\) 使 \(P^TBP=B_1\oplus B_2\)(\(B_i\in M_{n_i}\),\(n_i\ge1\))。直观论证("岛与桥"):\(m\) 个岛 \(C_i\),当 \(b_{ij}\ne0\) 或 \(b_{ji}\ne0\) 时在 \(C_i,C_j\) 间架桥;连通全部岛至少需要 \(m-1\) 座桥;桥少于 \(m-1\) 时从 \(C_1\) 出发可达的岛 \(\nu<m\) 个,重新编号后得到直和结构(图论中的连通分支)。 置换相似下不可分解(indecomposable under permutation similarity):不存在 \(P\) 使 \(P^TBP=B_1\oplus B_2\)。由 3.2.9.2,不可分解的 \(B\in M_m\) 至少有 \(m-1\) 个非零非对角元。 观察 3.2.9.3:任意 \(B\) 置换相似于若干置换相似下不可分解矩阵的直和(取使 \(B\sim_PB_1\oplus\cdots\oplus B_q\) 的最大 \(q\))。 观察 3.2.9.4:\(B\in M_n\) 有 \(p\) 个非零非对角元,其 Jordan 形有 \(r\) 个块,则 \(r\ge n-p\)。证明:\(B\sim_PB_1\oplus\cdots\oplus B_q\) 各不可分解,\(p\ge\sum(n_i-1)=n-q\);由 3.2.8,\(J_B\) 至少有 \(q\) 个块。 \(n\times n\) Jordan 矩阵 \(J_{n_1}\oplus\cdots\oplus J_{n_r}\) 的非零非对角元恰为 \(\sum(n_i-1)=n-r\) 个。 定理 3.2.9.5:\(B\) 与 \(A\) 相似且有 \(p\) 个非零非对角元,\(J_A\) 有 \(r\) 个块,则 \(p\ge n-r\)——即 \(J_A\) 的非零非对角元个数是整个相似类中的最小值。
3.2.10 块上三角矩阵特征值的指标
\(\lambda\) 在 \(A\) 中的指标等价于:(a) 最大 Jordan 块阶;(b) 使 \(\operatorname{rank}(A-\lambda I)^m=\operatorname{rank}(A-\lambda I)^{m+1}\) 的最小 \(m\)。直和 \(A_{11}\oplus A_{22}\) 中指标为 \(\max\{\nu_1,\nu_2\}\)。 练习:\(A=\begin{bmatrix}J_2(0)&I_2\\0&J_2(0)^T\end{bmatrix}\),两对角块中 0 的指标都是 2,但在 \(A\) 中为 4。 块上三角 \(A=\begin{bmatrix}A_{11}&A_{12}\\0&A_{22}\end{bmatrix}\)(取 \(\lambda=0\)),\(m=\nu_1+\nu_2\):
3.2.11 \(AB\) 与 \(BA\)
\(A\in M_{m,n}\),\(B\in M_{n,m}\),(1.3.22) 已知 \(AB\) 与 \(BA\) 非零特征值(含重数)相同。更强地: 定理 3.2.11.1:对 \(AB\) 的每个非零特征值 \(\lambda\) 和每个 \(k\),\(AB\) 与 \(BA\) 的 Jordan 形中 \(J_k(\lambda)\) 的个数相同("非奇异部分"的 Jordan 结构完全相同)。 证明:由 1.3.22 的证明,\(C_1=\begin{bmatrix}AB&0\\B&0_n\end{bmatrix}\) 与 \(C_2=\begin{bmatrix}0_m&0\\B&BA\end{bmatrix}\) 相似。\(\lambda\ne0\),\((C_1-\lambda I)^k=\begin{bmatrix}(AB-\lambda I_m)^k&0\\\star&(-\lambda I_n)^k\end{bmatrix}\) 的秩为 \(n+\operatorname{rank}(AB-\lambda I_m)^k\);\((C_2-\lambda I)^k\) 的秩为 \(m+\operatorname{rank}(BA-\lambda I_n)^k\)。二者相等:
3.2.12 Drazin 逆
满足 \(AXA=A\) 的 \(X\) 称 \(A\) 的广义逆(generalized inverse)。 定义 3.2.12.1:设
3.2.13 秩一扰动的 Jordan 形
Brauer 定理(1.2.8、2.4.10.1)的 Jordan 版本:在一定条件下,秩一扰动可以几乎任意移动一个特征值,而不扰动其余 Jordan 结构。 定理 3.2.13.1:\(n\ge2\),\(A\) 的特征值 \(\lambda,\lambda_2..\lambda_n\),存在非零 \(x,y\) 使 \(Ax=\lambda x\),\(y^*A=\lambda y^*\),\(y^*x\ne0\)。则 (a) \(A\) 的 Jordan 形为 \([\lambda]\oplus J_{n_1}(\nu_1)\oplus\cdots\oplus J_{n_k}(\nu_k)\) (3.2.13.2),\(\{\nu_i\}\subset\{\lambda_2..\lambda_n\}\); (b) 对任意 \(v\) 满足 \(\lambda+v^*x\ne\lambda_j\)(\(j=2..n\)),\(A+xv^*\) 的 Jordan 形为 \([\lambda+v^*x]\oplus J_{n_1}(\nu_1)\oplus\cdots\oplus J_{n_k}(\nu_k)\)。 证明:由 1.4.7 存在非奇异 \(S=[x\ S_1]\) 使 \(S^{-1}AS=[\lambda]\oplus B\),\(B\) 的 Jordan 形即 \(\oplus J_{n_i}(\nu_i)\)。\(S^{-1}(xv^*)S=e_1(v^*S)=\begin{bmatrix}v^*x&w^*\\0&0\end{bmatrix}\)(\(w^*=v^*S_1\)),故 \(S^{-1}(A+xv^*)S=\begin{bmatrix}\lambda+v^*x&w^*\\0&B\end{bmatrix}\)。用 \(\begin{bmatrix}1&\xi^*\\0&I\end{bmatrix}\) 相似得右上块 \(w^*+\xi^*((\lambda+v^*x)I-B)\);因 \(\lambda+v^*x\) 不是 \(B\) 的特征值,取 \(\xi^*=-w^*((\lambda+v^*x)I-B)^{-1}\) 消去,得 \([\lambda+v^*x]\oplus B\)。
3.2 节习题(PDF p.207–211)
- P1:族 \(\mathcal F\) 中有非减次 \(A_0\) 与所有成员交换 ⟹ 每个 \(A_\alpha=p_\alpha(A_0)\)(\(\deg\le n-1\)),\(\mathcal F\) 交换。
- P2:(3.2.4.2 的逆)若与 \(A\) 交换的每个矩阵都是 \(A\) 的多项式,则 \(A\) 非减次。
- P3:\(A=B+iC\) 的实表示 \(R_1(A)=\begin{bmatrix}B&C\\-C&B\end{bmatrix}\in M_{2n}\) 的 Jordan 形为 \(J\oplus\bar J\),即成对 \(J_k(\lambda)\oplus J_k(\bar\lambda)\)(即使 \(\lambda\) 实)。
- P4:奇异 \(A\) 秩 \(r\),\(h(t)=p_A(t)/t^{n-r-1}\) 零化 \(A\)(次数 \(r+1\)):Jordan 形 \(J\oplus J_{n_1}(0)\oplus\cdots\oplus J_{n_k}(0)\),\(p_A(t)=p_1(t)t^\nu\),\(p(t)=p_1(t)t^{n_{\max}}\) 零化 \(A\);\(k=n-r\),\(\nu-n_{\max}\ge k-1=n-r-1\)。
- P5:求 \(\begin{bmatrix}i&1\\1&-i\end{bmatrix}\) 的 Jordan 形(迹 0、行列式 0,非零幂零 ⟹ \(J_2(0)\))。
- P6:微分算子 \(d/dt\) 在 \(\{1,t,t^2,t^3\}\) 下的矩阵(超对角为 1,2,3)的 Jordan 形为 \(J_4(0)\)。
- P7:\(A^3=I\) ⟹ 可对角化(最小多项式无重根),Jordan 形为 \(1,\omega,\omega^2\) 组成的对角阵。P8:\(p_A=(t+3)^4(t-4)^2\) 的 \(6\times6\) 矩阵所有可能 Jordan 形(\(-3\) 对应 4 的分拆 × \(4\) 对应 2 的分拆,共 \(5\times2=10\) 种)。
- P9–P12 伴随矩阵的 Jordan 形:\(\operatorname{adj}J_k(\lambda)\) 为 \(J_k(\lambda^{k-1})\)(\(\lambda\ne0\))或 \(J_2(0)\oplus0_{k-2}\)(\(\lambda=0\));非奇异 \(A\) 时 \(\operatorname{adj}A\) 的 Jordan 形 \(\oplus J_{n_i}(\mu_i)\),\(\mu_i=\lambda_i^{n_i-1}\prod_{j\ne i}\lambda_j^{n_j}\);奇异且只有一个奇异块 \(J_{n_k}(0)\):\(n_k\ge2\) 时 \(J_2(0)\oplus0_{n-2}\)(\(\operatorname{rank}A<n-1\)),\(n_k=1\) 时 \(\prod\lambda_i^{n_i}\oplus0_{n-1}\)(\(\operatorname{rank}A=n-1\));两个以上奇异块 ⟹ \(\operatorname{adj}A=0\)。
- P13–P15 相似的消去定理:\(A\oplus B\sim A\oplus C\iff B\sim C\);\(B^{\oplus k}\sim C^{\oplus k}\iff B\sim C\);\(A\oplus B^{\oplus k}\sim A\oplus C^{\oplus k}\iff B\sim C\)。
- P16:非奇异 \(A\) 的 \(A^2\) 的 Jordan 形为 \(\oplus J_{n_i}(\lambda_i^2)\)(块结构不变,特征值平方);但 \(J_m(0)^2\) 的 Jordan 形不是 \(J_m(0)\)(见 3.1.P9)。
- P17:\(\operatorname{rank}A=\operatorname{rank}A^2\) ⟺ 0 的几何重数 = 代数重数(0 的块都是 1×1);\(A\) 可对角化 ⟺ 对所有特征值 \(\operatorname{rank}(A-\lambda I)=\operatorname{rank}(A-\lambda I)^2\)。
- P18 Jordan 分解的唯一性:若 \(A=B+C\),\(BC=CB\),\(B\) 可对角化、\(C\) 幂零,则 \(B=A_D\),\(C=A_N\)。用到 \(A_D=p(A)\)、\(A_N=q(A)\)(Horn–Johnson 1991 第 6.1 节):\(B,C\) 与 \(A\)、进而与 \(A_D,A_N\) 交换;\(B,A_D\) 可同时对角化 ⟹ \(A_D-B\) 可对角化;\(C,A_N\) 可同时上三角化 ⟹ \(C-A_N\) 幂零;\(A_D-B=C-A_N\) 既可对角化又幂零 ⟹ 为 0。\(A_D\) 称可对角化部分,\(A_N\) 称幂零部分。
- P19:(a) \(\lambda\) 的所有 Jordan 块阶 ≥2 ⟺ 每个 \(\lambda\)-特征向量都在 \(\operatorname{range}(A-\lambda I)\) 中;(b) 五个等价条件:有 1×1 块;存在 \(Ax=\lambda x\) 且 \(x\notin\operatorname{range}(A-\lambda I)\);\(x\) 不正交于 \(\ker(A^*-\bar\lambda I)\);存在 \(Ax=\lambda x\)、\(y^*A=\lambda y^*\)、\(x^*y\ne0\);\(A\sim[\lambda]\oplus B\)。
- P20:\(AB\sim BA\) ⟺ \(\operatorname{rank}(AB)^k=\operatorname{rank}(BA)^k\)(\(k=1..n\));若 \(\operatorname{rank}A=\operatorname{rank}AB=\operatorname{rank}BA\) 则 \(AB\sim BA\)(化为 \(A=I_r\oplus0\) 后计算)。
- P21:\(A=\begin{bmatrix}J_2(0)&0\\x^T&0\end{bmatrix}\),\(x^T=[1\ 0]\),\(B=I_2\oplus[0]\):\(AB\) 的 Jordan 形为 \(J_3(0)\),\(BA\) 为 \(J_2(0)\oplus J_1(0)\)——零特征值的 Jordan 结构可以不同。
- P22:\(AA^D\) 与 \(I-AA^D\) 都是投影且 \(AA^D(I-AA^D)=0\)。P23:\(k\ge q\) 时 \(A^D=\lim_{t\to0}(A^{k+1}+tI)^{-1}A^k\)。
- P24:(2.4.P12 的类比)\(D=AB-BA^T\),\(AD=DA^T\) ⟹ \(D\) 奇异;\(A\) 可对角化 ⟹ \(D=0\);再有 \(DA=A^TD\) ⟹ \(D\) 幂零;\(A\) 非减次 ⟹ \(D\) 对称且 \(\operatorname{rank}D\le n-d\)。
- P25–P26:\(A^2\) 非减次 ⟹ \(A\) 非减次、\(\lambda\ne0\) 时 \(-\lambda\) 不是特征值、0 至多单重、\(\operatorname{rank}A\ge n-1\)、\(A=p(A^2)\);若再有 \(AB=B^TA\)、\(BA=AB^T\) 则 \(B\) 对称。
- P27:\(\operatorname{adj}J_k(0)\sim J_2(0)\oplus0_{k-2}\);幂零且秩 \(n-1\) ⟹ \(A\sim J_n(0)\);幂零 ⟹ \((\operatorname{adj}A)^2=0\)。
- P28 Google 矩阵:在 3.2.13.1 的假设下,\(v^*x=1\),\(A(c)=cA+(1-c)\lambda xv^*\);\(c\ne0\) 且 \(c\lambda_j\ne\lambda\) 时 Jordan 形为 \([\lambda]\oplus J_{n_1}(c\nu_1)\oplus\cdots\oplus J_{n_k}(c\nu_k)\)(对比 1.2.P21)——PageRank 阻尼因子对谱结构的影响。
- P29:\(A=J_k(\lambda)\),\(C=AB-BA\),若 \(AC=CA\),则 \(C\) 为严格上三角 Toeplitz(幂零),\(B\) 上三角(非 Toeplitz),特征值 \(b_{11},b_{11}+\gamma_1,\dots,b_{11}+(k-1)\gamma_1\) 成等差数列。
- P30–P31:子空间 \(\mathcal S\) 是 \(A\) 的不变子空间 ⟺ 存在与 \(A\) 交换的 \(B\) 使 \(\mathcal S=\ker B\) ⟺ 存在与 \(A\) 交换的 \(B\) 使 \(\mathcal S=\operatorname{range}B\)(利用 \(A\) 与 \(A^T\) 经对称矩阵相似构造)。
- P32:\(n=2\),\(A\) 与 \(C=AB-BA\) 交换 ⟹ 可同时上三角化(\(n>2\) 不成立,2.4.P12f)。P33:\(A^*\) 非减次 ⟺ \(A\) 非减次。P34:\(A\) 非减次、\(B\) 与 \(A\) 和 \(A^*\) 都交换 ⟹ \(B\) 正规。
- P35:(2.5.17 的部分逆)\(A\) 非减次、\(A\bar A=\bar AA\)、\(AA^T=A^TA\) ⟹ \(A\) 正规;\(n=2\) 时无需非减次;\(n=3\) 也成立但证明繁琐;\(n=4\) 反例 \(A=\begin{bmatrix}B&C\\0&B\end{bmatrix}\),\(B=\begin{bmatrix}1&1\\-1&1\end{bmatrix}\),\(C=\begin{bmatrix}1&i\\-i&1\end{bmatrix}\)。
- P36:共轭对合 \(A=\bar A^{-1}\) 的 Jordan 形由 \(J_k(e^{i\theta})\) 与成对的 \(J_k(\lambda)\oplus J_k(1/\bar\lambda)\)(\(|\lambda|\ne1\))组成。
- P37 半收敛(semiconvergent):\(\lim A^k\) 存在 ⟺ \(\rho(A)\le1\) 且模为 1 的特征值只能是 \(\lambda=1\) 且半单;此时 \(\lim_{k\to\infty}A^k=I-(I-A)(I-A)^D\)。
注记:最优性 3.2.9.4 及等号情形见 Brualdi–Pei–Zhan (2008)。\(AB\) 与 \(BA\) 的幂零 Jordan 块大小(降序、补零后)满足 \(|m_i-n_i|\le1\)(Johnson–Schreiner 1996;Lippert–Strang 2009 用 Weyr 特征给出另证)。3.2.P31–P32 的论证源自 I. Domanov,结论是 Halmos (1971) 的定理 3;3.2.P34 源自 G. Goodson。
3.3 最小多项式与友矩阵(The minimal polynomial and the companion matrix)(PDF p.211–220)
多项式 \(p\) 零化(annihilate) \(A\) 若 \(p(A)=0\)。Cayley–Hamilton 保证特征多项式 \(p_A\)(\(n\) 次首一)零化 \(A\);可能存在更低次的零化多项式。
定理 3.3.1:存在唯一的次数最小的首一零化多项式 \(q_A(t)\),\(\deg q_A\le n\);任何首一零化多项式 \(p\) 都被 \(q_A\) 整除:\(p=hq_A\)。 证明:设 \(m\) 为首一零化多项式的最小次数(\(m\le n\))。对任意首一零化 \(p\),带余除法 \(p=qh+r\),\(\deg r<m\);\(0=p(A)=q(A)h(A)+r(A)=r(A)\);若 \(r\ne0\),归一化得更低次首一零化多项式,矛盾;故 \(r=0\)。两个最小次首一零化多项式互相整除且同次,只差纯量倍,首一 ⟹ 相同。
定义 3.3.2:\(q_A(t)\) 称 \(A\) 的最小多项式(minimal polynomial)。
推论 3.3.3:相似矩阵最小多项式相同。证明:\(q_B(A)=q_B(SBS^{-1})=Sq_B(B)S^{-1}=0\),故 \(\deg q_A\le\deg q_B\),反之亦然,再由唯一性。 练习:\(A=J_2(0)\oplus J_2(0)\) 与 \(B=J_2(0)\oplus0_2\) 最小多项式都是 \(t^2\)(特征多项式也都是 \(t^4\)),但不相似——最小多项式(连同特征多项式)不是完全的相似不变量。
推论 3.3.4:\(q_A\mid p_A\);且 \(q_A(\lambda)=0\iff\lambda\) 是 \(A\) 的特征值,故 \(p_A\) 的每个根都是 \(q_A\) 的根。证明:整除由 3.3.1;若 \(Ax=\lambda x\),\(0=q_A(A)x=q_A(\lambda)x\),\(x\ne0\) ⟹ \(q_A(\lambda)=0\)。 于是若
与 Jordan 形的关系:单块 \(J=J_n(\lambda)\):\(p_J=(t-\lambda)^n\),且 \(k<n\) 时 \((J-\lambda I)^k\ne0\),故 \(q_J=(t-\lambda)^n\)。\(J=J_{n_1}(\lambda)\oplus J_{n_2}(\lambda)\)(\(n_1\ge n_2\)):\(p_J=(t-\lambda)^n\),但 \((J-\lambda I)^{n_1}=0\) 且没有更低次幂为零,\(q_J=(t-\lambda)^{n_1}\)。一般地,每个不同特征值 \(\lambda_i\) 贡献因子 \((t-\lambda_i)^{r_i}\),\(r_i\) 为该特征值最大 Jordan 块的阶。
定理 3.3.6:\(A\) 的不同特征值 \(\lambda_1..\lambda_d\),则
推论 3.3.8:\(A\) 的不同特征值 \(\lambda_1..\lambda_d\),\(q(t)=(t-\lambda_1)\cdots(t-\lambda_d)\) (3.3.9)。则 \(A\) 可对角化 ⟺ \(q(A)=0\)。 这一准则在已知不同特征值时确实实用:构造 (3.3.9) 看是否零化 \(A\);若零化,它必是最小多项式(更低次的多项式不可能以所有不同特征值为根);否则 \(A\) 不可对角化。
推论 3.3.10:以下等价:(a) \(q_A\) 是互异一次因子之积;(b) 每个特征值都是 \(q_A\) 的单根;(c) 对每个特征值 \(q_A'(\lambda)\ne0\);(d) \(A\) 可对角化。
反问题与友矩阵:给定首一多项式
定义 3.3.13:(3.3.12) 称多项式 (3.3.11) 的友矩阵(companion matrix)。 定理 3.3.14:每个首一多项式既是其友矩阵的最小多项式,也是特征多项式。
若 \(\deg q_A=n\),则 (3.3.7) 中 \(r_1+\cdots+r_d=n\),即每个特征值的最大块就是唯一块——\(A\) 非减次。特别地每个友矩阵都是非减次的。非减次矩阵未必是友矩阵,但它与其特征多项式的友矩阵 \(C\) 有相同 Jordan 形(每个 \(\lambda_i\) 一个块 \(J_{r_i}(\lambda_i)\)),故 \(A\sim C\)。 定理 3.3.15(练习补证):以下等价:(a) \(\deg q_A=n\);(b) \(p_A=q_A\);(c) \(A\) 非减次;(d) \(A\) 相似于 \(p_A\) 的友矩阵。
3.3 节习题(PDF p.215–220)
-
P1:\(M_3\) 中幂零矩阵相似 ⟺ 最小多项式相同(\(t,t^2,t^3\) 分别对应唯一 Jordan 形);\(M_4\) 中不成立(\(J_2\oplus J_2\) 与 \(J_2\oplus J_1\oplus J_1\))。
-
P2:最小多项式算法:对每个 \(\lambda_i\) 计算 \((A-\lambda_iI)^k\),\(r_i\) 为使 \(\operatorname{rank}(A-\lambda_iI)^k=\operatorname{rank}(A-\lambda_iI)^{k+1}\) 的最小 \(k\)。
-
P3:幂等(投影)矩阵可对角化,最小多项式为 \(t\)、\(t-1\) 或 \(t(t-1)\);三幂等(\(A^3=A\))与 \(A^k=A\) 同样可对角化。
-
P4:\(A^k=0\)(某 \(k>n\))⟹ 某 \(r\le n\) 有 \(A^r=0\)(最小多项式 \(t^r\) 整除 \(t^k\) 且 \(r\le n\))。
-
P5 用 Gram–Schmidt 求最小多项式(无需特征多项式或特征值):\(T:M_n\to\mathbb C^{n^2}\) 按列拉直(vec),是线性同构;\(v_k=T(A^k)\),\(k=0..n\),由 C–H 线性相关;对 \(v_0,v_1,\dots\) 做 Gram–Schmidt,首次产生零向量在第 \(k\) 步,则 \(\deg q_A=k-1\);若该步给出 \(\alpha_0v_0+\cdots+\alpha_{k-1}v_{k-1}=0\),则 \(\alpha_0I+\alpha_1A+\cdots+\alpha_{k-1}A^{k-1}=0\),\(q_A(t)=(\alpha_{k-1}t^{k-1}+\cdots+\alpha_1t+\alpha_0)/\alpha_{k-1}\)(\(\alpha_{k-1}\ne0\),否则前面已产生零向量)。
-
P6:用 P5 算法求 \(\begin{bmatrix}1&1\\0&2\end{bmatrix},\begin{bmatrix}1&1\\0&1\end{bmatrix},\begin{bmatrix}1&0\\0&1\end{bmatrix}\) 的最小多项式(分别为 \((t-1)(t-2)\)、\((t-1)^2\)、\(t-1\))。
-
P7:\(A=E_{12}\)、\(B=E_{22}\):\(AB=A\)、\(BA=0\),最小多项式不同;但 \(CD\) 与 \(DC\) 的特征多项式总相同(1.3.22)。
-
P8:\(A_1\oplus\cdots\oplus A_k\) 的最小多项式是各 \(q_{A_i}\) 的最小公倍式;由此另证 1.3.10。
-
P9:\(A\in M_5\),\(p_A=(t-4)^3(t+6)^2\),\(q_A=(t-4)^2(t+6)\) ⟹ Jordan 形 \(J_2(4)\oplus J_1(4)\oplus J_1(-6)\oplus J_1(-6)\)。
-
P10:直接计算验证 (3.3.11) 是 (3.3.12) 的特征多项式。
-
P11:友矩阵的其他常见形式:\(A_2=K_nAK_n\)、\(A_3=A^T\)、\(A_4=K_nA^TK_n\)(\(K_n\) 为反序矩阵),它们的最小多项式与特征多项式都是 \(p(t)\)。P12:\(p_A=p_B=q_A=q_B\) ⟹ \(A\sim B\);故这些友矩阵形式彼此相似。
-
P13 友矩阵的奇异值:任意 \(n\) 个复数都可作为友矩阵的特征值,但奇异值受严格限制。\(A=\begin{bmatrix}0&-a_0\\I_{n-1}&\xi\end{bmatrix}\),\(\xi=[-a_1\dots-a_{n-1}]^T\),\(A^*A=\begin{bmatrix}I_{n-1}&\xi\\\xi^*&s\end{bmatrix}\),\(s=|a_0|^2+\|\xi\|_2^2\)。则 \(\sigma_2=\cdots=\sigma_{n-1}=1\),且
\[\sigma_1^2,\sigma_n^2=\tfrac12\Big(s+1\pm\sqrt{(s+1)^2-4|a_0|^2}\Big); \tag{3.3.16}\]\(\sigma_1\sigma_n=|a_0|\),\(\sigma_1^2+\sigma_n^2=s+1\),\(\sigma_1\ge1\ge\sigma_n\)(\(\xi\ne0\) 时严格)。奇异值只依赖于元素的绝对值(也可用对角酉等价说明)。5.6.P28、5.6.P31 用 (3.3.16) 给出多项式零点的界。 -
P14:友矩阵正规的条件:\(n=2\) 时 ⟺ \(|a_0|=1\) 且 \(a_1=-a_0\bar a_1\)(酉 ⟺ \(|a_0|=1,a_1=0\));\(n\ge3\) 时 ⟺ \(|a_0|=1\) 且 \(a_1=\cdots=a_{n-1}=0\),即 \(p_A=t^n-c\),\(|c|=1\);此时 \(A\) 酉,特征值为 \(e^{i\varphi}e^{2\pi ik/n}\)。
-
P15:\(P(A)=\{p(A)\}\) 是 \(A\) 生成的子代数,\(\dim P(A)=\deg q_A\le n\)。
-
P16:\(A=p_1(C)\)、\(B=p_2(C)\) ⟹ \(A,B\) 交换;但交换矩阵对不一定都如此:\(A=J_2(0)\oplus J_1(0)\)、\(B=J_3(0)^2\),\(AB=BA=A^2=B^2=0\),\(\{I,A,B\}\) 是 \(\mathcal A(A,B)\) 的基,维数 3;若 \(A,B\in P(C)\) 则 \(P(C)=\mathcal A(A,B)\) 维数 3,但 \(C=\gamma I+\alpha A+\beta B\) 满足 \((C-\gamma I)^2=0\),\(\dim P(C)\le2\),矛盾。
-
P17:与友矩阵交换的矩阵必是它的多项式(友矩阵非减次,3.2.4.2)。
-
P18 用友矩阵证明 Newton 恒等式:\(A\) 为 \(p\) 的友矩阵,\(0=\operatorname{tr}(A^kp(A))=\mu_{n+k}+a_{n-1}\mu_{n+k-1}+\cdots+a_0\mu_k\) 即 (2.4.19);由 (2.4.13)
\[\operatorname{tr}(\operatorname{adj}(tI-A))=nt^{n-1}+\operatorname{tr}A_{n-2}t^{n-2}+\cdots+\operatorname{tr}A_1t+\operatorname{tr}A_0, \tag{3.3.17}\]结合 (2.4.17) 与 \(\operatorname{tr}\operatorname{adj}(tI-A)=p_A'(t)=nt^{n-1}+(n-1)a_{n-1}t^{n-2}+\cdots+a_1\)(0.8.10.2),比较系数得 \((n-k)a_{n-k}=\mu_k+a_{n-1}\mu_{k-1}+\cdots+a_{n-k+1}\mu_1+na_{n-k}\),即 (2.4.18)。 -
P19:若 \(C=AB-BA\) 与 \(A,B\) 都交换,则 \(C^{n-1}=0\)(比 Jacobson 的 \(C^n=0\) 更强);\(n=2\) 时 \(C=0\)。
-
P20:友矩阵 \(A\):\(\lambda\) 是特征值 ⟺ \(x_\lambda=[1\ \lambda\ \lambda^2\cdots\lambda^{n-1}]^T\) 是 \(A^T\) 的特征向量;\(A^T\) 的 \(\lambda\)-特征向量都是 \(x_\lambda\) 的倍数,故每个特征值几何重数为 1;两个友矩阵的转置有公共特征向量 ⟺ 有公共特征值;若 \(A,B\) 交换则必有公共特征值。
-
P21:\(C_n\) 为 \(t^n+1\) 的友矩阵,\(L_n\) 为严格下三角全 1 矩阵,\(E_n=L_n-L_n^T\),\(\theta_k=\frac\pi n(2k+1)\):\(C_n\) 特征值 \(\lambda_k=e^{i\theta_k}\),特征向量 \(x_k=[1\ \lambda_k\cdots\lambda_k^{n-1}]^T\);\(E_n=C_n+C_n^2+\cdots+C_n^{n-1}\),特征值 \(\lambda_k+\cdots+\lambda_k^{n-1}=\frac{1+\lambda_k}{1-\lambda_k}=i\cot\frac{\theta_k}2\);故 \(\rho(E_n)=\cot\frac{\pi}{2n}\)。
-
P22:\(\deg q_A\le\operatorname{rank}A+1\),且对奇异矩阵此界最优(每个 \(r=1..n-1\) 都有秩 \(r\) 且 \(\deg q_A=r+1\) 的例子)。
-
P23:友矩阵可对角化 ⟺ 特征值互异(友矩阵非减次)。
-
P24:用 3.3.3 前练习的例子(\(J_2(0)\oplus J_2(0)\) 与 \(J_2(0)\oplus0_2\))说明存在不相似的 \(A,B\) 使对每个多项式 \(p\),\(p(A)=0\iff p(B)=0\)。
-
P25 友矩阵的逆:\(a_0\ne0\) 时
\[A^{-1}=\begin{bmatrix}-a_1/a_0&1&0&\cdots&0\\-a_2/a_0&0&1&&0\\\vdots&\vdots&&\ddots&\\-a_{n-1}/a_0&0&&&1\\-1/a_0&0&\cdots&\cdots&0\end{bmatrix}, \tag{3.3.18}\]其特征多项式为 \(t^n+\frac{a_1}{a_0}t^{n-1}+\cdots+\frac{a_{n-1}}{a_0}t+\frac1{a_0}=\frac{t^n}{a_0}p_A(t^{-1})\) (3.3.19)(互反多项式)。 -
P26(2.4.P16 的推广):\(q_A(t)=\prod(t-\lambda_i)^{\mu_i}\),\(q_i(t)=q_A(t)/(t-\lambda_i)\),\(\nu_i\) 为 Jordan 形中 \(J_{\mu_i}(\lambda_i)\)(最大块)的个数。则 (a) \(q_i(A)\ne0\),其非零列是 \(\lambda_i\) 的特征向量,非零行是 \(\lambda_i\) 的左特征向量的共轭;(b) \(q_i(A)=X_iY_i^*\),\(X_i,Y_i\in M_{n,\nu_i}\) 秩 \(\nu_i\),\(AX_i=\lambda_iX_i\),\(Y_i^*A=\lambda_iY_i^*\);(c) \(\operatorname{rank}q_i(A)=\nu_i\);(d) 若某 \(\nu_i=1\),存在 \(p\) 使 \(\operatorname{rank}p(A)=1\);(e) 非减次 ⟹ 存在 \(p\) 使 \(\operatorname{rank}p(A)=1\);(f) (d) 的逆也成立。
-
P27:\(n\) 阶线性齐次 ODE \(y^{(n)}+a_{n-1}y^{(n-1)}+\cdots+a_1y'+a_0y=0\),令 \(x_1=y,x_2=y',\dots,x_n=y^{(n-1)}\) 化为 \(x'=Ax\),\(A^T\) 正是友矩阵 (3.3.12)。
-
P28:对合 \(K\)(\(K^2=I\))可对角化,相似于 \(I_m\oplus(-I_{n-m})\)。
-
P29:\(K\) 对合、\(A=KAK\) ⟹ \(A\sim A_{11}\oplus A_{22}\) 且 \(KA\sim A_{11}\oplus(-A_{22})\);\(\lambda\) 是 \(A\) 的特征值 ⟺ \(+\lambda\) 或 \(-\lambda\) 是 \(KA\) 的特征值;中心对称矩阵(0.9.10)取 \(K=K_n\):\(\lambda\in\sigma(A)\iff\pm\lambda\in\sigma(K_nA)\)(\(K_nA\) 为行逆序)。
-
P30:\(A=-KAK\) ⟹ \(A\sim\begin{bmatrix}0_m&A_{12}\\A_{21}&0_{n-m}\end{bmatrix}\),\(KA\sim\begin{bmatrix}0_m&A_{12}\\-A_{21}&0\end{bmatrix}\),\(A\sim iKA\);斜中心对称矩阵 \(A\sim iK_nA\)。
-
P31:不存在最小多项式为 \(x^2+1\) 的 \(3\times3\) 实矩阵(非实根须成对,三阶实矩阵必有实特征值),但存在 \(2\times2\) 实矩阵和 \(3\times3\) 复矩阵。
-
P32 有理标准形(rational canonical form):从 Jordan 形的块列表中,每轮对每个特征值取出一个最大块,组成 \(J_j\)(非减次),其特征多项式为 \(p_j\)、友矩阵为 \(C_j\)。则 \(J_j\sim C_j\),\(A\sim F=C_1\oplus\cdots\oplus C_r\);\(p_1\) 是最小多项式,\(p_1\cdots p_r\) 是特征多项式;\(p_{j+1}\mid p_j\);\(A\) 实则 \(F\) 实;满足整除链条件的友矩阵直和形式唯一。\(p_1..p_r\) 称 \(A\) 的不变因子(invariant factors),\(F\) 称有理标准形。虽然这里借助 Jordan 形(特征值)构造,但不变因子可仅通过对 \(A\) 元素做有限次有理运算求出,无需知道特征值;元素在域 \(\mathbb F\) 中时所有运算都在 \(\mathbb F\) 内。
-
P33:多项式 (3.3.11) 的零点 \(z_i\) 满足 \(\frac1n\sum|z_i|^2\le1-\frac1n+\frac1n\sum_{i=0}^{n-1}|a_i|^2<1+\max_i|a_i|^2\)(由友矩阵的 Schur 不等式)。
-
P34:\(C=AB-BA\) 与 \(A\) 交换时,已知 \(C^m=0\),\(m=2\max\{r_1..r_d\}-1\);由此推出 2.4.P12(a,c)。
-
P35:秩一 \(A\) 的最小多项式为 \(t(t-\operatorname{tr}A)\),故可对角化 ⟺ \(\operatorname{tr}A\ne0\)。
注记:(3.3.16) 首证于 Kittaneh (1995);任意域上的有理标准形见 Hoffman–Kunze (1971) 7.2 节或 Turnbull–Aitken (1945) V.4 节;3.3.P34 的结论见 Bračič–Kuzma (2007)(Kleinecke–Shirokov 定理的局部化)。
3.4 实 Jordan 标准形与 Weyr 标准形(The real Jordan and Weyr canonical forms)(PDF p.221–222,续见下一块)
本节讨论实矩阵的实版本 Jordan 形,以及在涉及交换性的问题中特别有用的另一种复标准形(Weyr 形,见下一块)。
3.4.1 实 Jordan 标准形
\(A\in M_n(\mathbb R)\) 的非实特征值成共轭对出现。对任意 \(\lambda\in\mathbb C\) 和 \(k\):
例:若有 \(k\) 个 \(J_2(\lambda)\),则也有 \(k\) 个 \(J_2(\bar\lambda)\)。\(J_2(\lambda)\oplus J_2(\bar\lambda)\) 交换第 2、3 行列后置换相似于块上三角
设 \(\lambda=a+ib\)(\(a,b\) 实),计算得
定理 3.4.1.5(实 Jordan 标准形):每个 \(A\in M_n(\mathbb R)\) 经实相似相似于实块对角矩阵
推论 3.4.1.7:\(A\in M_n\),以下等价: (a) \(A\) 相似于某个实矩阵; (b) 对每个非零特征值 \(\lambda\) 和每个 \(k\),\(J_k(\lambda)\) 与 \(J_k(\bar\lambda)\) 的个数相等; (c) 对每个非实特征值 \(\lambda\) 和每个 \(k\),\(J_k(\lambda)\) 与 \(J_k(\bar\lambda)\) 的个数相等; (d) 对每个非实特征值 \(\lambda\) 和每个 \(k\),\(\operatorname{rank}(A-\lambda I)^k=\operatorname{rank}(A-\bar\lambda I)^k\); (e) 对每个非实特征值 \(\lambda\) 和每个 \(k\),\(\operatorname{rank}(A-\lambda I)^k=\operatorname{rank}(\bar A-\lambda I)^k\); (f) 对每个非实特征值 \(\lambda\),\(A\) 关于 \(\lambda\) 与 \(\bar\lambda\) 的 Weyr 特征相同; (g) \(A\) 相似于 \(\bar A\)。 (本块止于 PDF p.222 推论 3.4.1.7 的陈述;其证明、3.4.2 Weyr 标准形及以后内容见下一块。)
本块所涉第 3 章内容(3.0–3.4.1)的要点(第 3 章尚未结束,完整的章末三段由下一块补写)
要点:
- Jordan 标准形定理(3.1.11):任意复方阵相似于 Jordan 块直和,在块置换意义下唯一;存在性经 Schur 三角化 → 分块对角化 → 严格上三角的幂零 Jordan 化(3.1.5)三步完成;唯一性靠秩序列 \(r_k(A,\lambda)=\operatorname{rank}(A-\lambda I)^k\) 及 Weyr 特征 \(w_k=r_{k-1}-r_k\)(3.1.17、3.1.18);Segre 特征与 Weyr 特征为共轭分拆。
- Jordan 形在数值上不稳定(秩不连续),不宜用软件计算;\(\epsilon\)-Jordan 形(3.1.21)。
- 推论:常系数线性 ODE 解的结构(\(e^{\lambda t}\times\) 次数低于指标的多项式);\(A\) 与 \(A^T\) 经对称矩阵相似(3.2.3.1)、每个矩阵是两个对称矩阵之积(3.2.3.2);与非减次矩阵交换的矩阵是它的多项式(3.2.4.2);收敛 ⟺ \(\rho(A)<1\)、幂有界 ⟺ \(\rho(A)\le1\) 且单位圆上特征值半单(3.2.5.2);Jordan 分解 \(A=A_D+A_N\)(唯一);Jordan 形的非零非对角元最少(3.2.9.5);\(AB\) 与 \(BA\) 的非零特征值 Jordan 结构相同(3.2.11.1);Drazin 逆(3.2.12);秩一扰动的 Jordan 形(3.2.13.1)。
- 最小多项式 \(q_A=\prod(t-\lambda_i)^{r_i}\)(\(r_i\) 为指标,3.3.6);可对角化 ⟺ 最小多项式无重根(3.3.8、3.3.10);友矩阵的最小多项式与特征多项式都等于给定多项式(3.3.14);非减次 ⟺ \(p_A=q_A\) ⟺ 相似于友矩阵(3.3.15);有理标准形与不变因子(3.3.P32)。
- 实 Jordan 形(3.4.1.5):非实特征值块成共轭对,可换成实块 \(C_k(a,b)\)。
与量化交易的关联:
- VAR / 状态空间模型的平稳性与脉冲响应:\(x_{t+1}=Ax_t+\varepsilon_t\) 平稳 ⟺ \(A\) 收敛 ⟺ \(\rho(A)<1\)(3.2.5.2);若存在单位根且对应 Jordan 块大于 1×1,则 \(A^m\) 多项式增长——这正是"单位根""积分阶数 I(d)"在矩阵层面的含义,也是协整分析(Johansen 检验中 \(\Pi=A-I\) 的秩)背后的线性代数。脉冲响应 \(A^m\) 中出现 \(m^j\lambda^m\) 型项,阶数由 Jordan 块大小决定,解释了接近重根时的"驼峰型"响应。
- AR(p) 模型与友矩阵:AR(p) 递推 \(y_t=\phi_1y_{t-1}+\cdots+\phi_py_{t-p}\) 写成一阶系统后状态矩阵正是特征多项式的友矩阵(3.3.12、3.3.P27);平稳条件"特征根在单位圆内"即友矩阵谱半径 <1;3.3.P33 / (3.3.16) 给出用系数估计根模的界。
- 连续时间模型:\(x'=Ax\) 的解结构(3.2.2)直接对应 Ornstein–Uhlenbeck / 多因子仿射利率模型的均值回复动力学,特征值实部决定回复速度,非实特征值带来振荡(周期性)成分。
- 马尔可夫链与 PageRank 类问题:3.2.P28 的 Google 矩阵、3.2.P37 的半收敛与 \(\lim A^k=I-(I-A)(I-A)^D\) 可用于信用评级迁移矩阵、市场状态(regime)转移矩阵的长期分布计算。
- 数值实践警示:Jordan 形不应数值计算(3.1 末的例子),实际系统中应使用 Schur 分解(第 2 章)处理非对称矩阵,例如求 VAR 的特征根和不变子空间。
- 其余内容(Weyr/Segre 特征的组合性质、Drazin 逆、对称矩阵乘积分解)与量化实务关联很弱,属理论背景。
推荐习题(本块范围内):
- 3.1.P7、3.1.P28:用秩序列判定 Jordan 结构与相似性。
- 3.1.P11:点图与 Weyr/Segre 共轭分拆。
- 3.1.P25–P27:不用谱定理证明正规矩阵可(酉)对角化。
- 3.2.P17、3.2.P18:可对角化的秩判据、Jordan 分解唯一性。
- 3.2.P37:半收敛矩阵与极限公式(马尔可夫链长期行为)。
- 3.3.P5:用 Gram–Schmidt 求最小多项式(可编程)。
- 3.3.P13:友矩阵奇异值公式 (3.3.16)。
- 3.3.P27:高阶 ODE 与友矩阵——对应 AR(p) 的状态空间表示。
- 3.3.P32:有理标准形与不变因子。