精读笔记：Roger A. Horn & Charles R. Johnson《Matrix Analysis》(2nd ed., Cambridge University Press, 2013)｜负责 PDF 第 1–111 页

页码对照：正文页码 = PDF 页码 − 20（例如书 p.1 = PDF p.21，书 p.91 = PDF p.111）。本块覆盖：封面与前言（PDF 1–20）、第 0 章全部（书 p.1–42，PDF 21–62）、第 1 章全部（书 p.43–82，PDF 63–102）、第 2 章 2.0 与 2.1 的前半部分（书 p.83–91，PDF 103–111）。

前置材料（PDF p.1–20）

• 封面/封底（PDF 1–2）：第二版，封面画为 Lun-Yi Tsai 的油画 Surprised Again on the Diagonal（2002）。封底推荐语（Ilse Ipsen、Zhongshan Li）及新版亮点：新增奇异值分解（SVD）与 CS 分解两节；Jordan 标准形的新应用；新增 Weyr 标准形一节；扩充逆问题与分块矩阵；von Neumann 迹定理居于中心地位；新附录列出 Hermitian 矩阵对、对称–斜对称矩阵对的标准形；索引超过 3500 条；习题超过 1100 道，很多带提示（提示集中在书末附录 "Hints for Problems"）。
• 书名页、版权页（PDF 3–6）：Cambridge University Press，初版 1985，平装 1990，第二版 2013。ISBN 978-0-521-83940-2（精装）/ 978-0-521-54823-6（平装）。PDF 3 有"常州大学图书馆藏书章"。PDF 6、8、12 为空白页；PDF 7 为题献 "To the matrix theory community"。
• 目录（PDF 9–11）：第 0 章 Review and Miscellanea（0.0–0.11，书 p.1–42）；第 1 章 Eigenvalues, Eigenvectors, and Similarity（1.0–1.4，p.43–82）；第 2 章 Unitary Similarity and Unitary Equivalence（2.0–2.7，p.83–162，含 QR、Schur 三角化、正规矩阵、SVD、CS 分解）；第 3 章 Jordan/Weyr 标准形与三角分解；第 4 章 Hermitian 与对称矩阵、合同；第 5 章向量与矩阵范数；第 6 章特征值定位与摄动（Geršgorin 圆盘）；第 7 章正定与半正定矩阵（极分解、Schur 乘积定理、Loewner 序）；第 8 章正矩阵与非负矩阵（Perron–Frobenius、随机矩阵）；附录 A–F（复数、凸集、代数基本定理、多项式零点与特征值的连续性、Weierstrass 定理、标准对）；参考文献、记号表、习题提示、索引。
• 第二版前言（PDF 13–16，书 p.xi–xiv）：保持第一版结构；标准形（canonical forms）作为统一主线扩展到相似（复、实、同时）、酉等价、酉相似、合同、*合同、酉合同、三角等价等；更重视不等式取等条件；分块矩阵贯穿全书；大量 2×2 例子；"习题线索"（problem threads）跨章发展专题，如伴随矩阵（adjugate）、复合矩阵（compound matrix）、有限维量子系统、Loewner 椭球、可正规化矩阵。新内容举例：秩一扰动的 Jordan 标准形（由 Google 矩阵激发）；\(A\bar A\) 为实的正规矩阵（实正规矩阵的推广）；同时酉相似/酉合同的可计算分块判据；Belitskii 关于与 Weyr 标准形交换的矩阵的结构；O'Meara–Vinsonhaler 关于交换族可同时上三角化且其中指定一个为 Weyr 形；合同与 *合同的标准形。Lidskii 不等式改用 C. K. Li 与 R. Mathias 的新证明并移至优超（majorization）一节；Birkhoff 定理新证明。逐章变化：第 0 章扩充约 75%，仅作查阅，无习题；第 1 章强调左特征向量；第 2 章新增实正交相似、McCoy 定理、特征值连续性的严格处理、SVD 与 CS 分解两节；第 3 章经 Weyr 特征（Weyr characteristic）导出 Jordan 形；第 4 章用子空间交集讲变分原理，含 Youla 定理；第 5 章范数对偶与半内积；第 6 章 Geršgorin "不相交圆盘"与单特征值的可微性；第 7 章以 von Neumann 迹定理（经 Birkhoff 定理证明）为奇异值应用的基础；第 8 章用左特征向量简化 Perron–Frobenius 理论；附录 D 给出多项式零点和特征值的显式摄动界；附录 F 列出标准对。另述 LaTeX 制作经过与封面画的来历，致谢名单。
• 第一版前言（PDF 17–20，书 p.xv–xviii）：本书与姊妹篇 Topics in Matrix Analysis 共同介绍对应用数学重要的矩阵分析结果；预备知识为一学期线性代数与基本分析概念。"矩阵分析"两种理解：源于分析需要的线性代数专题；或不避讳使用极限、连续、幂级数等分析工具处理线性代数问题的方法。第 1–3 章为核心（特征值、相似、Schur 三角化、正规矩阵、Jordan 形、LU、QR、友矩阵），第 4–8 章分别深入 Hermitian/复对称矩阵（变分法与优超）、范数（区分是否依赖次乘性）、特征值定位与摄动、正定矩阵（极分解与 SVD）、非负矩阵。限定于实数域与复数域。习题（exercises）穿插在正文中，难度低、立即可用；问题（problems）列在每节末尾，难度不等，有的会被正文引用。每章以 x.0 节的应用引例开始。

第 0 章 复习与杂项（Review and Miscellanea）（书 p.1–42，PDF p.21–62）

本章是全书的记号与基础事实汇编，供查阅；无习题。

0.0 引言（PDF p.21）

总结后文用到的概念和事实，部分超出初等线性代数课程；可作复习，也可作记号与定义的速查。假定读者熟悉线性代数基本概念与矩阵加乘运算。

0.1 向量空间（Vector spaces）（PDF p.21–25）

• 0.1.1 标量域（scalar field）：通常为实数域 \(\mathbf R\) 或复数域 \(\mathbf C\)，也可是有理数域、模素数整数等；未指定时记为 \(\mathbf F\)。域的公理：加法、乘法封闭，满足结合律与交换律，各有单位元；加法逆对所有元素存在，乘法逆对非零元存在；乘法对加法分配。
• 0.1.2 向量空间（vector space）：\(V\) 对加法构成交换群（有零向量、加法逆），并对数乘封闭，满足 \(a(x+y)=ax+ay\)、\((a+b)x=ax+bx\)、\(a(bx)=(ab)x\)、\(ex=x\)。约定：\(\mathbf F^n\) 中元素一律为列向量，称 \(n\)-向量（n-vector）。\(\mathbf R^n\) 是实向量空间；\(\mathbf C^n\) 既是实向量空间又是复向量空间。多项式空间、函数空间也是例子。
• 0.1.3 子空间、张成与线性组合：子空间（subspace）即对加法和数乘封闭的子集。子空间的交仍是子空间，但并（union）不一定是子空间。\(\{0\}\) 与 \(V\) 为平凡子空间（trivial），其余为非平凡；\(\neq V\) 的称真子空间（proper）。\(\operatorname{span} S\) 定义为包含 \(S\) 的所有子空间之交；\(S\) 非空时等于 \(S\) 中有限多个向量的全部线性组合；\(\operatorname{span}\varnothing=\{0\}\)。线性组合（linear combination）按定义只含有限项；系数全零为平凡组合。两子空间之和 \(S_1+S_2=\operatorname{span}(S_1\cup S_2)=\{x+y\}\)；若 \(S_1\cap S_2=\{0\}\)，称为直和（direct sum）\(S_1\oplus S_2\)，其中每个元素的分解唯一。
• 0.1.4 线性相关与线性无关：有限列表 \(v_1,\dots,v_k\) 线性相关当且仅当存在不全为零的 \(a_i\) 使 \(\sum a_iv_i=0\)。含两个相同向量、含零向量的列表必相关；两向量相关当且仅当一个是另一个的倍数。无穷列表：若某有限子列表相关则相关，所有有限子列表无关则无关（例：\(1,t,t^2,\dots\)；\(1,e^{it},e^{2it},\dots\)）。空列表线性无关。可以出现"列表相关但每个真子列表都无关"（见 1.4.P12）。集合的线性无关指其中任意有限个互异向量构成的列表无关。
• 0.1.5 基（basis）：张成 \(V\) 的线性无关列表。每个元素在基下的表示唯一；线性无关列表是基当且仅当它是极大无关组；张成列表是基当且仅当它是极小张成组。空列表是零空间的基。
• 0.1.6 扩充为基：任一线性无关列表可扩充（方式可能不唯一）为基。无限维例：\(1,t,t^2,\dots\) 是实系数多项式空间的基。
• 0.1.7 维数（dimension）：所有基的元素个数相同，记 \(\dim V\)。\(\dim_{\mathbf C}\mathbf C^n=n\)，但作为实空间 \(\dim_{\mathbf R}\mathbf C^n=2n\)。标准基 \(e_1,\dots,e_n\)。真子空间维数严格小于 \(n\)。
  • 子空间交引理（subspace intersection lemma）：
    \[\dim(S_1\cap S_2)+\dim(S_1+S_2)=\dim S_1+\dim S_2 \tag{0.1.7.1}\]
    \[\dim(S_1\cap S_2)\ge \dim S_1+\dim S_2-\dim V \tag{0.1.7.2}\]
    若 \(\delta=\dim S_1+\dim S_2-\dim V\ge 1\)，则 \(S_1\cap S_2\) 至少含 \(\delta\) 个线性无关向量，特别地含非零向量。归纳得：若 \(\delta=\dim S_1+\cdots+\dim S_k-(k-1)\dim V\ge1\)，则
    \[\dim(S_1\cap\cdots\cap S_k)\ge\delta \tag{0.1.7.3}\]
    （这是第 4 章 Courant–Fischer 极小极大原理与特征值不等式的关键工具。）
• 0.1.8 同构（isomorphism）：可逆线性映射。同一域上两个有限维空间同构当且仅当维数相同；任何 \(n\) 维 \(\mathbf F\)-空间同构于 \(\mathbf F^n\)。取定基 \(\mathcal B=\{x_1,\dots,x_n\}\)，坐标映射 \(x\mapsto[x]_{\mathcal B}=[a_1\ \cdots\ a_n]^T\) 是同构。

0.2 矩阵（Matrices）（PDF p.25–28）

矩阵的两种视角：标量的矩形数组；在给定基下两个向量空间之间的线性变换。

• 0.2.1 矩形数组：\(M_{m,n}(\mathbf F)\) 为 \(m\times n\) 矩阵全体，\(M_n(\mathbf F)=M_{n,n}(\mathbf F)\)；\(\mathbf F=\mathbf C\) 时简写 \(M_n\)、\(M_{m,n}\)；\(M_{n,1}(\mathbf F)=\mathbf F^n\)。例：\(A=\begin{bmatrix}2&-3/2&0\\-1&\pi&4\end{bmatrix}\in M_{2,3}(\mathbf R)\)，\([\pi\ 4]\) 是位于第 2 行、第 2–3 列的子矩阵（submatrix）。主对角线（main diagonal）\(\operatorname{diag}A=[a_{ii}]_{i=1}^q\in\mathbf F^q\)，\(q=\min\{m,n\}\)；第 \(p\) 条超对角线（superdiagonal）\(a_{1,p+1},a_{2,p+2},\dots\)，第 \(p\) 条次对角线（subdiagonal）\(a_{p+1,1},a_{p+2,2},\dots\)。
• 0.2.2 线性变换：\(T:U\to V\) 满足 \(T(a_1x_1+a_2x_2)=a_1T(x_1)+a_2T(x_2)\)。\(A\in M_{m,n}(\mathbf F)\) 在基 \(\mathcal B_U,\mathcal B_V\) 下表示 \(T\)：\(y=T(x)\iff[y]_{\mathcal B_V}=A[x]_{\mathcal B_U}\)。表示矩阵依赖于基的选择。
• 0.2.3 相关的向量空间：值域（range）\(\operatorname{range}A=\{Ax\}\subseteq\mathbf F^m\)，零空间（null space）\(\operatorname{nullspace}A=\{x:Ax=0\}\subseteq\mathbf F^n\)。秩 \(\operatorname{rank}A=\dim\operatorname{range}A\)，零度 \(\operatorname{nullity}A\)。秩–零度定理（rank-nullity theorem）：
  \[\operatorname{rank}A+\operatorname{nullity}A=n \tag{0.2.3.1}\]
• 0.2.4 矩阵运算：加法逐项进行，\(M_{m,n}(\mathbf F)\) 是 \(\mathbf F\) 上向量空间。乘法对应线性变换复合，仅当 \(A\in M_{m,n}, B\in M_{n,q}\) 时定义；结合但一般不交换，例如 \(\begin{bmatrix}1&0\\0&2\end{bmatrix}\begin{bmatrix}1&2\\3&4\end{bmatrix}=\begin{bmatrix}1&2\\6&8\end{bmatrix}\ne\begin{bmatrix}1&4\\3&8\end{bmatrix}=\begin{bmatrix}1&2\\3&4\end{bmatrix}\begin{bmatrix}1&0\\0&2\end{bmatrix}\)。标量矩阵（scalar matrix）\(cI\) 是与 \(M_n(\mathbf F)\) 中一切矩阵交换的唯一矩阵。 记号 \(0\) 兼指零标量、零向量、零矩阵；\(I\) 指任意阶单位阵；必要时写 \(0_{p,q}\)、\(0_k\)、\(I_k\)。
• 0.2.5 转置、共轭转置与迹：\(A^T\) 的 \((i,j)\) 元为 \(a_{ji}\)；共轭转置（conjugate transpose，又称伴随 adjoint、Hermitian adjoint）\(A^*=\bar A^T\)。例：\(\begin{bmatrix}1+i&2-i\\-3&-2i\end{bmatrix}^*=\begin{bmatrix}1-i&-3\\2+i&2i\end{bmatrix}\)。反序律（reverse-order law）\((AB)^*=B^*A^*\)、\((AB)^T=B^TA^T\)；而 \(\overline{AB}=\bar A\bar B\) 不反序。\((y^*x)^*=\overline{y^*x}=x^*y=y^T\bar x\)。
  • 由转置定义的矩阵类：对称（symmetric）\(A^T=A\)；斜对称（skew symmetric）\(A^T=-A\)；正交（orthogonal）\(A^TA=I\)；Hermitian \(A^*=A\)；斜 Hermitian（skew Hermitian）\(A^*=-A\)；本质 Hermitian（essentially Hermitian）：存在 \(\theta\in\mathbf R\) 使 \(e^{i\theta}A\) 为 Hermitian；酉（unitary）\(A^*A=I\)；正规（normal）\(A^*A=AA^*\)。
  • 分解：\(A=S(A)+C(A)\)，\(S(A)=\tfrac12(A+A^T)\) 为对称部分，\(C(A)=\tfrac12(A-A^T)\) 为斜对称部分；\(A=B+iC\)，实部 \(B=\tfrac12(A+\bar A)\)、虚部 \(C=\tfrac1{2i}(A-\bar A)\)；Toeplitz 分解 \(A=H(A)+iK(A)\)，\(H(A)=\tfrac12(A+A^*)\)（Hermitian 部分）、\(iK(A)=\tfrac12(A-A^*)\)（斜 Hermitian 部分），\(H,K\) 都是 Hermitian，分解唯一。
  • 迹 \(\operatorname{tr}A=a_{11}+\cdots+a_{qq}\)。\(\operatorname{tr}AA^*=\operatorname{tr}A^*A=\sum_{i,j}|a_{ij}|^2\)，故
    \[\operatorname{tr}AA^*=0\iff A=0 \tag{0.2.5.1}\]
  • 迷向向量（isotropic）：\(x^Tx=0\)。例 \([1\ i]^T\in\mathbf C^2\) 非零但迷向；\(\mathbf R^n\) 中无非零迷向向量（提醒：复对称矩阵理论中 \(x^Tx\) 可为 0，与 \(x^*x\) 不同）。
• 0.2.6 矩阵乘法的"元机制"（metamechanics）：(1) \(Ax\) 是 \(A\) 的列的线性组合（系数为 \(x\) 的元），\(y^TA\) 是 \(A\) 的行的线性组合；(2) \(AB\) 的第 \(j\) 列为 \(Ab_j\)，第 \(i\) 行为 \(a_i^TB\)。口诀：左乘 \(A\) 作用于 \(B\) 的列，右乘 \(B\) 作用于 \(A\) 的行。(3) \(A^TB=[a_i^Tb_j]\)（内积表）；(4) \(AB^T=\sum_k a_kb_k^T\)（外积和，outer product）。对角矩阵情形见 0.9.1。
• 0.2.7 列空间与行空间：值域即列空间（column space）；\(\{y^TA\}\) 为行空间（row space）。\(\operatorname{range}A\subseteq\operatorname{range}B\iff\) 存在 \(X\) 使 \(A=BX\)（\(X\) 第 \(j\) 列给出 \(A\) 第 \(j\) 列用 \(B\) 的列表示的系数）。
  \[\operatorname{range}A+\operatorname{range}B=\operatorname{range}[A\ B] \tag{0.2.7.1}\]
  \[\operatorname{nullspace}A\cap\operatorname{nullspace}B=\operatorname{nullspace}\begin{bmatrix}A\\B\end{bmatrix} \tag{0.2.7.2}\]
• 0.2.8 全 1 向量与全 1 矩阵：\(e=e_1+\cdots+e_n\)，\(J_n=ee^T\)。

0.3 行列式（Determinants）（PDF p.28–32）

行列式把一个方阵概括为一个数，定义域为 \(M_n(\mathbf F)\)。

• 0.3.1 按行/列的 Laplace 展开：记 \(A_{ij}\in M_{n-1}\) 为删去第 \(i\) 行第 \(j\) 列所得子矩阵，归纳定义
  \[\det A=\sum_{k=1}^n(-1)^{i+k}a_{ik}\det A_{ik}=\sum_{k=1}^n(-1)^{k+j}a_{kj}\det A_{kj}\tag{0.3.1.1}\]
  前者为按第 \(i\) 行展开，后者为按第 \(j\) 列展开；\(1\times1\) 时 \(\det[a_{11}]=a_{11}\)。\(2\times2\)：\(a_{11}a_{22}-a_{12}a_{21}\)；\(3\times3\)：\(a_{11}a_{22}a_{33}+a_{12}a_{23}a_{31}+a_{13}a_{21}a_{32}-a_{11}a_{23}a_{32}-a_{12}a_{21}a_{33}-a_{13}a_{22}a_{31}\)。性质：\(\det A^T=\det A\)，\(\det A^*=\overline{\det A}\)，\(\det I=1\)。
• 0.3.2 交错和与置换：置换（permutation）\(\sigma\) 是 \(\{1,\dots,n\}\) 上的双射，共 \(n!\) 个，构成群。
  \[\det A=\sum_\sigma\Big(\operatorname{sgn}\sigma\prod_{i=1}^n a_{i\sigma(i)}\Big)\tag{0.3.2.1}\]
  \(\operatorname{sgn}\sigma=\pm1\) 视实现 \(\sigma\) 所需对换（transposition）数的奇偶而定；偶置换/奇置换。把 \(\operatorname{sgn}\sigma\) 换成别的函数得"广义矩阵函数"（generalized matrix functions），如积和式（permanent） \(\operatorname{per}A\)（\(\operatorname{sgn}\sigma\) 换成恒为 \(+1\)）。
• 0.3.3 初等行、列变换：行变换由左乘初等矩阵实现，列变换由右乘实现。类型 1：交换第 \(i,j\) 行（置换矩阵，\((i,j),(j,i)\) 位置为 1，\((i,i),(j,j)\) 为 0），行列式变号；类型 2：第 \(i\) 行乘非零 \(c\)（对角阵 \(\operatorname{diag}(1,\dots,c,\dots,1)\)），行列式乘 \(c\)；类型 3：把第 \(i\) 行的 \(c\) 倍加到第 \(j\) 行（单位阵在 \((j,i)\) 位置放 \(c\)），行列式不变。初等矩阵就是对 \(I\) 施行相应变换的结果。有零行则行列式为 0；行列式为零当且仅当某些行线性相关。
• 0.3.4 简化行阶梯形（RREF，又称 Hermite 标准形 Hermite normal form）：唯一的标准形，满足 (a) 零行在底部；(b) 非零行首元（leading entry）为 1；(c) 首元所在列其余元为 0；(d) 首元呈阶梯状向右推进。例：\(\begin{bmatrix}0&1&-1&0&0&2\\0&0&0&1&0&\pi\\0&0&0&0&1&4\\0&0&0&0&0&0\end{bmatrix}\)。\(R=EA\)，\(E\) 为初等矩阵之积（非奇异）。\(\det A\ne0\iff\) RREF 为 \(I_n\)；记录各步对行列式的影响即可算 \(\det A\)。\(Ax=b\) 的解集在对 \([A\ b]\) 施行相同行变换时不变；\(A_1x=b_1\) 与 \(A_2x=b_2\) 解集相同当且仅当 \([A_1\ b_1]\) 与 \([A_2\ b_2]\) RREF 相同。
• 0.3.5 乘法性：\(\det AB=\det A\det B\)（可用初等变换约化 \(A,B\) 证明）。
• 0.3.6 行列式的函数刻画：\(\det\) 是 \(M_n(\mathbf F)\to\mathbf F\) 上唯一满足 (a) 对行多重线性（multilinear）、(b) 交错（alternating，类型 1 变换改变符号）、(c) 规范化 \(f(I)=1\) 的函数。积和式多重线性、规范化，但不交错。

0.4 秩（Rank）（PDF p.32–34）

• 0.4.1 定义：\(\operatorname{rank}A=\dim\operatorname{range}A\) = 最长线性无关列组的长度。行秩 = 列秩：\(\operatorname{rank}A^T=\operatorname{rank}A\)。
• 0.4.2 秩与线性方程组：\(Ax=b\) 无解、唯一解或无穷多解。有解（相容 consistent）当且仅当 \(\operatorname{rank}[A\ b]=\operatorname{rank}A\)（增广矩阵 augmented matrix 与系数矩阵 coefficient matrix 同秩），即 \(b\) 是 \(A\) 的列的线性组合；解 \(x\) 就是组合系数。
• 0.4.3 RREF 与秩：初等变换不改变秩，\(\operatorname{rank}A\) = RREF 的非零行数。数值上用 RREF 求秩不明智：舍入误差会使本应为零的行看似非零（实务中用 SVD 判断数值秩）。
• 0.4.4 秩的等价刻画：对 \(A\in M_{m,n}(\mathbf F)\)，以下等价：(a) \(\operatorname{rank}A=k\)；(b) 恰有 \(k\) 行（且不多于 \(k\) 行）线性无关；(c) 恰有 \(k\) 列线性无关；(d) 有某个 \(k\times k\) 子式非零而所有 \((k+1)\times(k+1)\) 子式为零；(e) \(\dim\operatorname{range}A=k\)；(f) 存在且最多存在 \(k\) 个线性无关的 \(b_j\) 使 \(Ax=b_j\) 相容；(g) \(k=n-\dim\operatorname{nullspace}A\)；(h) \(k=\min\{p:A=XY^T,\ X\in M_{m,p},Y\in M_{n,p}\}\)；(i) \(k=\min\{p:A=x_1y_1^T+\cdots+x_py_p^T\}\)（最少秩一项个数）。
• 0.4.5 秩不等式：
  • (a) \(\operatorname{rank}A\le\min\{m,n\}\)；(b) 删行/列不增秩；
  • (c) Sylvester 不等式：\(A\in M_{m,k},B\in M_{k,n}\)，\(\operatorname{rank}A+\operatorname{rank}B-k\le\operatorname{rank}AB\le\min\{\operatorname{rank}A,\operatorname{rank}B\}\)；
  • (d) 秩和不等式：\(|\operatorname{rank}A-\operatorname{rank}B|\le\operatorname{rank}(A+B)\le\operatorname{rank}A+\operatorname{rank}B\) (0.4.5.1)，右边取等当且仅当 \(\operatorname{range}A\cap\operatorname{range}B=\{0\}\) 且 \(\operatorname{range}A^T\cap\operatorname{range}B^T=\{0\}\)。若 \(\operatorname{rank}B=1\)，则 \(|\operatorname{rank}(A+B)-\operatorname{rank}A|\le1\) (0.4.5.2)；改变矩阵的一个元素至多改变秩 1。
  • (e) Frobenius 不等式：\(\operatorname{rank}AB+\operatorname{rank}BC\le\operatorname{rank}B+\operatorname{rank}ABC\)，取等当且仅当存在 \(X,Y\) 使 \(B=BCX+YAB\)。
• 0.4.6 秩等式：
  • (a) \(\operatorname{rank}A^*=\operatorname{rank}A^T=\operatorname{rank}\bar A=\operatorname{rank}A\)；
  • (b) 左右乘非奇异矩阵不改变秩：\(\operatorname{rank}AB=\operatorname{rank}B=\operatorname{rank}BC=\operatorname{rank}ABC\)（\(A,C\) 非奇异）；
  • (c) \(\operatorname{rank}A=\operatorname{rank}B\iff\) 存在非奇异 \(X,Y\) 使 \(B=XAY\)（秩是等价关系的完全不变量）；
  • (d) \(\operatorname{rank}A^*A=\operatorname{rank}A\)（复矩阵；实际上 \(\operatorname{nullspace}A^*A=\operatorname{nullspace}A\)）；
  • (e) 满秩分解（full-rank factorization）：\(\operatorname{rank}A=k\iff A=XY^T\)，\(X\in M_{m,k},Y\in M_{n,k}\) 列满秩；等价写法 \(A=XBY^T\)，\(B\in M_k\) 非奇异。\(\operatorname{rank}A=1\iff A=xy^T\)（\(x,y\neq0\)）；
  • (f) \(\operatorname{rank}A=k\iff A=S\begin{bmatrix}I_k&0\\0&0\end{bmatrix}T\)，\(S,T\) 非奇异；
  • (g) 若 \(X\in M_{n,k},Y\in M_{m,k}\)，\(W=Y^TAX\) 非奇异，则
    \[\operatorname{rank}(A-AXW^{-1}Y^TA)=\operatorname{rank}A-\operatorname{rank}AXW^{-1}Y^TA\tag{0.4.6.1}\]
    \(k=1\) 即 Wedderburn 秩一约化公式：\(\omega=y^TAx\neq0\) 时 \(\operatorname{rank}(A-\omega^{-1}Axy^TA)=\operatorname{rank}A-1\) (0.4.6.2)。反之，若 \(\operatorname{rank}(A-\sigma uv^T)<\operatorname{rank}A\)，则它恰等于 \(\operatorname{rank}A-1\)，且存在 \(x,y\) 使 \(u=Ax\)、\(v=A^Ty\)、\(y^TAx\ne0\)、\(\sigma=(y^TAx)^{-1}\)。（这是逐次降秩、Lanczos/Gauss 消元的统一框架。）

0.5 非奇异性（Nonsingularity）（PDF p.34）

线性变换/矩阵非奇异（nonsingular）指仅零输入得零输出，否则奇异（singular）。\(m<n\) 时 \(A\in M_{m,n}\) 必奇异。\(A\in M_n\) 可逆（invertible）指存在 \(A^{-1}\) 使 \(A^{-1}A=I\)；方阵情形左逆即右逆，逆唯一。 \(A\in M_n(\mathbf F)\) 非奇异的等价条件：(a) 非奇异；(b) \(A^{-1}\) 存在；(c) \(\operatorname{rank}A=n\)；(d) 行线性无关；(e) 列线性无关；(f) \(\det A\neq0\)；(g) 值域维数为 \(n\)；(h) 零空间维数为 0；(i) 对任意 \(b\)，\(Ax=b\) 相容；(j) 若相容则解唯一；(k) 对任意 \(b\) 解唯一；(l) \(Ax=0\) 只有零解；(m) 0 不是 \(A\) 的特征值。对有限维空间上的线性变换 \(T:V\to V\)，满射 ⇔ 单射 ⇔ 双射。非奇异矩阵构成一般线性群（general linear group）\(GL(n,\mathbf F)\)。\((A^{-1})^T=(A^T)^{-1}=:A^{-T}\)；\((A^{-1})^*=(A^*)^{-1}=:A^{-*}\)。

0.6 欧氏内积与范数（The Euclidean inner product and norm）（PDF p.35–36）

• 0.6.1 定义：\(\langle x,y\rangle=y^*x\)（欧氏内积/标准内积/点积）；欧氏范数 \(\|x\|_2=\langle x,x\rangle^{1/2}=(x^*x)^{1/2}\)，满足正定性与 \(\|\alpha x\|_2=|\alpha|\|x\|_2\)。内积对第一变元线性、对第二变元共轭线性：\(\langle\alpha x_1+\beta x_2,y\rangle=\alpha\langle x_1,y\rangle+\beta\langle x_2,y\rangle\)，\(\langle x,\alpha y_1+\beta y_2\rangle=\bar\alpha\langle x,y_1\rangle+\bar\beta\langle x,y_2\rangle\)。一般地：一元线性一元共轭线性的 \(f:V\times V\to\mathbf C\) 称为半双线性（sesquilinear）；再加 \(f(x,x)\ge0\) 为半内积（semi-inner product）；加 \(f(x,x)>0\ (x\ne0)\) 为内积（inner product）；\((V,f)\) 为内积空间。
• 0.6.2 正交与标准正交：\(\langle x,y\rangle=0\) 为正交（orthogonal）。非零向量的正交列表线性无关；范数为 1 称单位向量（normalized/unit vector）；单位向量构成的正交列表为标准正交（orthonormal），必线性无关。
• 0.6.3 Cauchy–Schwarz 不等式：\(|\langle x,y\rangle|\le\|x\|_2\|y\|_2\)，取等当且仅当一者是另一者的数量倍。实向量夹角 \(\cos\theta=\dfrac{\langle x,y\rangle}{\|x\|_2\|y\|_2}\)，\(0\le\theta\le\pi\) (0.6.3.1)。（量化含义：相关系数即中心化收益向量的夹角余弦。）
• 0.6.4 Gram–Schmidt 标准正交化：对线性无关的 \(x_1,\dots,x_n\)，令 \(y_1=x_1\)，\(z_1=y_1/\|y_1\|_2\)；一般
  \[y_k=x_k-\langle x_k,z_{k-1}\rangle z_{k-1}-\cdots-\langle x_k,z_1\rangle z_1,\qquad z_k=y_k/\|y_k\|_2,\]
  得标准正交组且 \(\operatorname{span}\{z_1,\dots,z_k\}=\operatorname{span}\{x_1,\dots,x_k\}\) 对每个 \(k\) 成立。矩阵形式 \(X=ZR\)，\(Z=[z_1\cdots z_n]\)，\(R\) 非奇异上三角（即 QR 分解的雏形，见 2.1.14）。若前 \(k\) 个已标准正交，则它们保持不变。对相关列表也可施行：第一个能被前面向量线性表示的 \(x_k\) 处得 \(y_k=0\)。
• 0.6.5 标准正交基：任何有限维内积空间都有标准正交基，任一标准正交组可扩充为标准正交基；交叉项消失便于计算。
• 0.6.6 正交补（orthogonal complement）：\(S^\perp=\{x:x^*y=0,\ \forall y\in S\}\) 总是子空间；\((S^\perp)^\perp=\operatorname{span}S\)（\(S\) 为子空间时等于 \(S\)）；\(\dim S^\perp+\dim(S^\perp)^\perp=n\)；\((S_1+S_2)^\perp=S_1^\perp\cap S_2^\perp\)。\(\operatorname{range}A=(\operatorname{nullspace}A^*)^\perp\)，故 \(Ax=b\) 有解当且仅当 \(b\) 与 \(A^*z=0\) 的每个解正交。Fredholm 二择一（theorem of the alternative）：恰有一成立——(1) \(Ax=b\) 有解；(2) \(A^*y=0\) 有解满足 \(y^*b\neq0\)。若 \(\operatorname{range}X=\operatorname{nullspace}A^*\)、\(\operatorname{range}Y=\operatorname{nullspace}B^*\)，则
  \[\operatorname{range}A\cap\operatorname{range}B=\operatorname{nullspace}\begin{bmatrix}X^*\\Y^*\end{bmatrix}\tag{0.6.6.1}\]

0.7 分划集与分块矩阵（Partitioned sets and matrices）（PDF p.36–41）

集合的分划（partition）：每个元素恰属一个子集。\(\{1,\dots,n\}\) 的分划由指标集（index sets）\(\alpha_1,\dots,\alpha_t\) 构成；顺序分划（sequential partition）形如 \(\{1,\dots,i_1\},\{i_1+1,\dots,i_2\},\dots\)。矩阵的分划把它分成互不重叠的子矩阵；按列分划 \(B=[b_1\cdots b_n]\) 即得 \(AB=[Ab_1\cdots Ab_n]\)。

• 0.7.1 子矩阵：\(A[\alpha,\beta]\) 表示行指标 \(\alpha\)、列指标 \(\beta\) 的子矩阵，例 \(\begin{bmatrix}1&2&3\\4&5&6\\7&8&9\end{bmatrix}[\{1,3\},\{1,2,3\}]=\begin{bmatrix}1&2&3\\7&8&9\end{bmatrix}\)。\(A[\alpha]=A[\alpha,\alpha]\) 为主子矩阵（principal submatrix），\(n\) 阶矩阵有 \(\binom nk\) 个 \(k\) 阶主子矩阵；\(A[\{1,\dots,k\}]\) 为顺序（前导）主子矩阵（leading principal submatrix），\(A[\{k,\dots,n\}]\) 为尾主子矩阵（trailing）。补集 \(\alpha^c\)：\(A[\alpha^c,\beta^c]\) 为删去 \(\alpha\) 行 \(\beta\) 列所得。子式（minor）为子矩阵的行列式，主子式（principal minor）、顺序主子式（leading principal minor）、尾主子式；约定空主子式 \(\det A[\varnothing]=1\)。带符号子式 \((-1)^{i+j}\det A_{ij}\) 为余子式/代数余子式（cofactor）。
• 0.7.2 分块与乘法：若 \(A\in M_{m,n}\)、\(B\in M_{n,p}\) 对 \(\{1,\dots,n\}\) 的分划一致（相容/共形 conformal），则
  \[(AB)[\alpha_i,\gamma_j]=\sum_{k=1}^sA[\alpha_i,\beta_k]B[\beta_k,\gamma_j]\tag{0.7.2.1}\]
  即分块乘法模仿普通乘法；分块加法同理。按顺序分划得到的为分块矩阵（block matrix），\(A=\begin{bmatrix}A_{11}&A_{12}\\A_{21}&A_{22}\end{bmatrix}\)，2×2 分块最常用。
• 0.7.3 分块矩阵的逆：\(A_{ii}\in M_{n_i}\)，在所需逆存在时
  \[A^{-1}=\begin{bmatrix}(A_{11}-A_{12}A_{22}^{-1}A_{21})^{-1}& A_{11}^{-1}A_{12}(A_{21}A_{11}^{-1}A_{12}-A_{22})^{-1}\\ A_{22}^{-1}A_{21}(A_{12}A_{22}^{-1}A_{21}-A_{11})^{-1}&(A_{22}-A_{21}A_{11}^{-1}A_{12})^{-1}\end{bmatrix}\tag{0.7.3.1}\]
  （直接分块相乘验证。）一般指标集写法：\(A^{-1}[\alpha]=\big(A[\alpha]-A[\alpha,\alpha^c]A[\alpha^c]^{-1}A[\alpha^c,\alpha]\big)^{-1}\)；\(A^{-1}[\alpha,\alpha^c]=A[\alpha]^{-1}A[\alpha,\alpha^c]\big(A[\alpha^c,\alpha]A[\alpha]^{-1}A[\alpha,\alpha^c]-A[\alpha^c]\big)^{-1}=\big(A[\alpha,\alpha^c]A[\alpha^c]^{-1}A[\alpha^c,\alpha]-A[\alpha]\big)^{-1}A[\alpha,\alpha^c]A[\alpha^c]^{-1}\)。与 Schur 补关系见 0.8.5。注意 \(A^{-1}[\alpha]\)（逆的子矩阵）与 \(A[\alpha]^{-1}\)（子矩阵的逆）一般不同。（量化：协方差逆矩阵的子块 = Schur 补的逆，对应条件协方差/偏相关。）
• 0.7.4 Sherman–Morrison–Woodbury 公式：\(A\) 非奇异，\(B=A+XRY\)，\(X\in M_{n,r}\)，\(Y\in M_{r,n}\)，\(R\in M_r\) 非奇异；若 \(B\) 与 \(R^{-1}+YA^{-1}X\) 非奇异，则
  \[B^{-1}=A^{-1}-A^{-1}X(R^{-1}+YA^{-1}X)^{-1}YA^{-1}\tag{0.7.4.1}\]
  \(r\ll n\) 时只需求 \(r\) 阶逆。秩一情形（\(X=x,Y=y^T,R=[1]\)，\(y^TA^{-1}x\neq-1\)）：
  \[(A+xy^T)^{-1}=A^{-1}-(1+y^TA^{-1}x)^{-1}A^{-1}xy^TA^{-1}\tag{0.7.4.2}\]
  特别地 \((I+xy^T)^{-1}=I-(1+y^Tx)^{-1}xy^T\)。（量化：因子模型协方差 \(\Sigma=BFB^T+D\) 的快速求逆、递推最小二乘/滚动回归更新都靠它。）
• 0.7.5 互补零度（complementary nullities）：\(A\in M_n\) 非奇异，\(|\alpha|=r\)，\(|\beta|=s\)，
  \[\operatorname{nullity}(A[\alpha,\beta])=\operatorname{nullity}(A^{-1}[\beta^c,\alpha^c])\tag{0.7.5.1}\]
  等价于 \(\operatorname{rank}A[\alpha,\beta]=\operatorname{rank}A^{-1}[\beta^c,\alpha^c]+r+s-n\) (0.7.5.2)。证明要点：置换后设 \(A=\begin{bmatrix}A_{11}&A_{12}\\A_{21}&A_{22}\end{bmatrix}\)、\(A^{-1}=\begin{bmatrix}B_{11}&B_{12}\\B_{21}&B_{22}\end{bmatrix}\)，\(A_{11}\) 为 \(r\times s\)；取 \(X\) 的列为 \(\operatorname{nullspace}A_{11}\) 的基（\(k\) 列），则 \(A\begin{bmatrix}X\\0\end{bmatrix}=\begin{bmatrix}0\\A_{21}X\end{bmatrix}\) 满列秩，故 \(A_{21}X\) 有 \(k\) 个无关列；又 \(A^{-1}\begin{bmatrix}0\\A_{21}X\end{bmatrix}=\begin{bmatrix}X\\0\end{bmatrix}\) 给出 \(B_{22}(A_{21}X)=0\)，于是 \(\operatorname{nullity}B_{22}\ge\operatorname{nullity}A_{11}\)；对称论证得反向不等式（另证见 3.5.P13）。推论：\(\operatorname{nullity}A_{12}=\operatorname{nullity}B_{12}\) 等；\(r+s=n\) 时 \(\operatorname{rank}A_{11}=\operatorname{rank}B_{22}\)；非奇异 \(n\) 阶矩阵的 \(r\times s\) 子矩阵秩至少 \(r+s-n\)。
• 0.7.6 分块矩阵的秩与秩主（rank-principal）矩阵：\(A_{11}\in M_r\)。若 \(A_{11}\) 非奇异，显然 \(\operatorname{rank}[A_{11}\ A_{12}]=\operatorname{rank}\begin{bmatrix}A_{11}\\A_{21}\end{bmatrix}=r\)。逆命题：
  \[\operatorname{rank}A=\operatorname{rank}[A_{11}\ A_{12}]=\operatorname{rank}\begin{bmatrix}A_{11}\\A_{21}\end{bmatrix}=r\ \Rightarrow\ A_{11}\text{ 非奇异}\tag{0.7.6.1}\]
  证明：若 \(A_{11}\) 奇异，\(\operatorname{rank}A_{11}=k<r\)，取非奇异 \(S,T\) 使 \(SA_{11}T=\operatorname{diag}(I_k,0_{r-k})\)，则 \(\hat A=\operatorname{diag}(S,I)A\operatorname{diag}(T,I)\) 的第一块列第 \(r\) 行为零，但第一块行秩为 \(r\)，故 \(SA_{12}\) 某列第 \(r\) 元非零，从而 \(\hat A\) 至少 \(r+1\) 个独立列，矛盾。 设 \(\operatorname{rank}A=r>0\)，满秩分解 \(A=XY^T\)，\(X,Y\) 各 \(r\) 列；\(|\alpha|=|\beta|=|\gamma|=|\delta|=r\) 时 \(A[\alpha,\gamma]=X[\alpha,\varnothing^c]Y[\gamma,\varnothing^c]^T\)，乘法性给出
  \[\det A[\alpha,\gamma]\det A[\beta,\delta]=\det A[\alpha,\delta]\det A[\beta,\gamma]\tag{0.7.6.2}\]
  秩主（rank principal）：\(\operatorname{rank}A=r\) 且有一个 \(r\times r\) 非奇异主子矩阵。若存在 \(\alpha\) 使 \(\operatorname{rank}A=\operatorname{rank}A[\alpha,\varnothing^c]=\operatorname{rank}A[\varnothing^c,\alpha]\) (0.7.6.3)（即 \(r\) 个无关行对应的 \(r\) 列也无关），则 \(A\) 秩主且 \(A[\alpha]\) 非奇异。对称、斜对称、Hermitian、斜 Hermitian 矩阵都满足 (0.7.6.3)，因而都是秩主的。
• 0.7.7 交换、反交换与分块对角：\(AB=BA\) 为交换（commute）。设 \(\Lambda=\operatorname{diag}(\lambda_1I_{n_1},\dots,\lambda_sI_{n_s})\)，\(\lambda_i\) 互异，\(B=[B_{ij}]\) 共形分块，则 \(\Lambda B=B\Lambda\iff(\lambda_i-\lambda_j)B_{ij}=0\iff B\) 是与 \(\Lambda\) 共形的分块对角矩阵。\(AB=-BA\) 为反交换（anticommute），例 \(\begin{bmatrix}1&0\\0&-1\end{bmatrix}\) 与 \(\begin{bmatrix}0&1\\1&0\end{bmatrix}\)。
• 0.7.8 vec 映射：\(\operatorname{vec}A=[a_1^T\ \cdots\ a_n^T]^T\in\mathbf F^{mn}\)，按列从左到右堆叠；用于矩阵方程。

0.8 再论行列式（Determinants again）（PDF p.41–50）

• 0.8.1 复合矩阵（compound matrices）：\(A\in M_{m,n}\)，\(r\le\min\{m,n\}\)。第 \(r\) 复合矩阵 \(C_r(A)\) 是 \(\binom mr\times\binom nr\) 矩阵，其 \((\alpha,\beta)\) 元为 \(\det A[\alpha,\beta]\)，指标集按字典序排列（\(\{1,2,4\}\) 在 \(\{1,2,5\}\) 前，再到 \(\{1,3,4\}\)）。例：\(A=\begin{bmatrix}1&2&3\\4&5&6\\7&8&10\end{bmatrix}\)（0.8.1.0），\(C_2(A)=\begin{bmatrix}-3&-6&-3\\-6&-11&-4\\-3&-2&2\end{bmatrix}\)。由 Cauchy–Binet 公式（0.8.7）得乘法性 \(C_r(AB)=C_r(A)C_r(B)\) (0.8.1.1)。约定 \(C_0(A)=1\)，\(C_1(A)=A\)，\(C_n(A)=\det A\)。性质：\(C_r(tA)=t^rC_r(A)\)；\(C_r(I_n)=I_{\binom nr}\)；\(C_r(A)^{-1}=C_r(A^{-1})\)；\(\det C_r(A)=(\det A)^{\binom{n-1}{r-1}}\)（Sylvester–Franke）；\(r=\operatorname{rank}A\) 时 \(\operatorname{rank}C_r(A)=1\)；\(C_r(A^T)=C_r(A)^T\)，\(C_r(A^*)=C_r(A)^*\)。上（下）三角 \(\Delta\) 的 \(C_r(\Delta)\) 仍上（下）三角，对角元为 \(d_{i_1i_1}\cdots d_{i_ri_r}\)（\(i_1<\dots<i_r\)，字典序）；对角阵同理（参考 Fiedler 1986 第 6 章）。
• 0.8.2 伴随矩阵（adjugate，经典伴随 classical adjoint）与逆：\(n\ge2\)，
  \[\operatorname{adj}A=\big[(-1)^{i+j}\det A[\{j\}^c,\{i\}^c]\big]\tag{0.8.2.0}\]
  即代数余子式矩阵的转置；\(\operatorname{adj}\begin{bmatrix}a&b\\c&d\end{bmatrix}=\begin{bmatrix}d&-b\\-c&a\end{bmatrix}\)。基本性质（由 Laplace 展开）：
  \[(\operatorname{adj}A)A=A(\operatorname{adj}A)=(\det A)I\tag{0.8.2.1}\]
  故 \(\det(\operatorname{adj}A)=(\det A)^{n-1}\)；\(A\) 非奇异时 \(A^{-1}=(\det A)^{-1}\operatorname{adj}A\) (0.8.2.2)，\(\operatorname{adj}(A^{-1})=A/\det A=(\operatorname{adj}A)^{-1}\)。
  • 秩：\(\operatorname{rank}A\le n-2\Rightarrow\operatorname{adj}A=0\)；\(\operatorname{rank}A=n-1\Rightarrow\operatorname{rank}\operatorname{adj}A=1\)，且 \(\operatorname{adj}A=\alpha xy^T\)，其中 \(Ax=0\)、\(y^TA=0\)（\(x,y\) 分别张成 \(A\) 与 \(A^T\) 的一维零空间）。理由：\((Ax)y^T=A\operatorname{adj}A=0=(\operatorname{adj}A)A=x(y^TA)\)。
  • 连续性论证：\(\operatorname{adj}\) 是 \(M_n\) 上的连续（多项式）函数，非奇异矩阵在 \(M_n\) 中稠密，故可从非奇异情形推广到一切矩阵。由此得： \(\operatorname{adj}(AB)=(\operatorname{adj}B)(\operatorname{adj}A)\) (0.8.2.3)；\(\operatorname{adj}(cA)=c^{n-1}\operatorname{adj}A\)；\(\operatorname{adj}(\operatorname{adj}A)=(\det A)^{n-2}A\) (0.8.2.4)；\(A\operatorname{adj}(A+B)B=B\operatorname{adj}(A+B)A\) (0.8.2.5)；若 \(A\) 与 \(B\) 交换，则 \(\operatorname{adj}A\) 也与 \(B\) 交换（即使 \(A\) 奇异）；上三角 \(A\) 的伴随仍上三角，\(b_{ii}=\prod_{j\ne i}a_{jj}\)。
  • 行列式的梯度：\(\operatorname{adj}A=\big[\partial\det A/\partial a_{ij}\big]^T\) (0.8.2.6)；非奇异时 \(\big[\partial\det A/\partial a_{ij}\big]^T=(\det A)A^{-1}\) (0.8.2.7)。（量化：\(\partial\log\det\Sigma/\partial\Sigma=\Sigma^{-1}\)，正是高斯似然/协方差 MLE 的核心求导公式。）
  • \(\operatorname{adj}A^T=(\operatorname{adj}A)^T\) (0.8.2.8)，\(\operatorname{adj}A^*=(\operatorname{adj}A)^*\) (0.8.2.9)。
  • 记 \((A\overset{i}{\leftarrow}b)\) 为把 \(A\) 的第 \(i\) 列换成 \(b\) 的矩阵。按第 \(i\) 列展开得 \([\det(A\overset{i}{\leftarrow}b)]_{i=1}^n=(\operatorname{adj}A)b\) (0.8.2.10)，矩阵形式 \([\det(A\overset{i}{\leftarrow}c_j)]_{i,j}=(\operatorname{adj}A)C\) (0.8.2.11)。
• 0.8.3 Cramer 法则：\(\det A\ne0\) 时 \(Ax=b\) 的解 \(x_i=\det(A\overset{i}{\leftarrow}b)/\det A\)。另证：\(A(I\overset{i}{\leftarrow}x)=(A\overset{i}{\leftarrow}b)\)，两边取行列式，且 \(\det(I\overset{i}{\leftarrow}x)=x_i\)。
• 0.8.4 逆矩阵的子式（Jacobi 恒等式）：
  \[\det A^{-1}[\alpha^c,\beta^c]=(-1)^{p(\alpha,\beta)}\frac{\det A[\beta,\alpha]}{\det A},\quad p(\alpha,\beta)=\sum_{i\in\alpha}i+\sum_{j\in\beta}j\tag{0.8.4.1}\]
  主子式情形：\(\det A^{-1}[\alpha^c]=\det A[\alpha]/\det A\) (0.8.4.2)（约定 \(\det A[\varnothing]=1\)）。
• 0.8.5 Schur 补与行列式公式：设 \(A[\alpha]\) 非奇异，
  \[\det A=\det A[\alpha]\det\big(A[\alpha^c]-A[\alpha^c,\alpha]A[\alpha]^{-1}A[\alpha,\alpha^c]\big)\tag{0.8.5.1}\]
  Schur 补（Schur complement） \(A/A[\alpha]=A[\alpha^c]-A[\alpha^c,\alpha]A[\alpha]^{-1}A[\alpha,\alpha^c]\) (0.8.5.2)。取 \(\alpha=\{1,\dots,k\}\)，块记号下由
  \[\begin{bmatrix}I&0\\-A_{21}A_{11}^{-1}&I\end{bmatrix}\begin{bmatrix}A_{11}&A_{12}\\A_{21}&A_{22}\end{bmatrix}\begin{bmatrix}I&-A_{11}^{-1}A_{12}\\0&I\end{bmatrix}=\begin{bmatrix}A_{11}&0\\0&A_{22}-A_{21}A_{11}^{-1}A_{12}\end{bmatrix}\tag{0.8.5.3}\]
  取行列式即得。\(S=A/A_{11}\) 的信息： (a) 分块 Gauss 消元（block Gaussian elimination）：把前 \(k\) 行的线性组合加到后 \(n-k\) 行使左下块为零，右下角唯一地出现 \(S\)；包含 \(A_{11}\) 为主子矩阵的子矩阵行列式在消元前后不变，故对 \(\beta,\gamma\subseteq\{1,\dots,n-k\}\) 及平移指标集 \(\tilde\beta=\beta+k\)：
  \[\det S[\beta,\gamma]=\det A[\alpha\cup\tilde\beta,\alpha\cup\tilde\gamma]/\det A[\alpha]\tag{0.8.5.4}\]
  特别地 \(s_{ij}=\det A[\{1..k,k+i\},\{1..k,k+j\}]/\det A_{11}\) (0.8.5.5)——Schur 补的元素都是 \(A\) 的子式之比。 (b) \(\operatorname{rank}A=\operatorname{rank}A_{11}+\operatorname{rank}S\)；\(\operatorname{rank}A=\operatorname{rank}A_{11}\iff A_{22}=A_{21}A_{11}^{-1}A_{12}\)。 (c) \(A\) 非奇异 \(\iff S\) 非奇异，\(\det S=\det A/\det A_{11}\)。 \(A\) 非奇异时对 (0.8.5.3) 求逆得另一种逆公式：
  \[A^{-1}=\begin{bmatrix}A_{11}^{-1}+A_{11}^{-1}A_{12}S^{-1}A_{21}A_{11}^{-1}&-A_{11}^{-1}A_{12}S^{-1}\\-S^{-1}A_{21}A_{11}^{-1}&S^{-1}\end{bmatrix}\tag{0.8.5.6}\]
  于是 \(A^{-1}[\{k+1..n\}]=S^{-1}\)，\(\det A^{-1}[\{k+1..n\}]=\det A_{11}/\det A\) (0.8.5.7)（Jacobi 恒等式一种形式）；\(\det((\operatorname{adj}A)[\{k+1..n\}])=(\det A)^{n-k-1}\det A_{11}\) (0.8.5.8)。
  • \(\alpha^c\) 为单点时 Schur 补为标量，\(\det A=A[\alpha^c]\det A[\alpha]-A[\alpha^c,\alpha](\operatorname{adj}A[\alpha])A[\alpha,\alpha^c]\) (0.8.5.9)，即使 \(A[\alpha]\) 奇异也成立。加边矩阵（bordered matrix）的 Cauchy 展开：
    \[\det\begin{bmatrix}\tilde A&x\\y^T&a\end{bmatrix}=a\det\tilde A-y^T(\operatorname{adj}\tilde A)x\tag{0.8.5.10}\]
    （涉及 \(n-2\) 阶子式与行、列的双线性形式；Laplace 展开则是 \(n-1\) 阶子式与行或列的线性形式。）\(a\ne0\) 时又等于 \(a\det(\tilde A-a^{-1}xy^T)\)，令 \(a=-1\) 得 Cauchy 秩一扰动行列式公式：
    \[\det(\tilde A+xy^T)=\det\tilde A+y^T(\operatorname{adj}\tilde A)x\tag{0.8.5.11}\]
    （\(\tilde A\) 非奇异时即矩阵行列式引理 \(\det(A+xy^T)=\det A\,(1+y^TA^{-1}x)\)。）
  • Schur 补的商性质（quotient property）：把 \(A_{11}\) 再分块为 \([\mathcal A_{ij}]\)，\(\mathcal A_{11}\) 为 \(\ell\times\ell\) 非奇异，两步消元后得
    \[A/A_{11}=(A/\mathcal A_{11})/(A_{11}/\mathcal A_{11})\tag{0.8.5.12}\]
  • 交换块的行列式：四块同阶方阵，若 \(A_{11}\) 与 \(A_{21}\) 或 \(A_{12}\) 交换，则 \(\det A=\det(A_{11}A_{22}-A_{21}A_{12})\) (0.8.5.13)（先在 \(A_{11}\) 非奇异时用 \(\det A_{11}\det S=\det(A_{11}S)\)，再连续性）；若 \(A_{22}\) 与 \(A_{21}\) 或 \(A_{12}\) 交换，则 \(\det A=\det(A_{11}A_{22}-A_{12}A_{21})\) (0.8.5.14)。
• 0.8.6 Sylvester 与 Kronecker 行列式恒等式：令 \(B=[b_{ij}]=[\det A[\{1..k,k+i\},\{1..k,k+j\}]]_{i,j=1}^{n-k}\)，由 (0.8.5.5) \(B=(\det A_{11})S\)，故 Sylvester 加边行列式恒等式：
  \[\det B=(\det A[\alpha])^{n-k-1}\det A\tag{0.8.6.1}\]
  其中 \(B=[\det A[\alpha\cup\{i\},\alpha\cup\{j\}]]\)，\(i,j\notin\alpha\)。若 \(A_{22}=0\)，则 \(S=-A_{21}A_{11}^{-1}A_{12}\) 秩至多 \(k\)，\(B\) 的所有 \((k+1)\) 阶子式为零——Kronecker 加边行列式定理。
• 0.8.7 Cauchy–Binet 公式：\(A\in M_{m,k}\)，\(B\in M_{k,n}\)，\(C=AB\)，\(1\le r\le\min\{m,k,n\}\)，\(|\alpha|=|\beta|=r\)：
  \[\det C[\alpha,\beta]=\sum_{\gamma\subseteq\{1..k\},|\gamma|=r}\det A[\alpha,\gamma]\det B[\gamma,\beta]\]
  形如矩阵乘法，与 \(C_r(AB)=C_r(A)C_r(B)\) 等价。（\(r=k\) 时退化为 \(\det AB=\det A\det B\)；\(m=n=r<k\) 时给出 \(\det(AB)\) 为 \(\binom kr\) 项之和。）
• 0.8.8 子式之间的关系：固定行指标集 \(\alpha\)（\(|\alpha|=k\)），\(A[\alpha;i_1,\dots,i_k]\) 表示行取 \(\alpha\)、第 \(j\) 列取 \(A\) 的第 \(i_j\) 列（列可不按自然顺序）。有二次关系（Plücker 型）：对每个 \(s\)，
  \[\det A[\alpha;i_1..i_k]\det A[\alpha;j_1..j_k]=\sum_{t=1}^k\det A[\alpha;i_1..i_{s-1},j_t,i_{s+1}..i_k]\det A[\alpha;j_1..j_{t-1},i_s,j_{t+1}..j_k]\]
• 0.8.9 Laplace 展开定理（广义）：固定 \(|\beta|=k\)，
  \[\det A=\sum_{|\alpha|=k}(-1)^{p(\alpha,\beta)}\det A[\alpha,\beta]\det A[\alpha^c,\beta^c]=\sum_{|\alpha|=k}(-1)^{p(\alpha,\beta)}\det A[\beta,\alpha]\det A[\beta^c,\alpha^c]\]
  \(k=1\) 即 (0.3.1.1)。
• 0.8.10 行列式的导数：\(A(t)=[a_{ij}(t)]\) 可微，由多重线性：
  \[\frac{d}{dt}\det A(t)=\sum_{j=1}^n\det\big(A(t)\overset{j}{\leftarrow}a_j'(t)\big)=\sum_{j}\sum_i\big((\operatorname{adj}A(t))^T\big)_{ij}a'_{ij}(t)=\operatorname{tr}\big((\operatorname{adj}A(t))A'(t)\big)\tag{0.8.10.1}\]
  （Jacobi 公式。）例：\(\frac{d}{dt}\det(tI-A)=\operatorname{tr}\operatorname{adj}(tI-A)\) (0.8.10.2)——特征多项式的导数是 \(tI-A\) 伴随矩阵的迹（1.2 节用于讨论重根）。
• 0.8.11 Dodgson 恒等式（Lewis Carroll 凝聚法）：\(a=\det A[\{n\}^c]\)，\(b=\det A[\{n\}^c,\{1\}^c]\)，\(c=\det A[\{1\}^c,\{n\}^c]\)，\(d=\det A[\{1\}^c]\)，\(e=\det A[\{1,n\}^c]\)；若 \(e\ne0\)，\(\det A=(ad-bc)/e\)。
• 0.8.12 伴随与复合：第 \(r\) 伴随矩阵 \(\operatorname{adj}_r(A)\in M_{\binom nr}\) 的 \((\alpha,\beta)\) 元为 \((-1)^{p(\alpha,\beta)}\det A[\beta^c,\alpha^c]\) (0.8.12.1)，指标字典序。例（同 0.8.1.0 的 \(A\)）：\(\operatorname{adj}_2(A)=\begin{bmatrix}10&-6&3\\-8&5&-2\\7&-4&1\end{bmatrix}\)。乘法性 \(\operatorname{adj}_r(AB)=\operatorname{adj}_r(B)\operatorname{adj}_r(A)\) (0.8.12.2)。约定 \(\operatorname{adj}_n(A)=1\)，\(\operatorname{adj}_0(A)=\det A\)；\(\operatorname{adj}_1(A)\) 即经典伴随（原书此处印作 "\(\operatorname{adj}_1(A)=A\)"，按定义应为 \(\operatorname{adj}A\)，疑为笔误）。关系 \(\operatorname{adj}_r(A)C_r(A)=C_r(A)\operatorname{adj}_r(A)=(\det A)I_{\binom nr}\)，0.8.9 的恒等式是其特例；\(A\) 非奇异时 \(C_r(A)^{-1}=(\det A)^{-1}\operatorname{adj}_r(A)\)。和的行列式：
  \[\det(sA+tB)=\sum_{k=0}^n s^{n-k}t^k\operatorname{tr}\big(\operatorname{adj}_k(A)C_k(B)\big)\tag{0.8.12.3}\]
  （原书印作 \(s^kt^{n-k}\operatorname{tr}(\operatorname{adj}_k(A)C_r(B))\)；按 \(\operatorname{adj}_k(A)\) 含 \(A\) 的 \(n-k\) 阶子式、\(C_k(B)\) 含 \(B\) 的 \(k\) 阶子式，\(n=1\) 检验应为 \(s^{n-k}t^k\) 与 \(C_k\)，编写时请核对。）特别地 \(\det(A+I)=\sum_{k=0}^n\operatorname{tr}\operatorname{adj}_k(A)=\sum_{k=0}^n\operatorname{tr}C_k(A)\)（即特征多项式系数 = 主子式之和，见 1.2.12）。

0.9 特殊类型的矩阵（Special types of matrices）（PDF p.50–58）

• 0.9.1 对角矩阵（diagonal）：\(d_{ij}=0\ (i\ne j)\)。"正（非负）对角矩阵"专指对角元为正（非负）的对角矩阵，不是泛指对角元为正的一般矩阵。标量矩阵 \(\alpha I\)。\(\operatorname{diag}A\in\mathbf F^q\)；反之 \(\operatorname{diag}x\in M_{n,m}\) 需同时指明 \(m,n\)；\(\operatorname{diag}(a_1,\dots,a_n)\in M_n\)。性质：(a) \(\det D=\prod d_{ii}\)；(b) 非奇异 ⇔ \(d_{ii}\) 全非零；(c) 左乘 \(D\) 缩放 \(A\) 的行（\(DA\) 第 \(i\) 行为 \(d_{ii}\) 乘 \(A\) 第 \(i\) 行）；(d) 右乘 \(D\) 缩放 \(A\) 的列；(e) \(DA=AD\iff\) 当 \(d_{ii}\ne d_{jj}\) 时 \(a_{ij}=0\)；(f) 若 \(D\) 对角元互异且 \(DA=AD\)，则 \(A\) 为对角阵；(g) \(D^k=\operatorname{diag}(d_{11}^k,\dots)\)；(h) 同阶对角阵互相交换。
• 0.9.2 分块对角矩阵与直和（direct sum）：\(A=A_{11}\oplus\cdots\oplus A_{kk}=\bigoplus_{i}A_{ii}\)。\(\det(\bigoplus A_{ii})=\prod\det A_{ii}\)；非奇异 ⇔ 每块非奇异；两直和（对应块同阶）交换 ⇔ 每对块交换；\(\operatorname{rank}(\bigoplus A_{ii})=\sum\operatorname{rank}A_{ii}\)；\((A\oplus B)^{-1}=A^{-1}\oplus B^{-1}\)；由连续性
  \[\operatorname{adj}(A\oplus B)=(\det B)\operatorname{adj}A\oplus(\det A)\operatorname{adj}B\tag{0.9.2.1}\]
• 0.9.3 三角矩阵：上三角（upper triangular）\(t_{ij}=0\ (i>j)\)；严格上三角（strictly）\(t_{ij}=0\ (i\ge j)\)；下三角为转置；单位三角（unit triangular）对角元为 1；也称右（right）/左（left）三角。长方形上三角：\(n\le m\) 时 \(T=[R\ T_2]\)，\(n\ge m\) 时 \(T=\begin{bmatrix}R\\0\end{bmatrix}\)。方三角阵行列式为对角元之积；三角阵一般不交换，但若三角阵 \(T\) 对角元互异且与 \(B\) 交换，则 \(B\) 与 \(T\) 同型三角（2.4.5.1）。左乘下三角 \(L\)：\(LA\) 的第 \(i\) 行是 \(A\) 的前 \(i\) 行的线性组合；有限次类型 3 行变换的结果为 \(LA\)，\(L\) 为单位下三角；列变换对应右乘上三角。三角阵的秩 ≥ 对角线上非零元个数（可更大）。非奇异三角阵之逆同型；同型三角阵乘积同型，对角元为对应对角元之积。
• 0.9.4 分块三角矩阵：分块上三角（block upper triangular）
  \[A=\begin{bmatrix}A_{11}&\star&\star\\&\ddots&\star\\0&&A_{kk}\end{bmatrix}\tag{0.9.4.1}\]
  对角块全为零时称严格分块上三角；分块下三角、分块三角类推；既分块上三角又分块下三角 ⇔ 分块对角。对角块均为 \(1\times1\) 或 \(2\times2\) 的分块上三角称上拟三角（upper quasitriangular）（实 Schur 形的形状）；上下皆拟三角称拟对角（quasidiagonal）。\(\det A=\prod\det A_{ii}\)，\(\operatorname{rank}A\ge\sum\operatorname{rank}A_{ii}\)；非奇异时 \(A^{-1}\) 同样分块三角，对角块为 \(A_{ii}^{-1}\)。上三角矩阵对任意顺序分划都是分块上三角。
• 0.9.5 置换矩阵（permutation matrix）：每行每列恰有一个 1。例 \(\begin{bmatrix}0&1&0\\1&0&0\\0&0&1\end{bmatrix}[1,2,3]^T=[2,1,3]^T\)。左乘置换行，右乘置换列；类型 1 初等矩阵称对换（transposition），任何置换矩阵是对换之积。\(\det P=\pm1\)；\(P^T=P^{-1}\)；\(n\) 阶置换矩阵构成 \(GL(n,\mathbf C)\) 中阶为 \(n!\) 的子群。\(A\mapsto PAP^T\) 以相同方式置换行与列（因而置换对角元），相当于对变量与方程同步重新编号；若某 \(PAP^T\) 为三角阵，称 \(A\) 本质三角（essentially triangular）。\(P\Lambda P^T\) 对角（\(\Lambda\) 对角）。反序矩阵（reversal matrix） \(K_n\)：\(\kappa_{i,n-i+1}=1\) (0.9.5.1)，\(K_nA\) 倒排行，\(AK_n\) 倒排列；又称 sip 矩阵、backward identity、exchange matrix。\(a_{i,n-i+1}\) 为反对角线（counterdiagonal / antidiagonal）。广义置换矩阵（generalized permutation matrix） \(G=PD\)（\(D\) 非奇异对角），构成 \(GL(n,\mathbf C)\) 的子群。
• 0.9.6 循环矩阵（circulant）：每行是上一行向右循环移一位，首行 \(a_1,\dots,a_n\) (0.9.6.1)。基本循环置换矩阵 \(C_n=\begin{bmatrix}0&I_{n-1}\\1&0_{1,n-1}\end{bmatrix}\) (0.9.6.2)。\(A\) 为循环矩阵 ⇔
  \[A=\sum_{k=0}^{n-1}a_{k+1}C_n^k\tag{0.9.6.3}\]
  （\(C_n^0=I=C_n^n\)）。故同阶循环矩阵构成交换代数：线性组合、乘积、逆（若存在）仍为循环矩阵，任意两者交换。（其特征向量为 Fourier 向量，见 2.2.P10 等。）
• 0.9.7 Toeplitz 矩阵：\(a_{ij}=a_{j-i}\)，沿平行于主对角线的对角线为常数。后移（backward shift）\(B\)（超对角线为 1）与前移（forward shift）\(F\)（次对角线为 1），\(F=B^T\)。\(A\) 为 Toeplitz ⇔
  \[A=\sum_{k=1}^na_{-k}F^k+\sum_{k=0}^na_kB^k\tag{0.9.7.1}\]
  出现于三角矩（trigonometric moments）问题。\(F=KBK\)，\(B=KFK\)；任何 Toeplitz 阵满足 \(KA=A^TK\)，即 \(A^T=KAK^{-1}\)（Toeplitz 阵与其转置相似）。上三角 Toeplitz 阵 \(A=a_0I+a_1B+\cdots+a_nB^n\)，\(B^{n+1}=0\)，故它们构成交换代数；\(A\) 非奇异 ⇔ \(a_0\ne0\)，此时 \(A^{-1}=b_0I+\cdots+b_nB^n\)，\(b_0=a_0^{-1}\)，\(b_k=-a_0^{-1}\sum_{m=0}^{k-1}a_{k-m}b_m\)（原书该式印作 \(a_0^{-1}(\sum a_{k-m}b_m)\)，由 \(AA^{-1}=I\) 推导应带负号，编写时请核对）。（量化：平稳时间序列的自协方差矩阵就是对称 Toeplitz 矩阵，Yule–Walker 方程、Levinson 递推依赖此结构。）
• 0.9.8 Hankel 矩阵：\(a_{ij}=a_{i+j-2}\)，沿垂直于主对角线的反对角线为常数；出现于幂矩（power moments）问题。对任意 Toeplitz 阵 \(A\)，\(KA\)、\(AK\) 为 Hankel；对 Hankel 阵 \(H\)，\(KH\)、\(HK\) 为 Toeplitz。Hankel 阵对称，\(K=K^T=K^{-1}\)，故任何 Toeplitz 阵是两个对称阵（反序阵与 Hankel 阵）之积。
• 0.9.9 Hessenberg 矩阵：上 Hessenberg 形 \(a_{ij}=0\ (i>j+1)\)。不可约（unreduced）：所有次对角元 \(a_{i+1,i}\ne0\)，此时前 \(n-1\) 列线性无关，秩 ≥ \(n-1\)；\(A-\lambda I\) 仍是不可约上 Hessenberg，故 \(\operatorname{rank}(A-\lambda I)\ge n-1\) 对所有 \(\lambda\) 成立（意味着每个特征值几何重数为 1，即"非减次"，见 1.4 节）。下 Hessenberg 为转置。（QR 算法先化为 Hessenberg 形。）
• 0.9.10 三对角、双对角及其他结构矩阵：三对角（tridiagonal）\(a_{ij}=0\ (|i-j|>1)\)，记主对角 \(a_i\)、超对角 \(b_i\)、次对角 \(c_i\) (0.9.10.1)。顺序主子式递推：\(\det A_1=a_1\)，\(\det A_2=a_1a_2-b_1c_1\)，
  \[\begin{bmatrix}\det A_{k+1}&0\\\det A_k&0\end{bmatrix}=\begin{bmatrix}a_{k+1}&-b_kc_k\\1&0\end{bmatrix}\begin{bmatrix}\det A_k&0\\\det A_{k-1}&0\end{bmatrix}\]
  即 \(\det A_{k+1}=a_{k+1}\det A_k-b_kc_k\det A_{k-1}\)。Jacobi 矩阵：次对角元为正的实对称三对角阵。上双对角（upper bidiagonal）：\(c_i=0\)；下双对角为转置。分块三对角/双对角类推。
  • 广对称（persymmetric）：\(a_{ij}=a_{n+1-j,n+1-i}\)，即关于反对角线对称；等价于 \(K_nA=A^TK_n\)。非奇异广对称阵之逆仍广对称（\(K_nA^{-1}=A^{-T}K_n\)）。Toeplitz 阵是广对称的。斜广对称：\(K_nA=-A^TK_n\)，其逆亦然。复矩阵 \(K_nA=A^*K_n\) 为 perhermitian，\(K_nA=-A^*K_n\) 为 skew perhermitian，逆保持类型。
  • 中心对称（centrosymmetric）：\(a_{ij}=a_{n+1-i,n+1-j}\) ⇔ \(K_nA=AK_n\)；斜中心对称 \(K_nA=-AK_n\)。例 \(\begin{bmatrix}1&2&3&4&5\\0&6&7&8&9\\-1&-2&-3&-2&-1\\9&8&7&6&0\\5&4&3&2&1\end{bmatrix}\) 关于几何中心对称。逆保持类型；两中心对称阵之积中心对称；两斜中心对称阵之积中心对称。结构：\(n=2m\) 时 \(A=\begin{bmatrix}B&K_mCK_m\\C&K_mBK_m\end{bmatrix}\) (0.9.10.2)；\(n=2m+1\) 时 \(A=\begin{bmatrix}B&K_my&K_mCK_m\\x^T&\alpha&x^TK_m\\C&y&K_mBK_m\end{bmatrix}\) (0.9.10.3)。复矩阵 \(K_nA=\bar AK_n\) 为中心 Hermitian（centrohermitian），\(K_nA=-\bar AK_n\) 为斜中心 Hermitian，逆保持类型，中心 Hermitian 阵之积仍中心 Hermitian。
• 0.9.11 Vandermonde 矩阵与 Lagrange 插值：\(A=[x_i^{j-1}]\) (0.9.11.1)，
  \[\det A=\prod_{i>j}(x_i-x_j)\tag{0.9.11.2}\]
  故非奇异 ⇔ \(x_i\) 互异。此时 \(A^{-1}=[\alpha_{ij}]\)，\(\alpha_{ij}=(-1)^{i-1}\dfrac{S_{n-i}(x_1,\dots,\hat x_j,\dots,x_n)}{\prod_{k\ne j}(x_k-x_j)}\)，\(S_m\) 为去掉 \(x_j\) 后 \(n-1\) 个变量的第 \(m\) 个初等对称函数（\(S_0=1\)，见 1.2.14）。插值问题：求次数 ≤ \(n-1\) 的 \(p(x)=a_0+a_1x+\cdots+a_{n-1}x^{n-1}\) 使 \(p(x_i)=y_i\) (0.9.11.3)，即 \(Aa=y\)；节点互异时必有唯一解。实用上用 Lagrange 插值多项式 \(L_i(x)=\prod_{j\ne i}(x-x_j)/\prod_{j\ne i}(x_i-x_j)\)（\(L_i(x_k)=\delta_{ik}\)），
  \[p(x)=y_1L_1(x)+\cdots+y_nL_n(x)\tag{0.9.11.4}\]
• 0.9.12 Cauchy 矩阵：\(A=[(a_i+b_j)^{-1}]\)，\(a_i+b_j\ne0\)，
  \[\det A=\frac{\prod_{1\le i<j\le n}(a_j-a_i)(b_j-b_i)}{\prod_{1\le i,j\le n}(a_i+b_j)}\tag{0.9.12.1}\]
  非奇异 ⇔ \(a_i\) 互异且 \(b_i\) 互异。Hilbert 矩阵 \(H_n=[(i+j-1)^{-1}]\) 既是 Cauchy 又是 Hankel，\(\det H_n=\dfrac{(1!2!\cdots(n-1)!)^4}{1!2!\cdots(2n-1)!}\) (0.9.12.2)，恒非奇异（但极病态），逆的元素为整数
  \[h_{ij}=\frac{(-1)^{i+j}(n+i-1)!(n+j-1)!}{((i-1)!(j-1)!)^2(n-i)!(n-j)!(i+j-1)}\tag{0.9.12.3}\]
• 0.9.13 对合、幂零、投影、共轭对合：对合（involution，involutory）\(A^2=I\)；幂零（nilpotent）\(A^k=0\)，最小 \(k\) 为幂零指数（index of nilpotence）；投影（projection，幂等 idempotent）\(A^2=A\)。复情形：Hermitian 投影（正交投影 orthogonal projection）\(A^*=A=A^2\)（见 4.1.P19）；共轭对合（coninvolution）\(A\bar A=I\)。

0.10 基变换（Change of basis）（PDF p.59–60）

\(\mathcal B_1=\{v_1,\dots,v_n\}\) 为 \(V\) 的基，表示唯一（若 \(x=\sum\alpha_iv_i=\sum\beta_iv_i\)，则 \(\sum(\alpha_i-\beta_i)v_i=0\) 推出 \(\alpha_i=\beta_i\)）；\(x\mapsto[x]_{\mathcal B_1}\) 为双射，\(\alpha_i\) 是坐标（coordinates）。\(T:V\to V\) 由 \(Tv_1,\dots,Tv_n\) 决定。设 \([Tv_j]_{\mathcal B_2}=[t_{1j},\dots,t_{nj}]^T\)，则 \([Tx]_{\mathcal B_2}=\sum_j\alpha_j[Tv_j]_{\mathcal B_2}=[t_{ij}][x]_{\mathcal B_1}\)。定义 \(\mathcal B_1\)–\(\mathcal B_2\) 基表示 \({}_{\mathcal B_2}[T]_{\mathcal B_1}=[[Tv_1]_{\mathcal B_2}\cdots[Tv_n]_{\mathcal B_2}]\)，满足 \([Tx]_{\mathcal B_2}={}_{\mathcal B_2}[T]_{\mathcal B_1}[x]_{\mathcal B_1}\)；\(\mathcal B_2=\mathcal B_1\) 时为 \(T\) 的 \(\mathcal B_1\) 基表示。 对恒等变换：\({}_{\mathcal B_2}[I]_{\mathcal B_1}\,{}_{\mathcal B_1}[I]_{\mathcal B_2}=I_n\) 且反之亦然，所以 \({}_{\mathcal B_2}[I]_{\mathcal B_1}\) 可逆，逆为 \({}_{\mathcal B_1}[I]_{\mathcal B_2}\)；反过来任何可逆 \(S\) 都具有 \({}_{\mathcal B_1}[I]_{\mathcal B}\) 的形式（取 \([\tilde s_i]_{\mathcal B_1}=s_i\)）。\({}_{\mathcal B_2}[I]_{\mathcal B_1}=[[v_1]_{\mathcal B_2}\cdots[v_n]_{\mathcal B_2}]\) 描述 \(\mathcal B_1\) 的基向量如何由 \(\mathcal B_2\) 构成。核心公式：

0.11 等价关系（Equivalence relations）（PDF p.60–61）

关系 \(\Gamma\subseteq S\times S\)；等价关系需满足自反、对称、传递；等价类 \(S_a=\{b:b\sim a\}\) 构成 \(S\) 的不交分划，反之任一不交分划定义等价关系。矩阵分析中的等价关系（\(D_1,D_2,S,T,L,R\) 方且非奇异，\(U,V\) 酉，\(L\) 下三角，\(R\) 上三角，\(D_i\) 对角；等价、酉等价、三角等价、对角等价中 \(A,B\) 可非方）：

标准形（canonical form / normal form）：从每个等价类选一个代表构成的集合 \(C\)（\(S=\bigcup_{a\in C}S_a\)，不同代表的类不交）；元素 \(a\) 的标准形是唯一的 \(c\in C\) 使 \(a\in S_c\)。同一关系可有多种标准形，如相似的 Jordan 形（适合矩阵幂问题）与 Weyr 形（适合交换性问题）。不变量（invariant）：\(a\sim b\Rightarrow f(a)=f(b)\)；完全不变量系（complete system of invariants）：\(f(a)=f(b)\ \forall f\in\mathcal F\iff a\sim b\)。例：奇异值是酉等价的完全不变量系（对比：秩是等价的完全不变量，0.4.6(c)）。

PDF p.62 为空白页。

第 0 章 本章要点

1. 记号体系：\(M_{m,n}(\mathbf F)\)、\(A[\alpha,\beta]\)、\(A^T,A^*,\bar A\)、\(\operatorname{diag}\)、\(\oplus\)、\(e\)、\(J_n\)、\(K_n\)、\(\operatorname{vec}\)；内积 \(\langle x,y\rangle=y^*x\) 对第一变元线性。
2. 秩的多种刻画与不等式（Sylvester、Frobenius、秩和、Wedderburn 秩一约化）；满秩分解；秩–零度定理；子空间交引理（0.1.7）是后文变分原理的基础。
3. 行列式的三种定义（Laplace 展开、置换和、函数刻画），乘法性，Cauchy–Binet，复合矩阵与伴随矩阵，Jacobi 恒等式，行列式导数 \(\frac{d}{dt}\det A=\operatorname{tr}(\operatorname{adj}A\,A')\)。
4. Schur 补是本章最重要的工具：分块消元、分块求逆、\(\det A=\det A_{11}\det(A/A_{11})\)、秩可加、商性质；配合 Sherman–Morrison–Woodbury 与秩一行列式公式。
5. "连续性论证"：先对非奇异（稠密）情形证明，再取极限推广——贯穿全书的技巧。
6. 特殊矩阵词典：对角、三角、分块三角、拟三角、置换、循环、Toeplitz、Hankel、Hessenberg、三对角、Vandermonde、Cauchy/Hilbert、幂零、幂等。
7. 基变换导出相似；等价关系—标准形—完全不变量的框架是全书主线。

第 0 章 与量化交易的关联

• 组合优化与风险模型：协方差矩阵求逆是均值–方差最优权重 \(w\propto\Sigma^{-1}\mu\) 的核心；因子模型 \(\Sigma=BFB^T+D\) 用 Woodbury 公式 (0.7.4.1) 把 \(N\times N\) 求逆降为 \(K\times K\)（\(K\) 为因子数），是大规模组合优化（数千只股票）可行的关键。分块逆 (0.7.3.1)/(0.8.5.6) 与 Schur 补给出条件协方差 \(\Sigma_{22}-\Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12}\)（给定部分资产收益后其余资产的条件方差）、偏相关与最小方差对冲比率（回归系数 \(\Sigma_{11}^{-1}\Sigma_{12}\)）。
• 滚动回归/在线学习：Sherman–Morrison 秩一更新 (0.7.4.2) 用于递推最小二乘（RLS）、滚动窗口 OLS 增删样本、Kalman 滤波中的增益更新，复杂度从 \(O(k^3)\) 降至 \(O(k^2)\)。
• 似然估计：\(\partial\det A/\partial a_{ij}\) 公式 (0.8.2.6–7) 导出 \(\partial\log\det\Sigma=\Sigma^{-1}\)，用于多元正态 MLE、GARCH/DCC、因子模型 EM 算法；矩阵行列式引理 (0.8.5.11) 用于快速计算 \(\log\det(D+BFB^T)\)。
• 共线性诊断：秩与秩不等式、Gram–Schmidt（即 QR）用于检测因子共线性、构造正交化因子（逐个对已有因子做回归残差，正是 Gram–Schmidt 过程）。注意 0.4.3 的警告——数值秩应用 SVD 而非行化简判断。
• 时间序列：平稳过程自协方差矩阵为对称 Toeplitz（0.9.7），AR 模型 Yule–Walker 方程、Levinson–Durbin 递推依赖此结构；Hankel 矩阵用于子空间系统辨识、奇异谱分析（SSA）。循环矩阵与 FFT 对角化可用于周期性信号的快速卷积。
• 插值与曲线：Vandermonde/Lagrange 插值用于收益率曲线构建（但高次多项式插值振荡大，实务多用样条）；Hilbert 矩阵是"病态矩阵"的经典示例，提醒多项式基回归的数值不稳定性。
• 系统实现：三对角系统递推（0.9.10）对应三次样条、PDE 有限差分（Crank–Nicolson 期权定价）中的 Thomas 算法。
• 等价关系、复合矩阵、Plücker 关系、Dodgson 恒等式等内容与量化无直接关联，属理论储备。

第 0 章 推荐习题

第 0 章按作者设计没有习题。建议自行验证：(1) 用分块乘法验证 (0.7.3.1) 与 Woodbury 公式 (0.7.4.1)；(2) 推导 (0.8.5.3) 并由此得出秩可加性 0.8.5(b)；(3) 用连续性论证证明 \(\operatorname{adj}(AB)=\operatorname{adj}B\operatorname{adj}A\)；(4) 验证 Jacobi 公式 (0.8.10.1) 对 \(2\times2\) 情形；(5) 计算 \(C_2(A)\) 与 \(\operatorname{adj}_2(A)\)（0.8.1.0 中的 \(A\)）并验证 \(\operatorname{adj}_2(A)C_2(A)=(\det A)I\)（\(\det A=-3\)）。

第 1 章 特征值、特征向量与相似（Eigenvalues, Eigenvectors, and Similarity）（书 p.43–82，PDF p.63–102）

1.0 引言（PDF p.63–64）

每章的 x.0 节用例子说明本章核心问题的来源。全书沿用第 0 章记号（陌生术语查索引，陌生记号查参考文献后的 Notation 表）。

• 1.0.1 基变换与相似：可逆矩阵 = 基变换矩阵（0.10）。若 \(A={}_{\mathcal B}[T]_{\mathcal B}\)，则 \(T\) 的所有基表示为 \(\{{}_{\mathcal B_1}[I]_{\mathcal B}\,{}_{\mathcal B}[T]_{\mathcal B}\,{}_{\mathcal B}[I]_{\mathcal B_1}\}=\{S^{-1}AS:S\text{ 可逆}\}\)，即与 \(A\) 相似（similar）的全部矩阵。相似而不相等的矩阵只是同一线性变换在不同基下的表示，因此应共享该变换的内在性质；常把关于矩阵的问题转化为关于其线性变换内在性质的问题。
• 1.0.2 约束极值与特征值：对实对称 \(A\)，
  \[\max\ x^TAx\quad\text{s.t. }x\in\mathbf R^n,\ x^Tx=1\tag{1.0.3}\]
  Lagrange 函数 \(L=x^TAx-\lambda x^Tx\)，必要条件 \(\nabla L=2(Ax-\lambda x)=0\)，即极值点满足 \(Ax=\lambda x\)——特征值问题自然从二次型约束优化中产生。（量化：这正是 PCA 第一主成分——在单位权重约束下最大化组合方差 \(w^T\Sigma w\)——以及最小方差问题的来源。）
• 习题 1.0：P1 用 Weierstrass 定理（附录 E，连续函数在紧集上取得最大值）说明 (1.0.3) 有解，从而每个实对称矩阵至少有一个实特征值；P2 证明 \(\max\{x^TAx:x^Tx=1\}\) 等于 \(A\) 的最大实特征值（Rayleigh 商）。

1.1 特征值–特征向量方程（The eigenvalue–eigenvector equation）（PDF p.64–69）

\(A\in M_n\) 既是线性变换 \(x\mapsto Ax\) (1.1.1)，又是数表；两者的相互作用是矩阵分析的中心主题。

• 定义 1.1.2：若标量 \(\lambda\) 与非零向量 \(x\) 满足 \(Ax=\lambda x\)（\(x\in\mathbf C^n,x\ne0,\lambda\in\mathbf C\)）(1.1.3)，则 \(\lambda\) 为特征值（eigenvalue），\(x\) 为相应特征向量（eigenvector），\((\lambda,x)\) 为特征对（eigenpair）。特征向量永不为零向量。（练习：\(e_i\) 是对角阵 \(D\) 的特征向量，对应 \(d_i\)。）\((\lambda I-A)x=0\) 有非平凡解 ⇔ \(\lambda I-A\) 奇异。
• 定义 1.1.4 谱（spectrum）：\(\sigma(A)\) 为全部特征值的集合。此时尚不知它是否非空、是否有限。
• 特征向量的非零倍数仍是特征向量；可单位化 \(\xi=x/\|x\|_2\)，但不唯一：\(e^{i\theta}\xi\) 也是。\(Ax=\lambda x\Rightarrow\bar A\bar x=\bar\lambda\bar x\)，故 \(\sigma(\bar A)=\overline{\sigma(A)}\)；实矩阵的非实特征值成共轭对出现。
• 例（1.1.4a）：\(A=\begin{bmatrix}7&-2\\4&1\end{bmatrix}\)，\(A[1,2]^T=[3,6]^T=3[1,2]^T\)，故 \(3\in\sigma(A)\)；另一特征值为 5（特征向量 \([1,1]^T\)）。
• 例：\(J_n\)（全 1 矩阵），\(x_k=e-ne_k\)。\(e,x_1,\dots,x_{n-1}\) 是线性无关特征向量，对应 \(n,0,\dots,0\)。由此 \(A=4I-J_3=\begin{bmatrix}3&-1&-1\\-1&3&-1\\-1&-1&3\end{bmatrix}\) 的特征值为 \(1\)（\(e\)）与 \(4\)（二重）。（量化：等相关矩阵 \((1-\rho)I+\rho J_n\) 的特征值为 \(1+(n-1)\rho\) 与 \(1-\rho\)，前者对应"市场因子"。）
• 矩阵多项式：\(p(t)=a_kt^k+\cdots+a_0\)（\(a_k\ne0\)）(1.1.5a)，\(p(A)=a_kA^k+\cdots+a_1A+a_0I\) (1.1.5b)，约定 \(A^0=I\)；首一（monic）多项式 \(a_k=1\)。由代数基本定理（附录 C），首一 \(p(t)=(t-\alpha_1)\cdots(t-\alpha_k)\) (1.1.5c)，分解在置换意义下唯一；\(\alpha_j\) 为根（root）/零点（zero），重复次数为重数（multiplicity）；次数 \(k\ge1\) 的多项式至多 \(k\) 个不同零点。相应地 \(p(A)=(A-\alpha_1I)\cdots(A-\alpha_kI)\) (1.1.5d)。
• 定理 1.1.6（谱映射）：\(p\) 为 \(k\) 次多项式。若 \((\lambda,x)\) 是 \(A\) 的特征对，则 \((p(\lambda),x)\) 是 \(p(A)\) 的特征对。反之，若 \(k\ge1\) 且 \(\mu\) 是 \(p(A)\) 的特征值，则存在 \(\lambda\in\sigma(A)\) 使 \(\mu=p(\lambda)\)。 证明：\(A^jx=\lambda^jx\) 逐次得 \(p(A)x=p(\lambda)x\)。反向：\(p(A)-\mu I\) 奇异；\(q(t)=p(t)-\mu=(t-\beta_1)\cdots(t-\beta_k)\)，\(q(A)=\prod(A-\beta_jI)\) 奇异，故某个 \(A-\beta_jI\) 奇异，\(\beta_j\in\sigma(A)\)，且 \(q(\beta_j)=0\) 即 \(\mu=p(\beta_j)\)。
  • 练习：\(\sigma(A)=\{-1,1\}\) 时 \(\sigma(A^2)=\{1\}\)（需用反向结论保证唯一性）。\(A=\begin{bmatrix}0&1\\0&0\end{bmatrix}\)：\(A^2=0\)，\(e_2\) 是 \(A^2\) 的特征向量却不是 \(A\) 的——反向结论只涉及特征值，不涉及特征向量；\(A\) 的特征向量只有 \(e_1\) 的倍数，\(\sigma(A)=\{0\}\)。
• 观察 1.1.7：\(A\) 奇异 ⇔ \(0\in\sigma(A)\)。
• 观察 1.1.8（平移）：\(\lambda\in\sigma(A)\iff\lambda+\mu\in\sigma(A+\mu I)\)（特征向量相同）。
• 定理 1.1.9（特征值存在性）：每个 \(A\in M_n\) 都有特征值。更进一步，对任意非零 \(y\in\mathbf C^n\)，存在次数 ≤ \(n-1\) 的多项式 \(g\) 使 \(g(A)y\) 是 \(A\) 的特征向量。 证明（Krylov 序列）：令 \(m\) 为使 \(y,Ay,\dots,A^ky\) 线性相关的最小 \(k\)，则 \(1\le m\le n\)。有不全为零的 \(a_i\) 使 \(a_mA^my+\cdots+a_0y=0\) (1.1.10)；由 \(m\) 的最小性 \(a_m\ne0\)。令 \(p(t)=t^m+(a_{m-1}/a_m)t^{m-1}+\cdots\)，则 \(p(A)y=0\)，\((0,y)\) 是 \(p(A)\) 的特征对；由定理 1.1.6，\(p\) 的某个零点 \(\lambda\) 是 \(A\) 的特征值。写 \(p(t)=(t-\lambda)g(t)\)，\(\deg g=m-1\)；最小性给出 \(g(A)y\ne0\)，而 \(0=p(A)y=(A-\lambda I)g(A)y\)，故 \(g(A)y\) 是对应 \(\lambda\) 的特征向量。∎ 这里用到了复数域的代数封闭性（实矩阵未必有实特征值，见 P8、P9）。下一节引入次数恰为 \(n\) 的特征多项式 \(p_A\)，其零点恰为全部特征值。
• 习题 1.1（概要）：P1 \(\lambda\in\sigma(A)\Rightarrow\lambda^{-1}\in\sigma(A^{-1})\)，特征向量相同；P2 行和全为 1 ⇔ \(Ae=e\)；此时 \(A^{-1}\) 行和也为 1，\(p(A)\) 行和都等于 \(p(1)\)（量化：随机矩阵/转移矩阵）；P3 实矩阵的实特征值有实特征向量（取 \(x=u+iv\) 的实部或虚部）；实矩阵的非实特征值不可能有实特征向量；P4 \(\sigma(A_{11}\oplus A_{22})=\sigma(A_{11})\cup\sigma(A_{22})\)；P5 幂等矩阵特征值为 0 或 1，唯一非奇异幂等阵是 \(I\)；P6 幂零矩阵特征值全为 0，唯一既幂零又幂等的矩阵是 0；P7 Hermitian 矩阵特征值为实数；P8 说明 1.1.9 的论证为何不能证明实矩阵有实特征值；P9 \(\begin{bmatrix}0&1\\-1&0\end{bmatrix}\) 无实特征值，复特征值为 \(\pm i\)；P10 无穷序列空间上的右移算子 \(S(a_1,a_2,\dots)=(0,a_1,\dots)\) 无特征值（无限维中 1.1.9 失效）；P11 \(\lambda\in\sigma(A)\) 时 \((A-\lambda I)\operatorname{adj}(A-\lambda I)=0\)，\(\operatorname{adj}(A-\lambda I)=xy^*\)，其每个非零列都是特征向量（仅在 \(\operatorname{rank}(A-\lambda I)=n-1\) 时有用）；P12 \(2\times2\) 情形 \(\begin{bmatrix}d-\lambda&-b\\-c&a-\lambda\end{bmatrix}\) 的非零列是特征向量，用于求 (1.1.4a) 的特征向量；P13 \(A\) 的特征向量也是 \(\operatorname{adj}A\) 的特征向量。

1.2 特征多项式与代数重数（The characteristic polynomial and algebraic multiplicity）（PDF p.69–77）

问题：方阵有多少个特征值？如何系统刻画？由 \((\lambda I-A)x=0,\ x\ne0\) (1.2.1)，\(\lambda\in\sigma(A)\iff\det(\lambda I-A)=0\) (1.2.2)。

• 定义 1.2.3：特征多项式（characteristic polynomial）\(p_A(t)=\det(tI-A)\)（视为 \(t\) 的形式多项式）；\(p_A(t)=0\) 为特征方程（characteristic equation）。
• 观察 1.2.4：\(p_A\) 次数为 \(n\)，\(p_A(t)=t^n-(\operatorname{tr}A)t^{n-1}+\cdots+(-1)^n\det A\)；\(p_A(\lambda)=0\iff\lambda\in\sigma(A)\)，故 \(\sigma(A)\) 至多 \(n\) 个点。 证明：由 (0.3.2.1)，每个求和项是 \(tI-A\) 中不同行不同列的 \(n\) 个元之积；只有对角元之积 \((t-a_{11})\cdots(t-a_{nn})=t^n-(a_{11}+\cdots+a_{nn})t^{n-1}+\cdots\) (1.2.4a) 能达到 \(n\) 次；其余项含某个 \(-a_{ij}\)（\(i\ne j\)），从而不含 \((t-a_{ii})\) 与 \((t-a_{jj})\)，次数 ≤ \(n-2\)。故 \(t^n,t^{n-1}\) 的系数只来自 (1.2.4a)。常数项 \(p_A(0)=\det(-A)=(-1)^n\det A\)。
  • 约定选 \(\det(tI-A)\) 而非 \(\det(A-tI)=(-1)^n\det(tI-A)\)，以保证首一。
  • \(2\times2\) 练习：\(p_A(t)=t^2-(a+d)t+(ad-bc)=t^2-(\operatorname{tr}A)t+\det A\)。判别式 \(r=(\operatorname{tr}A)^2-4\det A=(a-d)^2+4bc\)，\(\lambda_{1,2}=\tfrac12(a+d\pm\sqrt r)\) (1.2.4b)；\(\operatorname{tr}A=\lambda_1+\lambda_2\)，\(\det A=\lambda_1\lambda_2\)；\(\lambda_1\ne\lambda_2\iff r\ne0\)。实矩阵：特征值为实 ⇔ \(r\ge0\)；\(bc\ge0\) 时必为实；\(r<0\) 时 \(\lambda_1=\bar\lambda_2\)。
  • \(p_I(t)=(t-1)^n\)，特征值 1 的重数为 \(n\)。分解 \(p_A(t)=(t-\alpha_1)\cdots(t-\alpha_n)=t^n-(\alpha_1+\cdots+\alpha_n)t^{n-1}+\cdots+(-1)^n\alpha_1\cdots\alpha_n\) (1.2.4c)：零点之和为迹，零点之积为行列式。
• 定义 1.2.5：特征值 \(\lambda\) 的（代数）重数（algebraic multiplicity）= 它作为 \(p_A\) 零点的重数。此后"\(A\) 的特征值"一律含重数计：
  \[p_A(t)=(t-\lambda_1)(t-\lambda_2)\cdots(t-\lambda_n)\tag{1.2.6}\]
  "不同特征值"指 \(\sigma(A)\) 中的元素。每个 \(A\in M_n\) 在复数中恰有 \(n\) 个特征值；迹 = 特征值之和，行列式 = 特征值之积。实矩阵的 \(p_A\) 系数为实，故非实特征值 \(\lambda\) 与 \(\bar\lambda\) 的代数重数相同；\(x,\bar x\) 是对应不同特征值 \(\lambda,\bar\lambda\) 的特征向量。
• 例 1.2.7：\(I+xy^*\) 的特征值。用 (0.8.5.11) 与 \(\operatorname{adj}(\alpha I)=\alpha^{n-1}I\)： \(p_{I+xy^*}(t)=\det((t-1)I-xy^*)=(t-1)^n-(t-1)^{n-1}y^*x=(t-1)^{n-1}(t-(1+y^*x))\)。故特征值为 \(1+y^*x\) 与 \(1\)（重数 \(n-1\)），\(\det(I+xy^*)=1+y^*x\)。
• 例 1.2.8（Brauer 定理）：\(x\ne0\)，\(Ax=\lambda x\)，\(A\) 的特征值为 \(\lambda,\lambda_2,\dots,\lambda_n\)，则 \(A+xy^*\) 的特征值为 \(\lambda+y^*x,\lambda_2,\dots,\lambda_n\)。证明：由 \((t-\lambda)x=(tI-A)x\) 得 \((t-\lambda)\operatorname{adj}(tI-A)x=p_A(t)x\) (1.2.8a)。由 (0.8.5.11)，\(p_{A+xy^*}(t)=\det(tI-A)-y^*\operatorname{adj}(tI-A)x\)；两边乘 \((t-\lambda)\) 并代入 (1.2.8a)，得多项式恒等式 \((t-\lambda)p_{A+xy^*}(t)=(t-(\lambda+y^*x))p_A(t)\)，比较零点即得。（这是"收缩/deflation"的理论基础：只移动一个已知特征值、其余不动；Google 矩阵见 P21。）
• 定义 1.2.9 谱半径（spectral radius）：\(\rho(A)=\max\{|\lambda|:\lambda\in\sigma(A)\}\)。所有特征值落在闭圆盘 \(\{|z|\le\rho(A)\}\) 中；若有非零特征值则 \(\min\{|\lambda|:\lambda\ne0\}>0\)——都因 \(\sigma(A)\) 为非空有限集。
• 三角矩阵 \(T\)：\(p_T(t)=(t-t_{11})\cdots(t-t_{nn})\)，特征值即对角元（上、下三角、对角均然）。分块上三角 \(A\)：\(p_A=p_{A_{11}}\cdots p_{A_{kk}}\)，特征值为各对角块特征值（含重数）之并——这是许多特征值算法（化为分块三角再分治）的基础。
• 定义 1.2.10：\(E_k(A)\) = \(A\) 的全部 \(\binom nk\) 个 \(k\) 阶主子式之和。
• 特征多项式系数与主子式和：记 \(p_A(t)=t^n+a_{n-1}t^{n-1}+\cdots+a_1t+a_0\) (1.2.10a)。已知 \(E_1(A)=\operatorname{tr}A=-a_{n-1}\)，\(E_n(A)=\det A=(-1)^na_0\)。一般由 \(a_k=\frac1{k!}p_A^{(k)}(0)\) (1.2.11) 与 (0.8.10.2) \(p_A'(t)=\operatorname{tr}\operatorname{adj}(tI-A)\)：\(\operatorname{tr}\operatorname{adj}A=E_{n-1}(A)\)，故 \(a_1=\operatorname{tr}\operatorname{adj}(-A)=(-1)^{n-1}E_{n-1}(A)\)。又 \(\operatorname{tr}\operatorname{adj}(tI-A)=\sum_{i=1}^np_{A_{(i)}}(t)\)（\(A_{(i)}\) 为删去第 \(i\) 行列的主子矩阵），于是
  \[p_A''(t)=\sum_{i=1}^n\frac{d}{dt}p_{A_{(i)}}(t)=\sum_{i=1}^n\operatorname{tr}\operatorname{adj}(tI-A_{(i)})\tag{1.2.12}\]
  每个 \(n-2\) 阶主子式恰出现两次（删 \(k,\ell\) 时，\(i=k\) 与 \(i=\ell\) 各一次），故 \(a_2=\tfrac12p_A''(0)=(-1)^{n-2}E_{n-2}(A)\)。重复得 \(p_A^{(k)}(0)=k!(-1)^{n-k}E_{n-k}(A)\)，
  \[p_A(t)=t^n-E_1(A)t^{n-1}+\cdots+(-1)^{n-1}E_{n-1}(A)t+(-1)^nE_n(A)\tag{1.2.13}\]
• 定义 1.2.14 初等对称函数（elementary symmetric function）：\(S_k(\lambda_1,\dots,\lambda_n)=\sum_{1\le i_1<\cdots<i_k\le n}\prod_{j=1}^k\lambda_{i_j}\)（\(\binom nk\) 项），\(S_k(A):=S_k(\lambda_1,\dots,\lambda_n)\)。\(S_1\) 为和，\(S_n\) 为积，与排列次序无关。由 (1.2.6)：
  \[p_A(t)=t^n-S_1(A)t^{n-1}+\cdots+(-1)^{n-1}S_{n-1}(A)t+(-1)^nS_n(A)\tag{1.2.15}\]
• 定理 1.2.16：\(S_k(A)=E_k(A)\)，\(k=1,\dots,n\)——特征值的第 \(k\) 个初等对称函数等于 \(k\) 阶主子式之和。
• 定理 1.2.17（平移后非奇异）：存在 \(\delta>0\)，使 \(0<|\varepsilon|<\delta\) 时 \(A+\varepsilon I\) 非奇异。证明：\(0\in\sigma(A+\varepsilon I)\iff-\varepsilon\in\sigma(A)\)；若特征值全为零取 \(\delta=1\)，否则取 \(\delta=\min\{|\lambda|:\lambda\in\sigma(A),\lambda\ne0\}\)。这是连续性论证的基础：奇异矩阵是非奇异矩阵 \(A+\varepsilon I\) 的极限。（量化：协方差矩阵收缩/岭正则 \(\Sigma+\varepsilon I\) 的理论依据。）
• 重根与导数：\(\alpha\) 是 \(p\) 的 \(k\) 重零点 ⇔ \(p(t)=(t-\alpha)^kq(t)\)，\(q(\alpha)\ne0\) ⇔ \(p(\alpha)=p'(\alpha)=\cdots=p^{(k-1)}(\alpha)=0\) 且 \(p^{(k)}(\alpha)\ne0\)。
• 定理 1.2.18：\(\lambda\in\sigma(A)\) 代数重数为 \(k\)，则 \(\operatorname{rank}(A-\lambda I)\ge n-k\)；\(k=1\) 时取等。证明：\(B=A-\lambda I\) 以 0 为 \(k\) 重特征值，\(p_B^{(k)}(0)=k!(-1)^{n-k}E_{n-k}(B)\ne0\)，故某个 \(n-k\) 阶主子式非零，\(\operatorname{rank}B\ge n-k\)。\(k=1\) 时 \(B\) 奇异，\(n>\operatorname{rank}B\ge n-1\)。（即：几何重数 ≤ 代数重数的一种形式，见 1.4。）
• 习题 1.2（概要）：P1 用 \(S_n=E_n\) 验证 1.1.7；P2 \(\operatorname{tr}AB=\operatorname{tr}BA\)（\(A\in M_{m,n},B\in M_{n,m}\)），推出 \(\operatorname{tr}(S^{-1}AS)=\operatorname{tr}A\)、\(\det(S^{-1}AS)=\det A\)；P3 对角阵 \(p_D(D)=0\)；P4 幂等阵 \(p_A\) 系数为整数；P5 幂零阵迹为 0，\(p_A(t)=t^n\)；P6 \(\operatorname{rank}(A-\lambda I)=n-1\) 是否推出 \(\lambda\) 为单特征值？（否，只推出是特征值）；P7 用 (1.2.13) 求 5 阶三对角 1-矩阵（主、上、下对角全为 1）的特征多项式，推广到一般三对角；P8 \(p_{A+\lambda I}(t)=p_A(t-\lambda)\)；P9 显式写出 \(S_2,\dots,S_5\) 于 6 个变量；P10 奇数阶实矩阵至少有一个实特征值；P11 有限维复空间上线性变换必有特征值，去掉任一条件可反例；P12 \(A=\begin{bmatrix}0_n&x\\y^*&a\end{bmatrix}\) 时 \(p_A(t)=t^{n-1}(t^2-at-y^*x)\)，特征值 \((a\pm\sqrt{a^2+4y^*x})/2\) 与 \(n-1\) 个 0（两种方法：Cauchy 展开，或 \(\operatorname{rank}A\le2\) 只需 \(E_1,E_2\)）；P13 加边矩阵 \(A=\begin{bmatrix}B&x\\y^*&a\end{bmatrix}\)：\(p_A(t)=(t-a)p_B(t)-y^*(\operatorname{adj}(tI-B))x\) (1.2.19)；\(B=\lambda I_n\) 时 \(p_A(t)=(t-\lambda)^{n-1}(t^2-(a+\lambda)t+a\lambda-y^*x)\) (1.2.20)，特征值为 \(\lambda\)（\(n-1\) 重）与 \(\tfrac12(a+\lambda\pm((a-\lambda)^2+4y^*x)^{1/2})\)（量化：单因子模型/箭头矩阵的特征值）；P14 特定分块形 \(p_A=(t-\lambda)(t-\mu)p_B\)；P15 Abel 公式（Wronskian）：\(x_j'=A(t)x_j\)，\(W(t)=\det X(t)\)，由 (0.8.10) 得 \(W'=\operatorname{tr}A(t)\,W\)，\(W(t)=W(t_0)e^{\int_{t_0}^t\operatorname{tr}A(s)ds}\)，故解在一点线性无关则处处无关；P16 \(f(t)=\det(A+txy^T)=\det A+\beta t\) 线性；推出 \(\det A=(t_2f(t_1)-t_1f(t_2))/(t_2-t_1)\)，并求对角为 \(d_i\)、上三角全 \(b\)、下三角全 \(c\) 的矩阵行列式：\(b\ne c\) 时 \((bq(c)-cq(b))/(b-c)\)，\(q(t)=\prod(d_i-t)\)；\(b=c\) 时 \(q(b)-bq'(b)\)；P17 \(C=\begin{bmatrix}0&A\\B&0\end{bmatrix}\)，\(p_C(t)=p_{AB}(t^2)=p_{BA}(t^2)\)，\(AB\) 与 \(BA\) 特征值相同，故 \(\operatorname{tr}AB=\operatorname{tr}BA\)、\(\det(I+AB)=\det(I+BA)\)；P18 \(3\times3\)：\(p_A(t)=t^3-(\operatorname{tr}A)t^2+(\operatorname{tr}\operatorname{adj}A)t-\det A\)；P19 0-1 矩阵特征值全正 ⇒ 由 AM-GM 所有 \(\lambda_i=1\)、\(a_{ii}=1\)、\(\det A=1\)；P20 \(\det(I+A)=1+E_1(A)+\cdots+E_n(A)\)；P21 Google 矩阵：\(Ax=\lambda x\)，\(v^*x=1\)，则 \(A(c)=cA+(1-c)\lambda xv^*\) 的特征值为 \(\lambda,c\lambda_2,\dots,c\lambda_n\)（PageRank 收敛速度由 \(c\) 控制）；P22 \(C_n(\varepsilon)\)（把 \(C_n\) 的 \((n,1)\) 元换成 \(\varepsilon\)）的 \(p(t)=t^n-\varepsilon\)，谱为 \(\varepsilon^{1/n}e^{2\pi ik/n}\)，\(\rho(I+C_n(\varepsilon))=1+\varepsilon^{1/n}\)（特征值对扰动可以极其敏感：\(\varepsilon\) 的扰动引起 \(\varepsilon^{1/n}\) 的变化）；P23 奇异且特征值互异的矩阵有非奇异的 \(n-1\) 阶主子式。
• 注：主子式之和出现在特征多项式系数中；主子式之积的自然出现见 (7.8.11)。

1.3 相似（Similarity）（PDF p.77–95）

相似变换对应同一线性变换换基表示；研究相似即研究线性变换的内在性质。

• 定义 1.3.1：若存在非奇异 \(S\) 使 \(B=S^{-1}AS\)，称 \(B\) 相似于 \(A\)（\(B\sim A\)），\(A\mapsto S^{-1}AS\) 为以 \(S\) 为相似矩阵的相似变换（similarity transformation）。若 \(B=P^TAP\)（\(P\) 置换矩阵），称置换相似（permutation similar）。

• 观察 1.3.2：相似是 \(M_n\) 上的等价关系，把 \(M_n\) 划分为相似类；同类矩阵共享许多性质，相似不变量的完整描述（Jordan 标准形）在第 3 章。

• 定理 1.3.3：相似矩阵特征多项式相同。证明：\(p_B(t)=\det(tS^{-1}S-S^{-1}AS)=\det(S^{-1}(tI-A)S)=\det S^{-1}\det(tI-A)\det S=p_A(t)\)。

• 推论 1.3.4：\(A\sim B\) 则 (a) 特征值相同；(b) 若 \(B\) 对角，其对角元为 \(A\) 的特征值；(c) \(B=0\iff A=0\)；(d) \(B=I\iff A=I\)（零阵与单位阵的相似类只有自己）。

• 例 1.3.5：特征值相同是相似的必要非充分条件：\(\begin{bmatrix}0&1\\0&0\end{bmatrix}\) 与 \(\begin{bmatrix}0&0\\0&0\end{bmatrix}\) 特征值相同但不相似（零阵只与自己相似）。

• 练习：\(A\sim B\Rightarrow q(A)\sim q(B)\)，\(A+\alpha I\sim B+\alpha I\)；若 \(A\sim B\)、\(C\sim D\) 经同一 \(S\)，则 \(A+C\sim B+D\)，\(AC\sim BD\)；\(S_k(S^{-1}AS)=S_k(A)\) 从而 \(E_k(S^{-1}AS)=E_k(A)\)——所有主子式和都是相似不变量，不止迹与行列式；秩是相似不变量（0.4.6）。

• 定义 1.3.6：与对角矩阵相似的矩阵称为可对角化（diagonalizable）。

• 定理 1.3.7：\(A\) 相似于形如

  \[\begin{bmatrix}\Lambda&C\\0&D\end{bmatrix},\quad\Lambda=\operatorname{diag}(\lambda_1,\dots,\lambda_k),\ D\in M_{n-k},\ 1\le k<n\tag{1.3.7.1}\]
  的分块矩阵 ⇔ \(\mathbf C^n\) 中存在 \(k\) 个线性无关的 \(A\) 的特征向量。\(A\) 可对角化 ⇔ 有 \(n\) 个线性无关的特征向量；此时 \(S=[x^{(1)}\cdots x^{(n)}]\) 使 \(S^{-1}AS\) 为对角阵。\(\Lambda\) 的对角元是 \(A\) 的特征值；若 \(A\sim\Lambda\)（对角），则 \(\Lambda\) 的对角元是 \(A\) 的全部特征值。 证明：令 \(S_1=[x^{(1)}\cdots x^{(k)}]\)，扩充成非奇异 \(S=[S_1\ S_2]\)。\(S^{-1}AS=S^{-1}[\lambda_1x^{(1)}\cdots\lambda_kx^{(k)}\ AS_2]=[\lambda_1e_1\cdots\lambda_ke_k\ S^{-1}AS_2]\)，即 (1.3.7.1) 形，\(\begin{bmatrix}C\\D\end{bmatrix}=S^{-1}AS_2\)。反之，\(AS=S\begin{bmatrix}\Lambda&C\\0&D\end{bmatrix}\) 给出 \(AS_1=S_1\Lambda\)，\(S_1\) 的列是无关特征向量。\(k=n\) 同理；特征值结论由 \(p_A=p_\Lambda p_D\) 得出。
  • 该证明原则上是对角化算法（求全部特征值、\(n\) 个无关特征向量、组成 \(S\)），但除小例外并不是实用的数值方法。
  • 练习：\(\begin{bmatrix}0&1\\0&0\end{bmatrix}\) 不可对角化（若可对角化将相似于零阵；或：特征值 0 只有一个无关特征向量）。\(A\) 可对角化 ⇒ \(q(A)\) 可对角化，反之不然。若 \(\lambda\) 重数为 \(m\) 且 \(\operatorname{rank}(A-\lambda I)>n-m\)，则 \(A\) 不可对角化。若有 \(k\) 个对应 \(\lambda\) 的无关特征向量，则 \(\lambda\) 的代数重数 ≥ \(k\)。

• 引理 1.3.8：对应互异特征值 \(\lambda_1,\dots,\lambda_k\) 的特征向量 \(x^{(1)},\dots,x^{(k)}\) 线性无关。证明：设 \(\sum\alpha_ix^{(i)}=0\)。令 \(B_1=(A-\lambda_2I)\cdots(A-\lambda_kI)\)（缺 \(A-\lambda_1I\)），则 \(B_1x^{(i)}=(\lambda_i-\lambda_2)\cdots(\lambda_i-\lambda_k)x^{(i)}\)，\(i\ge2\) 时为 0，\(i=1\) 时非零。作用于线性组合得 \(\alpha_1B_1x^{(1)}=0\)，故 \(\alpha_1=0\)；对每个 \(j\) 类似构造 \(B_j\) 得 \(\alpha_j=0\)。

• 定理 1.3.9：\(A\) 有 \(n\) 个互异特征值 ⇒ \(A\) 可对角化（由 1.3.8 与 1.3.7）。这是充分非必要条件（如 \(I\)）。

• 练习：举出特征值不互异但可对角化的例子（\(I\)）。置换相似 \(PAP^{-1}\) 重排 \(A\) 的对角元；对角阵 \(D\) 可经置换相似把对角元排成任意顺序，特别地可让重复对角元相邻。

• 引理 1.3.10：\(B=B_1\oplus\cdots\oplus B_d\) 可对角化 ⇔ 每个 \(B_i\) 可对角化。证明："⇐"取 \(S=S_1\oplus\cdots\oplus S_d\)。"⇒"对 \(d\) 归纳：\(C=B_1\oplus\cdots\oplus B_{d-1}\)（\(n\) 阶），\(B_d\)（\(m\) 阶），\(S^{-1}(C\oplus B_d)S=\Lambda\)，写 \(S\) 的列 \(s_i=\begin{bmatrix}\xi_i\\\eta_i\end{bmatrix}\)，则 \(C\xi_i=\lambda_i\xi_i\)、\(B_d\eta_i=\lambda_i\eta_i\)；\([\xi_1\cdots\xi_{n+m}]\) 是非奇异 \(S\) 的前 \(n\) 行，行秩为 \(n\)，故列中含 \(n\) 个无关的 \(C\) 的特征向量（非零者），由 1.3.7 知 \(C\) 可对角化，再用归纳假设；\(\eta_i\) 同理，\(B_d\) 可对角化。

• 定义 1.3.11 同时可对角化（simultaneously diagonalizable）：存在同一个非奇异 \(S\) 使 \(S^{-1}AS\)、\(S^{-1}BS\) 都是对角阵。练习：\(A\) 与 \(B\) 交换 ⇔ \(S^{-1}AS\) 与 \(S^{-1}BS\) 交换；同时可对角化 ⇒ 交换；可对角化的 \(A\) 与 \(\lambda I\) 同时可对角化。

• 定理 1.3.12：\(A,B\) 均可对角化，则 \(A,B\) 交换 ⇔ 同时可对角化。证明："⇒"先用对角化 \(A\) 的相似并把相同特征值归在一起：\(A=\mu_1I_{n_1}\oplus\cdots\oplus\mu_dI_{n_d}\)（\(\mu_i\) 互异）(1.3.13)。由 0.7.7，\(AB=BA\) 推出 \(B=B_1\oplus\cdots\oplus B_d\) 与 \(A\) 共形分块对角 (1.3.14)。由引理 1.3.10 每个 \(B_i\) 可对角化，取 \(T_i^{-1}B_iT_i\) 为对角，\(T=T_1\oplus\cdots\oplus T_d\) (1.3.15)，则 \(T^{-1}AT=A\)（因 \(T_i^{-1}\mu_iI T_i=\mu_iI\)），\(T^{-1}BT\) 对角。

• 定义 1.3.16：族（family）\(\mathcal F\subseteq M_n\) 为非空（有限或无限）矩阵集合；交换族（commuting family）中任意两矩阵交换。子空间 \(W\) 为 \(A\)-不变（\(A\)-invariant）若 \(AW\subseteq W\)；\(\{0\}\) 与 \(\mathbf C^n\) 为平凡子空间。\(W\) 为 \(\mathcal F\)-不变若对每个 \(A\in\mathcal F\) 均 \(A\)-不变。\(\mathcal F\) 可约（reducible）若存在非平凡 \(\mathcal F\)-不变子空间，否则不可约（irreducible）。

  • 练习：一维 \(A\)-不变子空间的非零元素都是特征向量。若 \(S=[S_1\ S_2]\) 非奇异，则 \(S^{-1}S_1=\begin{bmatrix}I_k\\0\end{bmatrix}\)，\(S^{-1}S_2=\begin{bmatrix}0\\I_{n-k}\end{bmatrix}\)。

• 不变子空间 ⇔ 分块三角：设 \(W\) 为 \(k\) 维 \(A\)-不变子空间，取其基组成 \(S_1\)，扩充为基 \(S=[S_1\ S_2]\)。不变性给出 \(AS_1=S_1B\)（\(B\in M_k\)），于是

  \[S^{-1}AS=[S^{-1}S_1B\ \ S^{-1}AS_2]=\begin{bmatrix}B&C\\0&D\end{bmatrix},\quad B\in M_k,\ 1\le k\le n-1\tag{1.3.17}\]
  又 \(B\) 有特征对 \((\lambda,\xi)\)，则 \(0\ne S_1\xi\in W\) 且 \(A(S_1\xi)=S_1B\xi=\lambda S_1\xi\)——任一非零不变子空间中含有特征向量。反之若 \(S^{-1}AS\) 为 (1.3.17) 形，则 \(AS_1=S_1B\)，\(S_1\) 列空间 \(A\)-不变。

• 观察 1.3.18：\(n\ge2\)。\(A\) 相似于 (1.3.17) 型分块三角 ⇔ 存在非平凡 \(A\)-不变子空间；非零 \(A\)-不变子空间必含 \(A\) 的特征向量；族 \(\mathcal F\) 可约 ⇔ 存在 \(k\in\{2,\dots,n-1\}\)（原书如此；实际 \(1\le k\le n-1\)）与非奇异 \(S\) 使每个 \(S^{-1}AS\)（\(A\in\mathcal F\)）均为 (1.3.17) 型。

• 引理 1.3.19（交换族有公共特征向量）：交换族 \(\mathcal F\) 中存在一个非零向量是每个 \(A\in\mathcal F\) 的特征向量。这是后续许多结果的核心。 证明：\(\mathbf C^n\) 是非零 \(\mathcal F\)-不变子空间；取维数最小的非零 \(\mathcal F\)-不变子空间 \(W\)，\(\dim W=m\)。任取 \(A\in\mathcal F\)，\(W\) 为 \(A\)-不变，由 1.3.18 有 \(x_0\in W\) 与 \(\lambda\) 使 \(Ax_0=\lambda x_0\)。令 \(W_{A,\lambda}=\{x\in W:Ax=\lambda x\}\ne\{0\}\)。对 \(B\in\mathcal F\)、\(x\in W_{A,\lambda}\)：\(Bx\in W\) 且 \(A(Bx)=B(Ax)=\lambda Bx\)，故 \(Bx\in W_{A,\lambda}\)，即 \(W_{A,\lambda}\) 是非零 \(\mathcal F\)-不变子空间，由最小性 \(W_{A,\lambda}=W\)。于是每个 \(A\) 在 \(W\) 上作用为数乘 \(\lambda_A\)，\(W\) 中每个非零向量都是公共特征向量。∎ 练习：实际上 \(m=\dim W=1\)；交换族可经同一 \(S\) 同时化为 (1.3.17) 型且 \(k=1\)（这是同时三角化 2.3.3 的出发点）。

• 定义 1.3.20：族 \(\mathcal F\) 同时可对角化：存在单个非奇异 \(S\) 使所有 \(S^{-1}AS\) 为对角阵。

• 定理 1.3.21：\(\mathcal F\) 为可对角化矩阵族，则 \(\mathcal F\) 是交换族 ⇔ \(\mathcal F\) 同时可对角化。且对任意 \(A_0\in\mathcal F\) 及其特征值的任意排序 \(\lambda_1,\dots,\lambda_n\)，存在 \(S\) 使 \(S^{-1}A_0S=\operatorname{diag}(\lambda_1,\dots,\lambda_n)\) 且所有 \(S^{-1}BS\) 对角。 证明（对 \(n\) 归纳）：若全为标量阵则平凡；否则取非标量阵 \(A\)（特征值 \(\lambda_1,\dots,\lambda_k\) 互异，\(k\ge2\)），如 1.3.12 化为 (1.3.13) 形，族中每个 \(B\) 为共形分块对角 \(B_1\oplus\cdots\oplus B_k\)，每块阶 ≤ \(n-1\)；对任意 \(B,\hat B\in\mathcal F\)，\(B_i\) 与 \(\hat B_i\) 交换且可对角化，由归纳假设存在 \(T_i\) 同时对角化第 \(i\) 块的所有矩阵，\(T=\bigoplus T_i\) 对角化全族。最后用置换矩阵 \(P\)：\(T^{-1}A_0T=P\operatorname{diag}(\lambda_1..\lambda_n)P^T\)，取 \(TP\) 即可调整顺序（0.9.5）。

• 注：第 3 章再处理：(1) 如何判断 \(A,B\) 相似？(2) 不求特征向量如何判断可对角化？

• 练习：\(\begin{bmatrix}I_m&X\\0&I_n\end{bmatrix}^{-1}=\begin{bmatrix}I_m&-X\\0&I_n\end{bmatrix}\)。

• 定理 1.3.22（\(AB\) 与 \(BA\)）：\(A\in M_{m,n}\)，\(B\in M_{n,m}\)，\(m\le n\)，则 \(BA\) 的 \(n\) 个特征值 = \(AB\) 的 \(m\) 个特征值加上 \(n-m\) 个 0，即 \(p_{BA}(t)=t^{n-m}p_{AB}(t)\)。若 \(m=n\) 且 \(A\) 或 \(B\) 非奇异，则 \(AB\sim BA\)。 证明：\(\begin{bmatrix}I_m&-A\\0&I_n\end{bmatrix}\begin{bmatrix}AB&0\\B&0_n\end{bmatrix}\begin{bmatrix}I_m&A\\0&I_n\end{bmatrix}=\begin{bmatrix}0_m&0\\B&BA\end{bmatrix}\)，故 \(C_1=\begin{bmatrix}AB&0\\B&0_n\end{bmatrix}\sim C_2=\begin{bmatrix}0_m&0\\B&BA\end{bmatrix}\)；\(C_1\) 特征值 = \(AB\) 的加 \(n\) 个 0，\(C_2\) 的 = \(BA\) 的加 \(m\) 个 0。\(A\) 非奇异时 \(AB=A(BA)A^{-1}\)。（更完整的 \(AB\) 与 \(BA\) Jordan 结构关系见 3.2.11。）

• 例 1.3.23（低秩矩阵的特征值）：\(A=XY^T\)，\(X,Y\in M_{n,r}\)，\(r<n\)，则 \(A\) 的特征值 = \(r\times r\) 矩阵 \(Y^TX\) 的特征值加 \(n-r\) 个 0。例：\(J_n=ee^T\) 的特征值为 \(e^Te=n\) 与 \(n-1\) 个 0；\(xy^T\) 的特征值为 \(y^Tx\) 与 \(n-1\) 个 0；\(xy^T+zw^T=[x\ z][y\ w]^T\) 的特征值为 \(\begin{bmatrix}y^Tx&y^Tz\\w^Tx&w^Tz\end{bmatrix}\) 的两个特征值（用 1.2.4b）与 \(n-2\) 个 0。（量化：\(N\) 只股票、\(T<N\) 期的样本协方差 \(\frac1T X^TX\) 与 \(\frac1TXX^T\) 非零特征值相同——高维 PCA 的"对偶技巧"；\(K\) 因子模型的 \(BFB^T\) 的非零特征值等于 \(FB^TB\) 的特征值。）

• 例 1.3.24（Cauchy 行列式恒等式）：\(A\) 非奇异， \(\det(A+xy^T)=\det A\det(I+A^{-1}xy^T)=\det A\prod_i(1+\lambda_i(A^{-1}xy^T))=\det A(1+y^TA^{-1}x)=\det A+y^T(\operatorname{adj}A)x\)，再由连续性推广到所有 \(A\)（另法见 0.8.5）。

• 例 1.3.25：实对称 Hankel 矩阵 \(A=[i+j]_{i,j=1}^n=ve^T+ev^T=[v\ e][e\ v]^T\)，\(v=[1,2,\dots,n]^T\)。特征值为 \(B=[e\ v]^T[v\ e]=\begin{bmatrix}e^Tv&e^Te\\v^Tv&v^Te\end{bmatrix}=\begin{bmatrix}\frac{n(n+1)}2&n\\\frac{n(n+1)(2n+1)}6&\frac{n(n+1)}2\end{bmatrix}\) 的两个特征值（一正一负）\(n(n+1)\Big[\tfrac12\pm\sqrt{\tfrac{2n+1}{6(n+1)}}\Big]\)，以及 \(n-2\) 个 0。

• 例 1.3.26：实斜对称 Toeplitz 矩阵 \(A=[i-j]=ve^T-ev^T=[v\ -e][e\ v]^T\)，非零特征值为 \(B=\begin{bmatrix}e^Tv&-e^Te\\v^Tv&-v^Te\end{bmatrix}\) 的特征值 \(\pm\frac{ni}2\sqrt{\frac{n^2-1}3}\)。

• 对角化相似的不唯一性：\(A=S\Lambda S^{-1}\) 则 \(aS\)（\(a\ne0\)）亦然。定理 1.3.27：\(A\) 可对角化，互异特征值 \(\mu_1,\dots,\mu_d\)，重数 \(n_1,\dots,n_d\)，\(A=S\Lambda S^{-1}\)，\(\Lambda\) 为 (1.3.13) 形。则 (a) \(A=T\Lambda T^{-1}\) ⇔ \(T=S(R_1\oplus\cdots\oplus R_d)\)，\(R_i\in M_{n_i}\) 非奇异；(b) 将 \(S,T\) 按 \(\Lambda\) 共形分列 \(S=[S_1\cdots S_d]\)、\(T=[T_1\cdots T_d]\)，则 \(S\Lambda S^{-1}=T\Lambda T^{-1}\) ⇔ 每个 \(S_i\) 与 \(T_i\) 列空间相同（即每个特征空间相同）；(c) 若特征值互异，\(S\Lambda S^{-1}=T\Lambda T^{-1}\) ⇔ \(T=SR\)，\(R\) 为非奇异对角阵 ⇔ 每列 \(s_i\) 是 \(t_i\) 的非零倍数。证明：\(S\Lambda S^{-1}=T\Lambda T^{-1}\iff(S^{-1}T)\Lambda=\Lambda(S^{-1}T)\iff S^{-1}T\) 与 \(\Lambda\) 共形分块对角（0.7.7）；(b) 用"\(X\) 列空间含于 \(Y\) 列空间 ⇔ \(X=YC\)，秩同为 \(k\) 时 \(C\) 非奇异"。（量化：重特征值对应的特征向量只确定到子空间——PCA 中特征值接近时主成分方向不稳定、可任意旋转。）

• 实相似问题：实矩阵经复矩阵相似，是否经实矩阵相似？引理 1.3.28：\(S=C+iD\) 非奇异（\(C,D\) 实），则存在实数 \(\tau\) 使 \(C+\tau D\) 非奇异。证明：\(C\) 非奇异取 \(\tau=0\)；否则 \(p(t)=\det(C+tD)\) 满足 \(p(0)=0\ne\det S=p(i)\)，非零多项式只有有限个零点，故存在实 \(\tau\) 使 \(p(\tau)\ne0\)。

• 定理 1.3.29：实矩阵族 \(\{A_\alpha\}\)、\(\{B_\alpha\}\)，若存在复非奇异 \(S\) 使 \(A_\alpha=SB_\alpha S^{-1}\) 对所有 \(\alpha\) 成立，则存在实非奇异 \(T\) 使 \(A_\alpha=TB_\alpha T^{-1}\)。特别地，两实矩阵在 \(\mathbf C\) 上相似则在 \(\mathbf R\) 上相似。证明：\(A_\alpha(C+iD)=(C+iD)B_\alpha\)，取实部虚部得 \(A_\alpha C=CB_\alpha\)、\(A_\alpha D=DB_\alpha\)，于是 \(A_\alpha(C+\tau D)=(C+\tau D)B_\alpha\)，取 \(T=C+\tau D\)。

• 推论 1.3.30：实可对角化且特征值全实的矩阵族 \(\mathcal F\) 是交换族 ⇔ 存在实非奇异 \(T\) 使所有 \(T^{-1}A_\alpha T\) 对角；还可指定某 \(A_{\alpha_0}\) 的对角元顺序。

• 定理 1.3.31（Mirsky）：\(n\ge2\)，给定复数 \(\lambda_1,\dots,\lambda_n\) 与 \(d_1,\dots,d_n\)，存在 \(A\in M_n\) 以 \(\lambda_i\) 为特征值、\(d_i\) 为对角元 ⇔ \(\sum\lambda_i=\sum d_i\)。若都为实，可取 \(A\) 为实矩阵。即特征值与对角元之间唯一的关系是和相等。 证明：必要性由 \(\operatorname{tr}A=S_1(A)\)。充分性：断言上双对角阵 \(T(\lambda_1,\dots,\lambda_k)\)（对角为 \(\lambda_i\)、超对角为 1）相似于对角为 \(d_1,\dots,d_k\) 的矩阵。令 \(L(s,t)=\begin{bmatrix}1&0\\s-t&1\end{bmatrix}\)，\(L(s,t)^{-1}=\begin{bmatrix}1&0\\t-s&1\end{bmatrix}\)。\(k=2\)：\(L(\lambda_1,d_1)T(\lambda_1,\lambda_2)L(\lambda_1,d_1)^{-1}=\begin{bmatrix}d_1&\star\\\star&\lambda_1+\lambda_2-d_1\end{bmatrix}=\begin{bmatrix}d_1&\star\\\star&d_2\end{bmatrix}\)。归纳：\(T(\lambda_1..\lambda_{k+1})=\begin{bmatrix}T(\lambda_1,\lambda_2)&E_2\\0&T(\lambda_3..\lambda_{k+1})\end{bmatrix}\)，\(E_2=[e_2\ 0\cdots0]\)；以 \(\mathcal L=L(\lambda_1,d_1)\oplus I_{k-1}\) 相似得 \(\begin{bmatrix}d_1&\star\\\star&D\end{bmatrix}\)，\(D=T(\lambda_1+\lambda_2-d_1,\lambda_3,\dots,\lambda_{k+1})\in M_k\)，其特征值和为 \(\sum_{i=2}^{k+1}d_i\)，由归纳假设存在 \(S\) 使 \(SDS^{-1}\) 对角为 \(d_2,\dots,d_{k+1}\)，再用 \(1\oplus S\) 相似。实数据时全过程为实。

习题 1.3（概要，PDF p.89–95）：

• P1 可交换可对角化 \(A,B\)：\(A+B\) 的特征值为 \(\lambda_i+\mu_{i_j}\)（某种配对）；\(B\) 幂零时 \(A\) 与 \(A+B\) 特征值相同；\(AB\) 特征值为 \(\lambda_i\mu_{i_j}\)。P2 交换矩阵的多项式互相交换。P3 \(A=S^{-1}\Lambda S\) 时 \(p(A)=S^{-1}p(\Lambda)S\)、\(p(\Lambda)=\operatorname{diag}(p(\lambda_i))\)（量化：矩阵函数，如 \(\Sigma^{1/2}\)、\(\Sigma^{-1/2}\) 白化）。P4 \(A\) 特征值互异且与 \(B\) 交换 ⇒ \(B\) 可对角化且 \(B=p(A)\)，\(\deg p\le n-1\)。P5 交换但不可同时对角化的例子（不与 1.3.12 矛盾：需两者都可对角化）。P6 \(p_\Lambda(\Lambda)=0\)；可对角化 \(A\) 满足 \(p_A(A)=Sp_\Lambda(\Lambda)S^{-1}=0\)（Cayley–Hamilton 的可对角化特例）。P7 可对角化矩阵有平方根；\(\begin{bmatrix}0&1\\0&0\end{bmatrix}\) 无平方根。P8 若 \(B\) 特征值互异，\(AB=BA\) ⇔ 同时可对角化（\(Bx=\lambda x\Rightarrow B(Ax)=\lambda Ax\Rightarrow Ax=\mu x\)，用 1.2.18）。P9 \(A=\begin{bmatrix}1&0\\0&0\end{bmatrix}\)、\(B=\begin{bmatrix}0&0\\1&0\end{bmatrix}\)：\(AB\) 与 \(BA\) 特征值同但不相似。P10 不同特征值对应的各组无关特征向量合起来仍无关。P11 1.3.19 的另证：Krylov 序列 \(x,Bx,B^2x,\dots\) 张成 \(B\)-不变子空间，其中 \(B\) 的特征向量也是 \(A\) 的特征向量；有限族归纳；无限族取至多 \(n^2\) 个线性无关的极大组。P12 \(A\) 或 \(B\) 非奇异时 \(AB\) 可对角化 ⇒ \(BA\) 可对角化；两者都奇异时反例 \(A=\begin{bmatrix}0&1\\0&0\end{bmatrix}\)、\(B=\begin{bmatrix}1&1\\0&0\end{bmatrix}\)。P13 两个可对角化矩阵相似 ⇔ 特征多项式相同（一般矩阵不成立）。P14 可对角化 \(A\)：秩 = 非零特征值个数；\(\operatorname{rank}A=\operatorname{rank}A^k\)；幂零 ⇔ \(A=0\)；\(\operatorname{tr}A=0\Rightarrow\operatorname{rank}A\ne1\)；据此四法证 \(\begin{bmatrix}0&1\\0&0\end{bmatrix}\) 不可对角化。P15 \(A\) 可对角化 ⇒ \(p(A)\) 可对角化，反之不然。P16 \(A\sim B\oplus0_{n-r}\)（\(B\) 非奇异）⇒ \(A\) 秩主；反之不然。P17 \(A=TBT^{-1}\)（\(T\) 实）⇔ 存在 \(S\) 同时满足 \(A=SBS^{-1}\)、\(\bar A=S\bar BS^{-1}\)。P18 共轭对合矩阵在 \(\mathbf C\) 上相似 ⇔ 在 \(\mathbf R\) 上相似。

• P19 2×2 分块中心对称：\(\mathcal A=\begin{bmatrix}B&C\\C&B\end{bmatrix}\)，\(Q=\frac1{\sqrt2}\begin{bmatrix}I&I\\I&-I\end{bmatrix}=Q^{-1}=Q^T\)，\(\mathcal K_{2n}=\begin{bmatrix}0&I\\I&0\end{bmatrix}\)；(a) 分块中心对称 ⇔ \(\mathcal K_{2n}A=A\mathcal K_{2n}\)，逆与积保持；(b) \(Q^{-1}\mathcal AQ=(B+C)\oplus(B-C)\)；(c) \(\det\mathcal A=\det(B^2+CB-BC-C^2)\)，\(\operatorname{rank}\mathcal A=\operatorname{rank}(B+C)+\operatorname{rank}(B-C)\)；(d) \(\begin{bmatrix}0&C\\C&0\end{bmatrix}\sim C\oplus(-C)\)，特征值成 \(\pm\) 对。

• P20 复矩阵的实表示 \(R_1\)：\(A=A_1+iA_2\)，\(R_1(A)=\begin{bmatrix}A_1&A_2\\-A_2&A_1\end{bmatrix}\in M_{2n}(\mathbf R)\)。(a) 保持加法、乘法与单位；(b) 保持逆且逆同结构；(c)(d) 保持相似；(e)(f) \(S=\begin{bmatrix}I&iI\\0&I\end{bmatrix}\)、\(U=\frac1{\sqrt2}\begin{bmatrix}I&iI\\iI&I\end{bmatrix}\)，\(S^{-1}R_1(A)S=\begin{bmatrix}A&0\\-A_2&\bar A\end{bmatrix}\)，\(U^{-1}R_1(A)U=A\oplus\bar A\)；(g) 特征值为 \(\lambda_i\) 与 \(\bar\lambda_i\)；(h) \(\det R_1(A)=|\det A|^2\ge0\)，\(\operatorname{rank}R_1(A)=2\operatorname{rank}A\)；(i) \(R_1(A)\) 非奇异 ⇒ \(A\) 非奇异；(j) \(iI\) 与 \(-iI\) 不相似，但 \(R_1(iI)\sim R_1(-iI)\)，(d) 不可逆；(k) \(p_{R_1(A)}=p_Ap_{\bar A}\)；(l) \(R_1(A^*)=R_1(A)^T\)：\(A\) Hermitian ⇔ \(R_1(A)\) 实对称，\(A\) 酉 ⇔ \(R_1(A)\) 实正交；(m) \(A\) 正规 ⇔ \(R_1(A)\) 正规；(n) 具 \(R_1\) 结构的实矩阵称复型（complex type），⇔ \(S_{2n}A=AS_{2n}\)，\(S_{2n}=\begin{bmatrix}0&I\\-I&0\end{bmatrix}\)。推广到四元数型见 4.4.P29。（实务：把复 Hermitian 特征问题转成实对称问题求解。）

• P21 第二种实表示 \(R_2(A)=\begin{bmatrix}A_1&A_2\\A_2&-A_1\end{bmatrix}\)，\(V=\frac1{\sqrt2}\begin{bmatrix}-iI&-iI\\I&-I\end{bmatrix}\)：\(R_2(A)=V\begin{bmatrix}0&\bar A\\A&0\end{bmatrix}V^{-1}\)；\(\det R_2(A)=(-1)^n|\det A|^2\)；\(p_{R_2(A)}(t)=p_{A\bar A}(t^2)\)，故若 \(\mu_i\) 为 \(A\bar A\) 的特征值，则 \(\pm\sqrt{\mu_i}\) 为 \(R_2(A)\) 的特征值，\(A\bar A\) 的非实特征值成共轭对；\(R_2(AB)=R_2(A)R_2(I)R_2(B)\)；\(R_2(\bar A)\sim R_2(A)\)；\(R_2(-A)\sim R_2(A)\)；\(R_2(A)R_2(B)=V(\bar AB\oplus A\bar B)V^{-1}\)；\(R_2(A)^{-1}=R_2(\bar A^{-1})\)；\(R_2(A)^2=R_1(\bar AA)\)；\(R_2(SA\bar S^{-1})\sim R_2(A)\)（共轭相似，逆命题见 4.6.P19）；\(R_2(A^T)=R_2(A)^T\)：\(A\) 复对称 ⇔ \(R_2(A)\) 实对称；\(A\) 酉 ⇔ \(R_2(A)\) 实正交。

• P22 \(A\sim B\) ⇔ 存在 \(X,Y\)（至少一个非奇异）使 \(A=XY\)、\(B=YX\)。P23 \(\mathcal A=\begin{bmatrix}B&C\\0&0_m\end{bmatrix}\sim B\oplus0_m\) ⇔ \(\operatorname{rank}[B\ C]=\operatorname{rank}B\) ⇔ \(C=BX\)。P24 \(A=[\cos(j\theta+k\theta)]\)，\(\theta=2\pi/n\)，\(n\ge3\)：\(A=[x\ y][x\ y]^T\)（\(x=[\alpha^j]\)，\(y=[\alpha^{-j}]\)，\(\alpha=e^{2\pi i/n}\)），特征值为 \(\pm n/2\) 与 \(n-2\) 个 0。P25 \((I+xy^*)^{-1}=I-cxy^*\)，\(c=(1+y^*x)^{-1}\)；\(y^*x=0\) 时 \(A=(I+xy^*)\Lambda(I-xy^*)\) 与 \(\Lambda\) 相似，可构造特征值为 1,2,7 的 3×3 整数矩阵。P26 交换置换矩阵 \(P=[\varepsilon_je_i^T]\)（vec 置换 / perfect shuffle），\(PAP^T\) 重排元素（续见下页）。

• P26（续）：把 \(A\in M_{mn}\) 写成 \(m\times m\) 块 \(A_{k\ell}=[a_{ij}^{(k,\ell)}]\in M_n\)，\(\tilde A=PAP^T\) 写成 \(n\times n\) 块 \(\tilde A_{pq}\in M_m\)，则 \(\tilde A_{pq}=[a_{pq}^{(i,j)}]\)（第 \((i,j)\) 元取自 \(A_{ij}\) 的 \((p,q)\) 元）。二者置换相似，故特征值、行列式相同。结构对应：所有块 \(A_{ij}\) 上三角 ⇔ \(\tilde A\) 分块上三角；所有块上 Hessenberg ⇔ \(\tilde A\) 分块上 Hessenberg；所有块对角 ⇔ \(\tilde A\) 分块对角；\(A\) 分块上三角且各块上三角 ⇔ \(\tilde A\) 分块对角且对角块上三角。

• P27 若每个块 \(A_{k\ell}\) 上三角，则 \(A\) 的特征值 = \(\tilde A_{11}\oplus\cdots\oplus\tilde A_{nn}\) 的特征值，\(\tilde A_{pp}=[a_{pp}^{(i,j)}]\)——只依赖各块的对角元；\(\det A=\prod\det\tilde A_{pp}\)；讨论各块对角元为常数 \(\alpha_{k\ell}\) 的情形。P28 \(\det(I_m+AB)=\det(I_n+BA)\)（Sylvester 行列式定理）。P29 对角为 0、非对角为 \(\pm1\) 的矩阵：用 Cauchy 恒等式说明把一个 \(-1\) 改为 \(+1\) 不改变 \(\det A\) 的奇偶性，故与 \(\det(J_n-I)\)（奇偶与 \(n\) 相反）同奇偶，\(n\) 为偶数时 \(A\) 必非奇异。P30 矩阵函数：\(A=S\Lambda S^{-1}\)（\(\Lambda\) 为 1.3.13 形），定义 \(f(A)=Sf(\Lambda)S^{-1}\)，\(f(\Lambda)=f(\mu_1)I_{n_1}\oplus\cdots\)；由 1.3.27 证明与对角化相似的选择无关；特征值为实时 \(\cos^2A+\sin^2A=I\)。P31 \(\begin{bmatrix}a&b\\-b&a\end{bmatrix}\) 的特征值为 \(a\pm ib\)。P32 \(x=u+iv\)，\(x,\bar x\) 线性无关 ⇔ \(u,v\) 线性无关。P33 实矩阵的非实特征值：\(\lambda=a+ib\)（\(b>0\)），\(x=u+iv\)，则 \(\bar\lambda,\bar x\) 也是特征对，\(u,v\) 线性无关，\(A[u\ v]=[u\ v]B\)，\(B=\begin{bmatrix}a&b\\-b&a\end{bmatrix}\)；以 \(S=[u\ v\ S_1]\) 实相似得 \(S^{-1}AS=\begin{bmatrix}B&\star\\0&A_1\end{bmatrix}\)；\(\lambda,\bar\lambda\) 在 \(A_1\) 中的重数各少 1（实 Schur 形 2.3.4 的基础）。P34 \(A\sim B\Rightarrow\operatorname{adj}A\sim\operatorname{adj}B\)。

• P35 Burnside 矩阵代数定理：代数（algebra）\(\mathcal A\subseteq M_n\) 指对乘法封闭的子空间。\(n\ge2\) 时 \(\mathcal A=M_n\) ⇔ \(\mathcal A\) 不可约。步骤：(a) 可约 ⇒ \(\ne M_n\)（易）；(b) 不可约 ⇒ \(\mathcal A\ne\{0\}\)；(c) \(\mathcal Ax\) 是 \(\mathcal A\)-不变子空间；(d) 不可约且 \(x\ne0\) ⇒ \(\mathcal Ax=\mathbf C^n\)；(e)(f) \(\mathcal A^*x\) 是子空间且同样等于 \(\mathbf C^n\)；(g) 存在秩 1 的 \(A\in\mathcal A\)；(h) 若某 \(yz^*\in\mathcal A\)，则 \(\mathcal A\) 含所有秩一矩阵；(i) 含所有秩一矩阵 ⇒ \(\mathcal A=M_n\)（0.4.4(i)）。P36 \(A,B\) 生成的代数 \(\mathcal A(A,B)\)（所有"字" words 的张成，2.2.5）：若无公共特征向量则 \(\mathcal A(A,B)=M_n\)；例 \(A=\begin{bmatrix}0&1\\0&0\end{bmatrix}\)、\(B=A^T\)。P37 中心对称矩阵的约化：\(n=2m\)，(0.9.10.2) 形 \(A\) 经实正交 \(Q=\frac1{\sqrt2}\begin{bmatrix}I_m&I_m\\-K_m&K_m\end{bmatrix}\) 相似于 \((B-K_mC)\oplus(B+K_mC)\)；\(n=2m+1\) 时相似于 \((B-K_mC)\oplus\begin{bmatrix}\alpha&\sqrt2x^T\\\sqrt2K_my&B+K_mC\end{bmatrix}\)，\(Q=\frac1{\sqrt2}\begin{bmatrix}I_m&0&I_m\\0&\sqrt2&0\\-K_m&0&K_m\end{bmatrix}\)。P38 等相关矩阵 \(B(t)=(1-t)I_n+tJ_n\)：特征值 \(1+(n-1)t\)（一重）与 \(1-t\)（\(n-1\) 重）；\(1\ne t\ne-(n-1)^{-1}\) 时 \(B(t)^{-1}=(1-t)^{-1}(I_n-t(1+(n-1)t)^{-1}J_n)\)（量化：常相关系数模型的协方差逆、正定性条件 \(-1/(n-1)<t<1\)）。P39 迹为 0 的可对角化矩阵秩不为 1；\(\begin{bmatrix}0&1\\0&0\end{bmatrix}\) 秩 1 迹 0 故不可对角化。P40 Jordan 积 \(]A,B[=AB+BA\)；反交换（anticommute）\(]A,B[=0\)。(a) 含无限多矩阵的交换族例；(b) 两两反交换且 \(A_i^2\ne0\) 的族：\(I\notin\mathcal F\)，任意有限子集线性无关，故至多 \(n^2-1\) 个；(c) 两两反交换的可对角化矩阵族有限，且 \(\{A_i^2\}\) 是可对角化交换族。P41 对角等价与互异特征值：(a) 若 \(D_1AD_2\) 特征值互异，则存在 \(D\) 使 \(DA\) 特征值互异；(b) 严格三角阵（\(n\ge2\)）的对角等价矩阵都无互异特征值；(c) \(n=2\)：若 \(A_z=\operatorname{diag}(1,z)A\) 对所有 \(z\ne0\) 都有重特征值，判别式 \(d^2z^2+(2ad-4(ad-bc))z+a^2\equiv0\) 推出 \(d=a=bc=0\)，\(A\) 严格三角；(d) \(n=2\) 时 \(A\) 不与任何特征值互异的矩阵对角等价 ⇔ \(A\) 奇异且所有 \(n-1\) 阶主子式为零；(e) 该结论对所有 \(n\ge2\) 成立（Choi–Huang–Li–Sze 2012：每个可逆矩阵都与某个特征值互异的矩阵对角等价）。

• 注记：定理 1.3.31 属 L. Mirsky (1958)，证明改编自 Carlen–Lieb (2009)。互补结果（Friedland 1975）：任意给定 \(n\) 个 \(\lambda_i\) 与非对角元 \(a_{ij}\)，存在对角元使 \(A\) 以 \(\lambda_i\) 为特征值。Burnside 定理证明改编自 Halperin–Rosenthal (1980)。

1.4 左、右特征向量与几何重数（Left and right eigenvectors and geometric multiplicity）（PDF p.95–102）

特征向量不仅用于对角化，也在许多应用中有用。

• 观察 1.4.1：(a) \(A\) 与 \(A^T\) 特征值相同（\(p_{A^T}(t)=\det(tI-A)^T=p_A(t)\)）；(b) \(A^*\) 的特征值是 \(A\) 的特征值的共轭（\(p_{A^*}(\bar t)=\overline{p_A(t)}\)）。

• 练习：对应同一 \(\lambda\) 的特征向量的非零线性组合仍是特征向量；这些向量加零向量构成子空间 = \(\operatorname{nullspace}(A-\lambda I)\)，维数 \(n-\operatorname{rank}(A-\lambda I)\)。

• 定义 1.4.2 特征空间（eigenspace）：\(\{x:Ax=\lambda x\}\)。练习：特征空间是 \(A\)-不变子空间，但 \(A\)-不变子空间不一定是特征空间；极小 \(A\)-不变子空间（不含更低维的非零不变子空间）是单个特征向量的张成，维数为 1。

• 定义 1.4.3：\(\lambda\) 的几何重数（geometric multiplicity）= 其特征空间的维数 \(=n-\operatorname{rank}(A-\lambda I)\) = 对应 \(\lambda\) 的线性无关特征向量的最大个数；代数重数 = 作为 \(p_A\) 零点的重数；不加限定的"重数"指代数重数。单（simple）特征值：代数重数为 1；半单（semisimple）：代数重数 = 几何重数。定理 1.2.18 与 1.3.7 从两种角度给出 几何重数 ≤ 代数重数；代数重数为 1 则几何重数为 1。

  • 例：\(A_1=\begin{bmatrix}1&0\\0&2\end{bmatrix}\)：\(\lambda=1\) 几何 = 代数 = 1，单；\(A_2=I_2\)：几何 = 代数 = 2，半单；\(A_3=\begin{bmatrix}1&1\\0&1\end{bmatrix}\)：几何 1，代数 2。

• 定义 1.4.4：亏损（defective）：某特征值几何重数 < 代数重数；非亏损（nondefective）：每个特征值几何重数 = 代数重数；非减次（nonderogatory）：每个特征值几何重数为 1，否则为减次（derogatory）。可对角化 ⇔ 非亏损；特征值互异 ⇔ 非减次且非亏损。上例中 \(A_1\) 非亏损，\(A_2\) 非亏损而减次，\(A_3\) 亏损而非减次。

• 例 1.4.5：\(A\) 与 \(A^T\) 特征值相同但特征空间可不同：\(A=\begin{bmatrix}2&3\\0&4\end{bmatrix}\) 对应 2 的特征空间由 \([1,0]^T\) 张成，\(A^T\) 的由 \([1,-3/2]^T\) 张成。

• 定义 1.4.6 左特征向量（left eigenvector）：非零 \(y\) 满足 \(y^*A=\lambda y^*\)。(1.1.3) 中的 \(x\) 称右特征向量（right eigenvector）。

• 观察 1.4.6a：\(Ax=\lambda x\)，\(x^*A=\mu x^*\)（同一向量既是左又是右特征向量），则 \(\lambda=\mu\)。证明：设 \(\|x\|=1\)，\(\mu=\mu x^*x=x^*Ax=\lambda x^*x=\lambda\)。

• 练习：\(y\) 是 \(A\) 对应 \(\lambda\) 的左特征向量 ⇔ \(y\) 是 \(A^*\) 对应 \(\bar\lambda\) 的右特征向量；\(\bar y\) 是 \(A^T\) 对应 \(\lambda\) 的右特征向量。若 \(S^{-1}AS=\Lambda\)，\(S=[x_1\cdots x_n]\)，\(S^{-*}=[y_1\cdots y_n]\)，则 \(x_j\) 为右特征向量、\(y_j\) 为左特征向量（对应 \(\lambda_j\)），且 \(y_i^*x_j=\delta_{ij}\)（双正交，biorthogonal）。左特征向量不只是理论上的对偶物——两类特征向量携带不同信息，它们的相互作用很有用（量化：马尔可夫链的平稳分布是转移矩阵的左特征向量）。

• 定理 1.4.7：\(Ax=\lambda x\)，\(y^*A=\mu y^*\)，\(x,y\ne0\)。(a) 双正交原理（principle of biorthogonality）：\(\lambda\ne\mu\Rightarrow y^*x=0\)。(b) 若 \(\lambda=\mu\) 且 \(y^*x\ne0\)，则存在非奇异 \(S=[x\ S_1]\)，\(S^{-*}=[y/(x^*y)\ \ Z_1]\)，使

  \[A=S\begin{bmatrix}\lambda&0\\0&B\end{bmatrix}S^{-1},\quad B\in M_{n-1}\tag{1.4.8}\]
  反之若 \(A\) 相似于 (1.4.8) 形，则对应 \(\lambda\) 存在一对不正交的左右特征向量。 证明：(a) \(y^*Ax=\lambda y^*x=\mu y^*x\)。(b) 规范化使 \(y^*x=1\)；取 \(S_1\) 的列为 \(y^\perp\) 的基（\(y^*S_1=0\)），\(S=[x\ S_1]\)。若 \(Sz=0\)，\(z=[z_1,\zeta^T]^T\)，则 \(0=y^*Sz=z_1\)，再由 \(S_1\) 列满秩得 \(\zeta=0\)，\(S\) 非奇异。写 \(S^{-*}=[\eta\ Z_1]\)，由 \(S^{-1}S=I\) 得 \(\eta^*x=1\)、\(\eta^*S_1=0\)、\(Z_1^*x=0\)、\(Z_1^*S_1=I\)；\(\eta\perp y^\perp\) 推出 \(\eta=\alpha y\)，\(\eta^*x=\bar\alpha=1\)，故 \(\eta=y\)。于是 \(S^{-1}AS=\begin{bmatrix}y^*Ax&y^*AS_1\\Z_1^*Ax&Z_1^*AS_1\end{bmatrix}=\begin{bmatrix}\lambda&\lambda y^*S_1\\\lambda Z_1^*x&Z_1^*AS_1\end{bmatrix}=\begin{bmatrix}\lambda&0\\0&Z_1^*AS_1\end{bmatrix}\)。反向：\(A=S([\lambda]\oplus B)S^{-1}\)，\(x\) 为 \(S\) 第一列、\(y\) 为 \(S^{-*}\) 第一列，\(S^{-1}S=I\) 的 \((1,1)\) 元给出 \(y^*x=1\)，

  \(AS=S([\lambda]\oplus B)\) 的第一列给出 \(Ax=\lambda x\)，\(S^{-1}A=([\lambda]\oplus B)S^{-1}\) 的第一行给出 \(y^*A=\lambda y^*\)。∎

  • 若同一特征值的左右特征向量正交或线性相关，情形在 2.4.11.1 讨论。

• 定理 1.4.9（特征向量在相似下的变换）：\(B=S^{-1}AS\)。若 \(x\) 是 \(B\) 对应 \(\lambda\) 的右特征向量，则 \(Sx\) 是 \(A\) 的右特征向量；若 \(y\) 是 \(B\) 的左特征向量，则 \(S^{-*}y\) 是 \(A\) 的左特征向量。（\(S^{-1}ASx=\lambda x\Rightarrow A(Sx)=\lambda Sx\)；\(y^*S^{-1}AS=\lambda y^*\Rightarrow(S^{-*}y)^*A=\lambda(S^{-*}y)^*\)。）

• 定理 1.4.10（几何重数、主子矩阵与代数重数）：\(k\ge1\)，考虑 (a) \(\lambda\) 的几何重数 ≥ \(k\)；(b) 对每个 \(m=n-k+1,\dots,n\)，\(\lambda\) 是 \(A\) 的每个 \(m\times m\) 主子矩阵的特征值；(c) \(\lambda\) 的代数重数 ≥ \(k\)。则 (a)⇒(b)⇒(c)。特别地 代数重数 ≥ 几何重数。 证明：(a)⇒(b)：\(\operatorname{rank}(A-\lambda I)\le n-k\)，\(m>n-k\) 时所有 \(m\) 阶子式为零，特别地每个 \(m\) 阶主子矩阵 \(A[\alpha]-\lambda I\) 奇异。(b)⇒(c)：\(A-\lambda I\) 的所有 ≥ \(n-k+1\) 阶主子式为零，故 \(E_j(A-\lambda I)=0\)（\(j\ge n-k+1\)），由 (1.2.13)(1.2.11) \(p_{A-\lambda I}^{(i)}(0)=0\)（\(i=0,\dots,k-1\)）；而 \(p_{A-\lambda I}(t)=p_A(t+\lambda)\)，故 \(p_A^{(i)}(\lambda)=0\)，\(\lambda\) 至少 \(k\) 重。

• 几何重数为 1 的特征值可以有 ≥2 的代数重数，但只在其左右特征向量正交时才会发生；代数重数为 1 时几何重数必为 1，且左右特征向量永不正交。

• 引理 1.4.11：\(\lambda\) 的几何重数为 1，\(Ax=\lambda x\)，\(y^*A=\lambda y^*\)（\(x,y\ne0\)），则存在非零 \(\gamma\) 使 \(\operatorname{adj}(\lambda I-A)=\gamma xy^*\)。证明：\(\operatorname{rank}(\lambda I-A)=n-1\)，故 \(\operatorname{adj}(\lambda I-A)=\xi\eta^*\) 秩 1（0.8.2）；\((\lambda I-A)\xi\eta^*=\det(\lambda I-A)I=0\) 推出 \((\lambda I-A)\xi=0\)，\(\xi=\alpha x\)；同理 \(\eta=\beta y\)。

• 定理 1.4.12：\(\lambda\in\sigma(A)\)，\(Ax=\lambda x\)，\(y^*A=\lambda y^*\)。(a) \(\lambda\) 代数重数为 1 ⇒ \(y^*x\ne0\)。(b) 若 \(\lambda\) 几何重数为 1，则代数重数为 1 ⇔ \(y^*x\ne0\)。证明：两种情形几何重数都为 1，由引理 \(\operatorname{adj}(\lambda I-A)=\gamma xy^*\)，于是 \(p_A(\lambda)=0\)，\(p_A'(\lambda)=\operatorname{tr}\operatorname{adj}(\lambda I-A)=\gamma y^*x\)（0.8.10.2）。单根 ⇔ \(p_A'(\lambda)\ne0\) ⇔ \(y^*x\ne0\)。（数值意义：单特征值的条件数 \(\|x\|\|y\|/|y^*x|\)——左右特征向量越接近正交，特征值对扰动越敏感。）

习题 1.4（概要，PDF p.100–102）：

• P1 \(A=xy^*\)，\(\lambda=y^*x\)：\(\lambda\) 是特征值，\(x\) 为右、\(y\) 为左特征向量；\(\lambda\ne0\) 时它是唯一非零特征值（代数重数 1）；\(y^\perp\subseteq\operatorname{nullspace}A\)，0 的几何重数为 \(n-1\)；\(A\) 可对角化 ⇔ \(y^*x\ne0\)。
• P2 斜对称 \(A\)：\(p_A(t)=(-1)^np_A(-t)\)，特征值成 \(\pm\lambda\) 对、重数相同；\(n\) 奇则奇异；奇数阶主子式为零；结合秩主性（0.7.6）推出 \(\operatorname{rank}A\) 为偶数。
• P3 上三角 \(T\)：\(e_n\) 是对应 \(t_{nn}\) 的左特征向量；若 \(t_{ii}\ne t_{nn}\)（\(i<n\)），对应 \(t_{nn}\) 的特征向量末元非零；对每个 \(k\) 存在对应 \(t_{kk}\)、后 \(n-k\) 个元为零的特征向量，若 \(t_{ii}\ne t_{kk}\)（\(i<k\)）则第 \(k\) 元非零。
• P4 主对角为零的三对角阵：\(S=\operatorname{diag}(-1,1,-1,\dots)\) 使 \(S^{-1}AS=-A\)，特征值成 \(\pm\) 对；\(n\) 奇则奇异。
• P5 分块上三角 \(A\)：\(\begin{bmatrix}x\\0\end{bmatrix}\) 是右特征向量（\(x\) 为 \(A_{11}\) 的），\(\begin{bmatrix}0\\y\end{bmatrix}\) 是左特征向量（\(y\) 为 \(A_{22}\) 的左特征向量），据此证 \(\sigma(A)=\sigma(A_{11})\cup\sigma(A_{22})\)。
• P6 若 \(A\) 对应 \(\lambda\) 有逐元正的左、右特征向量，则 (a) 其他特征值不存在非负左/右特征向量（用双正交）；(b) 若 \(\lambda\) 几何重数为 1，则代数重数为 1（预告 Perron–Frobenius，8.2.2、8.4.4）。
• P7 幂法（power method）：\(A\) 特征值互异且恰有一个模最大的 \(\lambda_n\)（\(|\lambda_n|=\rho(A)\)）；若初始 \(x^{(0)}\) 不与 \(\lambda_n\) 的左特征向量正交，则 \(x^{(k+1)}=Ax^{(k)}/(x^{(k)*}x^{(k)})^{1/2}\) 收敛到特征向量（方向意义下），\(Ax^{(k)}\) 与 \(x^{(k)}\) 对应非零元之比收敛到 \(\lambda_n\)。（左特征向量条件正是 1.4.7 双正交原理的用武之地。）
• P8 收缩（deflation）：\(S\) 首列为 \(\lambda_n\) 的特征向量，则 \(S^{-1}AS=\begin{bmatrix}\lambda_n&\star\\0&B\end{bmatrix}\)，\(B\in M_{n-1}\) 的特征值为 \(\lambda_1,\dots,\lambda_{n-1}\)；对 \(B\) 重复幂法。
• P9 另一种收缩：\(A=\begin{bmatrix}B&x\\y^T&\alpha\end{bmatrix}\) 特征值 \(\lambda_1..\lambda_{n-1},0\)，末行是前 \(n-1\) 行的组合：存在 \(z\) 使 \(y^T=z^TB\)、\(\alpha=z^Tx\)，\(\begin{bmatrix}z\\-1\end{bmatrix}\) 是对应 0 的左特征向量；\(B+xz^T\) 的特征值为 \(\lambda_1,\dots,\lambda_{n-1}\)；已知特征值 \(\lambda\) 时对 \(P(A-\lambda I)P^{-1}\) 施用。
• P10 \(T\) 的列为左特征向量 ⇒ \(T^{-*}\) 的列为右特征向量。P11 不可约上 Hessenberg 阵 \(\operatorname{rank}(A-\lambda I)\ge n-1\)，故非减次（QR 算法的理论保证之一）。P12 \(A-\lambda I\) 的每 \(n-1\) 列都线性无关 ⇔ 对应 \(\lambda\) 的特征向量没有零元；此时几何重数为 1。
• P13 几何重数为 1 时 \(\operatorname{adj}(\lambda I-A)=\gamma xy^*\)，\(\gamma\ne0\)：(a) \(\gamma y^*x=\operatorname{tr}\operatorname{adj}(\lambda I-A)=E_{n-1}(\lambda I-A)=S_{n-1}(\lambda I-A)=(\lambda-\lambda_2)\cdots(\lambda-\lambda_n)\)；(b) \(y^*x\ne0\) ⇔ \(\lambda\) 为单特征值；(c) 单特征值时 \(\gamma=(\lambda-\lambda_2)\cdots(\lambda-\lambda_n)/y^*x\)（另法见 2.6.P12）；(d) \(x,y\) 每个元都非零 ⇔ \(\lambda I-A\) 每个主子式非零 ⇔ \(\operatorname{adj}(\lambda I-A)\) 每个对角元非零 ⇔ 其每个元非零。
• P14 \((A-tI)\operatorname{adj}(A-tI)=p_A(t)I\)（原书如此，符号约定下差 \((-1)^n\)）；\(\lambda\) 为特征值时：(a) \(\operatorname{adj}(A-\lambda I)\) 的非零列是特征向量；(b) 非零行是左特征向量的共轭转置；(c) \(\operatorname{adj}(A-\lambda I)\ne0\) ⇔ 几何重数为 1；(d) \(2\times2\) 情形 \(\begin{bmatrix}d-\lambda&-b\\-c&a-\lambda\end{bmatrix}\) 的非零列/行给出右/左特征向量。
• P15 \(\lambda\) 为单特征值，\(y^*z\ne0\)、\(w^*x\ne0\)，则 \(A-\lambda I+\kappa zw^*\) 对所有 \(\kappa\ne0\) 非奇异，可取 \(z=x\)（Brauer 移位的应用）。
• P16 三对角 Toeplitz 矩阵 \(A\)（对角 \(a\)、超对角 \(b\)、次对角 \(c\)，\(bc\ne0\)）(1.4.13) 可对角化，谱 \(\sigma(A)=\{a+2\sqrt{bc}\cos(\frac{\pi\kappa}{n+1}):\kappa=1,\dots,n\}\)（取 \(\operatorname{Re}\sqrt{bc}\ge0\)，\(bc\) 为负实数时 \(\operatorname{Im}\sqrt{bc}>0\)）。P17 \(a=2,b=c=-1\)（二阶差分矩阵）时 \(\sigma(A)=\{4\sin^2(\frac{\pi\kappa}{2(n+1)})\}\)。（量化：有限差分法解 Black–Scholes PDE 时，离散二阶导算子的特征值决定显式格式的稳定性条件。）

第 1 章 本章要点

1. 特征对定义（特征向量非零），谱 \(\sigma(A)\)，谱半径 \(\rho(A)\)；谱映射定理 1.1.6（\(\sigma(p(A))=p(\sigma(A))\)）；每个复方阵都有特征值（1.1.9，Krylov 序列论证）。
2. 特征多项式 \(p_A(t)=\det(tI-A)\) 首一 \(n\) 次；系数 = 带符号的主子式和 \(E_k(A)\) = 特征值初等对称函数 \(S_k(A)\)（1.2.16）；迹 = 特征值和，行列式 = 特征值积。
3. 秩一扰动：\(I+xy^*\) 的特征值；Brauer 定理（\(A+xy^*\) 只移动一个特征值 \(\lambda\to\lambda+y^*x\)）；Google 矩阵；\(AB\) 与 \(BA\) 非零特征值相同（1.3.22），低秩矩阵的特征值化为小矩阵（1.3.23）。
4. 相似保持特征多项式、秩、所有 \(E_k\)；可对角化 ⇔ 有 \(n\) 个无关特征向量 ⇔ 非亏损；互异特征值 ⇒ 可对角化；对角化矩阵的自由度（1.3.27）。
5. 交换族：不变子空间 ⇔ 分块三角（1.3.18）；交换族有公共特征向量（1.3.19）；可对角化矩阵族交换 ⇔ 同时可对角化（1.3.21）；实相似（1.3.29）。
6. Mirsky 定理：对角元与特征值的唯一约束是和相等。
7. 左特征向量、双正交原理（1.4.7）、几何重数 ≤ 代数重数（1.2.18、1.3.7、1.4.10 三种角度）、单特征值的左右特征向量不正交（1.4.12）；亏损/减次的分类。
8. 连续性论证工具：\(A+\varepsilon I\) 对小 \(\varepsilon\ne0\) 非奇异（1.2.17）。

第 1 章 与量化交易的关联

• PCA 与因子提取：1.0.2 的约束极值问题就是"在 \(\|w\|=1\) 下最大化组合方差 \(w^T\Sigma w\)"，解为最大特征值对应的特征向量（第一主成分 / 统计因子）。等相关矩阵 \((1-\rho)I+\rho J\) 的谱（1.3.P38、1.1 中 \(J_n\) 的例子）说明市场因子特征值 \(1+(n-1)\rho\) 随资产数线性增长，其余特征值为 \(1-\rho\)——这是"第一主成分即市场模式"的最简模型，也用于随机矩阵理论（RMT）去噪时识别信号特征值。
• 高维协方差：定理 1.3.22/例 1.3.23 允许在 \(T\ll N\)（样本期数远小于股票数）时通过 \(T\times T\) 的 Gram 矩阵求 PCA，再映射回 \(N\) 维；样本协方差秩 ≤ \(T-1\)，有 \(N-T+1\) 个零特征值，必须收缩（1.2.17 的 \(\Sigma+\varepsilon I\) 思想）才能求逆用于组合优化。
• 因子模型风险：\(\Sigma=BFB^T+D\) 中 \(BFB^T\) 的非零特征值 = \(FB^TB\) 的特征值（\(K\times K\)），可快速计算系统性风险占比；Brauer 定理/秩一更新说明加入单个因子只改变一个特征值方向。
• 矩阵函数：1.3.P3/P30 的 \(f(A)=Sf(\Lambda)S^{-1}\) 用于计算 \(\Sigma^{1/2}\)（相关随机数生成、蒙特卡洛模拟）、\(\Sigma^{-1/2}\)（白化、马氏距离）、矩阵指数（连续时间马尔可夫链的转移概率、Ornstein–Uhlenbeck 多元过程）。
• 马尔可夫链与 PageRank：行和为 1（1.1.P2）即随机矩阵 \(Ae=e\)；平稳分布是左特征向量；Google 矩阵（1.2.P21）的阻尼系数控制次大特征值，从而控制收敛速度——用于评级迁移矩阵、市场状态切换模型（regime switching）的长期分布、资产网络中心度。
• 数值稳定性：1.2.P22 说明非正规矩阵的特征值对扰动可能有 \(\varepsilon^{1/n}\) 量级的敏感度；1.4.12 指出单特征值敏感度由 \(|y^*x|\) 决定。估计 VAR 模型的伴随矩阵（companion matrix）特征值以判断平稳性时要注意这一点。幂法（1.4.P7）与收缩（P8、P9）是计算前几个主成分的经典算法（大规模稀疏情形仍在用）。
• 相关结构建模：1.3.P19 的分块中心对称、1.3.P37 的中心对称约化，可用于对称多空组合（long-short pairs）协方差的分块对角化；1.4.P16/P17 的三对角 Toeplitz 谱给出有限差分 PDE 定价格式的稳定性分析（显式格式的 CFL 条件）。
• Burnside 定理、对角等价、实表示 \(R_1,R_2\) 等与量化无直接关联，属理论储备（\(R_1\) 可用于把复 Hermitian 问题转成实对称问题求解）。

第 1 章 推荐习题

• 1.0.P1–P2：Rayleigh 商最大值 = 最大特征值（PCA 的理论基础）。
• 1.1.P2：行和为 1 与特征向量 \(e\)（随机矩阵）。1.1.P11–P12：用伴随矩阵求特征向量。
• 1.2.P17：\(AB\) 与 \(BA\) 特征值相同、\(\det(I+AB)=\det(I+BA)\)——高维计算技巧。1.2.P13：加边矩阵特征多项式（箭头矩阵/单因子模型）。1.2.P21：Google 矩阵特征值。1.2.P22：特征值对扰动的敏感性（重要的数值直觉）。1.2.P15：Abel 公式。
• 1.3.P3、P30：矩阵函数的定义与良定性。1.3.P8：特征值互异时交换 ⇔ 同时对角化。1.3.P14：可对角化的四种必要条件判别。1.3.P33：实矩阵复特征值的 2×2 实块（实 Schur 形前导）。1.3.P38：等相关矩阵的谱与逆（直接用于常相关协方差模型）。1.3.P20：复矩阵的实表示。
• 1.4.P1：秩一矩阵的特征结构。1.4.P7–P9：幂法与收缩（可编程实现）。1.4.P13：伴随矩阵与特征值单重性的定量关系。1.4.P16–P17：三对角 Toeplitz 的显式谱。

第 2 章 酉相似与酉等价（Unitary Similarity and Unitary Equivalence）（书 p.83 起，PDF p.103 起）（本块只覆盖 2.0 与 2.1 前半，续见下一块）

2.0 引言（PDF p.103）

第 1 章研究一般非奇异 \(S\) 的相似 \(A\mapsto S^{-1}AS\)。对特殊的酉矩阵（unitary）\(U\)，\(U^{-1}=U^*\)。酉相似 \(A\mapsto U^*AU\) 概念上更简单（共轭转置比求逆容易得多），数值计算上稳定性也更好。基本事实：每个 \(A\in M_n\) 都酉相似于一个上三角矩阵，其对角元为 \(A\) 的特征值（Schur 三角化，2.3）；在一般相似下该三角形可进一步精化（第 3 章 Jordan 形）。\(A\mapsto S^*AS\)（\(S\) 非奇异，不一定酉）称为 *合同（*congruence），第 4 章研究；酉相似既是相似又是 *合同。对 \(A\in M_{n,m}\)，\(A\mapsto UAV\)（\(U\in M_m\)、\(V\in M_n\) 酉）称酉等价（unitary equivalence）；在酉等价下上三角形可大大精化并推广到长方矩阵：每个 \(A\in M_{n,m}\) 酉等价于一个非负对角矩阵，其对角元为 \(A\) 的奇异值（singular values）（SVD，2.6）。

2.1 酉矩阵与 QR 分解（Unitary matrices and the QR factorization）（PDF p.103–111 起；本节习题续见下一块）

• 定义 2.1.1：\(x_1,\dots,x_k\in\mathbf C^n\) 正交（orthogonal）：\(x_i^*x_j=0\)（\(i\ne j\)）；再加 \(x_i^*x_i=1\) 为标准正交（orthonormal）。练习：非零正交向量 \(y_i\) 经 \(x_i=(y_i^*y_i)^{-1/2}y_i\) 得标准正交组。
• 定理 2.1.2：标准正交组线性无关。证明：\(0=\|\sum\alpha_ix_i\|^2=\sum_{i,j}\bar\alpha_i\alpha_jx_i^*x_j=\sum|\alpha_i|^2\)。练习：非零正交组线性无关；若 \(k>n\) 个向量正交，则至少 \(k-n\) 个为零。无关组可用 Gram–Schmidt（0.6.4）标准正交化；\(\mathbf R^n\)、\(\mathbf C^n\) 的非零子空间都有标准正交基。
• 定义 2.1.3：\(U\in M_n\) 为酉矩阵（unitary）若 \(U^*U=I\)；\(U\in M_n(\mathbf R)\) 为实正交（real orthogonal）若 \(U^TU=I\)。练习：\(U\oplus V\) 酉 ⇔ \(U,V\) 都酉；1.3.P19–P21 中的 \(Q,U,V\) 都是酉矩阵。
• 定理 2.1.4（酉矩阵的等价刻画）：(a) \(U\) 酉；(b) \(U\) 非奇异且 \(U^*=U^{-1}\)；(c) \(UU^*=I\)；(d) \(U^*\) 酉；(e) \(U\) 的列标准正交；(f) \(U\) 的行标准正交；(g) 对所有 \(x\)，\(\|Ux\|_2=\|x\|_2\)（保欧氏范数）。 证明：(a)–(d) 由方阵左逆即右逆。\(U^*U=I\) 即列标准正交，(a)⇔(e)；同理 (d)⇔(f)。(a)⇒(g)：\(y^*y=x^*U^*Ux=x^*x\)。(g)⇒(a)：令 \(U^*U=A\)，取 \(x=z+w\) 展开得 \(\operatorname{Re}z^*w=\operatorname{Re}z^*Aw\) 对所有 \(z,w\)；取 \(z=e_p,w=ie_q\) 得 \(0=\operatorname{Re}(ia_{pq})=-\operatorname{Im}a_{pq}\)，故 \(A\) 实；取 \(z=e_p,w=e_q\) 得 \(a_{pq}=\delta_{pq}\)，\(A=I\)。（关键：保范数 ⇒ 由极化恒等式保内积。）
• 定义 2.1.5：\(T:\mathbf C^n\to\mathbf C^m\) 若 \(\|Tx\|_2=\|x\|_2\) 则为欧氏等距（Euclidean isometry）；方阵是欧氏等距 ⇔ 酉（其他等距见 5.4.P11–13）。
  • 练习：\(U_\theta=\begin{bmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{bmatrix}\)；\(2\times2\) 实正交阵 ⇔ \(U=U_\theta\) 或 \(\operatorname{diag}(1,-1)U_\theta\)；也 ⇔ \(U=U_\theta\) 或 \(\begin{bmatrix}0&1\\1&0\end{bmatrix}U_\theta\)（旋转或反射）。
• 观察 2.1.6：酉（实正交）矩阵之积仍酉（实正交）。观察 2.1.7：酉矩阵全体构成群——\(n\times n\) 酉群（unitary group），实正交矩阵构成实正交群，均为 \(GL(n,\mathbf C)\) 的子群（群：在结合的二元运算下封闭，含单位元与逆元）。
• 紧性：\(U^*U=I\) 使每列范数为 1，故 \(|u_{ij}|\le1\)，酉矩阵集在 \(\mathbf C^{n^2}\) 中有界；若 \(U_k\to U\)（逐元），则 \(U^*U=\lim U_k^*U_k=I\)，故为闭集。有限维中有界闭集是紧集（附录 E）。
• 引理 2.1.8（选择原理，selection principle）：任一酉矩阵无穷序列 \(U_1,U_2,\dots\) 有子序列 \(U_{k_i}\) 逐元收敛到某个酉矩阵。（紧集中的序列有收敛子列；极限仍酉。）极限不唯一，依赖子序列：\(U_k=\begin{bmatrix}0&1\\1&0\end{bmatrix}^k\) 有两个子序列极限（\(I\) 与该置换阵）。实正交群同样适用。（本书在证明特征值连续性、Schur 形极限等处反复使用。）
• 定理 2.1.9：\(A\) 非奇异。\(A^{-1}\) 相似于 \(A^*\) ⇔ 存在非奇异 \(B\) 使 \(A=B^{-1}B^*\)。（推广"\(U^{-1}=U^*\)"为"\(U^{-1}\) 相似于 \(U^*\)"，其全体恰是映射 \(A\mapsto A^{-1}A^*\) 的值域。） 证明："⇐"：\(A^{-1}=(B^*)^{-1}B\)，\(B^*A^{-1}(B^*)^{-1}=B(B^*)^{-1}=(B^{-1}B^*)^*=A^*\)。"⇒"：设 \(SA^{-1}S^{-1}=A^*\)，即 \(S=A^*SA\)。令 \(S_\theta=e^{i\theta}S\)，则 \(S_\theta=A^*S_\theta A\) 且 \(S_\theta^*=A^*S_\theta^*A\)，相加得 Hermitian \(H_\theta=S_\theta+S_\theta^*\) 满足 \(H_\theta=A^*H_\theta A\)。若 \(H_\theta\) 奇异，存在 \(x\ne0\) 使 \(S^{-1}S^*x=-e^{2i\theta}x\)；选 \(\theta_0\) 使 \(-e^{2i\theta_0}\) 不是 \(S^{-1}S^*\) 的特征值，则 \(H=H_{\theta_0}\) 非奇异且 \(H=A^*HA\)。再取 \(|\alpha|=1\) 且 \(\alpha\) 不是 \(A^*\) 的特征值，令 \(B=\beta(\alpha I-A^*)H\)（\(\beta\ne0\) 待定），则 \(B\) 非奇异；要求 \(BA=B^*\)：\(B^*=H(\bar\beta\bar\alpha I-\bar\beta A)\)，\(BA=\beta(\alpha HA-A^*HA)=H(\alpha\beta A-\beta I)\)，只需 \(\beta=-\bar\beta\bar\alpha\)；若 \(\alpha=e^{i\psi}\)，取 \(\beta=e^{i(\pi-\psi)/2}\)。∎
• 引理 2.1.10（酉矩阵分块的秩）：\(U=\begin{bmatrix}U_{11}&U_{12}\\U_{21}&U_{22}\end{bmatrix}\) 酉，\(U_{11}\in M_k\)，则 \(\operatorname{rank}U_{12}=\operatorname{rank}U_{21}\)，\(\operatorname{rank}U_{22}=\operatorname{rank}U_{11}+n-2k\)。特别地 \(U_{12}=0\iff U_{21}=0\)，此时 \(U_{11},U_{22}\) 都是酉矩阵。证明：对 \(U^{-1}=U^*=\begin{bmatrix}U_{11}^*&U_{21}^*\\U_{12}^*&U_{22}^*\end{bmatrix}\) 用互补零度定律（0.7.5）。练习：酉矩阵是上三角的 ⇔ 它是对角的。（这是 CS 分解 2.7 的前奏。）
• 例 2.1.11 平面旋转（plane rotation / Givens rotation） \(U(\theta;i,j)\)（\(1\le i<j\le n\)）：把 \(I_n\) 的 \((i,i),(j,j)\) 元换为 \(\cos\theta\)，\((i,j)\) 元换为 \(-\sin\theta\)，\((j,i)\) 元换为 \(\sin\theta\)。它是实正交阵，在 \(\mathbf R^n\) 的 \((i,j)\) 坐标平面内旋转角 \(\theta\)；左乘只影响第 \(i,j\) 行，右乘只影响第 \(i,j\) 列；\(U(\theta;i,j)^{-1}=U(-\theta;i,j)\)。（Givens QR、Jacobi 特征值算法的基本工具，适合逐个消去元素、稀疏矩阵。）
• 例 2.1.12 Householder 矩阵：\(w\ne0\)，\(U_w=I-2(w^*w)^{-1}ww^*\)；\(w\) 为单位向量时 \(U_w=I-2ww^*\)。性质（练习）：\(U_w\) 既酉又 Hermitian，\(U_w^{-1}=U_w\)；\(w\) 实时为实正交对称阵，特征值只能为 \(\pm1\)；\(U_wx=x\)（\(x\perp w\)），\(U_ww=-w\)——关于超平面 \(w^\perp\) 的反射；由 (0.8.5.11) \(\det U_w=-1\)，故实 Householder 阵永远不是真旋转（proper rotation，行列式 +1 的实正交阵）；由 1.2.8，特征值为 \(-1,1,\dots,1\)。\(\mathbf R^n\) 中单位向量 \(x\ne y\) 时取 \(w=x-y\) 得 \(U_wx=y\)（\(x=y\) 时取任一与 \(x\) 正交的单位 \(w\)），故任何实向量可经实 Householder 阵变到任何同范数实向量。但在 \(\mathbf C^n\) 中不然：不存在 \(w\) 使 \(U_we_1=ie_1\)——需额外乘一个酉标量因子。
• 定理 2.1.13：\(\|x\|_2=\|y\|_2>0\)。若 \(y=e^{i\theta}x\)，令 \(U(y,x)=e^{i\theta}I_n\)；否则取 \(\phi\in[0,2\pi)\) 使 \(x^*y=e^{i\phi}|x^*y|\)（\(x^*y=0\) 时 \(\phi=0\)），\(w=e^{i\phi}x-y\)，\(U(y,x)=e^{i\phi}U_w\)。则 \(U(y,x)\) 酉且本质 Hermitian，\(U(y,x)x=y\)，且 \(z\perp x\Rightarrow U(y,x)z\perp y\)。若 \(x,y\) 实，则 \(U(y,x)\) 实正交：\(y=x\) 时为 \(I\)，否则为实 Householder 阵 \(U_{x-y}\)。 证明：线性相关情形直接验证。无关时 Cauchy–Schwarz 给 \(x^*x\ne|x^*y|\)；计算 \(w^*w=2(x^*x-\operatorname{Re}(e^{-i\phi}x^*y))=2(x^*x-|x^*y|)\)，\(w^*x=e^{-i\phi}x^*x-y^*x=e^{-i\phi}(x^*x-|x^*y|)\)，于是 \(e^{i\phi}U_wx=e^{i\phi}(x-2(w^*w)^{-1}w\,w^*x)=e^{i\phi}(x-(e^{i\phi}x-y)e^{-i\phi})=y\)。若 \(z\perp x\)，\(w^*z=-y^*z\)，代入得 \(y^*U(y,x)z=e^{i\phi}(y^*z+(-y^*z))=0\)。\(U(y,x)=(e^{i\phi}I)U_w\) 是两个酉阵之积，且本质 Hermitian。
  • 练习：\(y\) 为单位向量时 \(U(y,e_1)\) 的第一列就是 \(y\)（把单位向量扩充为酉矩阵的显式构造）；\(U(\|x\|_2e_1,x)\) 把 \(x\) 变为 \(\|x\|_2e_1\)。
• 定理 2.1.14（QR 分解）：\(A\in M_{n,m}\)。 (a) 若 \(n\ge m\)，存在列标准正交的 \(Q\in M_{n,m}\) 与对角元非负的上三角 \(R\in M_m\)，使 \(A=QR\)（"瘦" QR / thin QR）； (b) 若 \(\operatorname{rank}A=m\)，则 (a) 中 \(Q,R\) 唯一且 \(R\) 的对角元全为正； (c) 若 \(m=n\)，\(Q\) 为酉矩阵； (d) 总存在酉 \(Q\in M_n\) 与对角元非负的上三角 \(R\in M_{n,m}\) 使 \(A=QR\)（"全" QR）； (e) \(A\) 为实矩阵时以上因子都可取实矩阵。 证明（Householder 算法）：\(a_1\) 为 \(A\) 首列，\(r_1=\|a_1\|_2\)，由 2.1.13 取酉 \(U_1\) 使 \(U_1a_1=r_1e_1\)（\(U_1\) 为酉标量阵或酉标量乘 Householder 阵），\(U_1A=\begin{bmatrix}r_1&\star\\0&A_2\end{bmatrix}\)，\(A_2\in M_{n-1,m-1}\)；对 \(A_2\) 首列 \(a_2\) 取 \(V_2\) 使 \(V_2a_2=r_2e_1\)，\(U_2=I_1\oplus V_2\)，得 \(U_2U_1A=\begin{bmatrix}r_1&&\star\\0&r_2&\\0&0&A_3\end{bmatrix}\)；重复 \(m\) 次得 \(U_m\cdots U_1A=\begin{bmatrix}R\\0\end{bmatrix}\)，\(R\) 上三角，对角元 \(r_i\ge0\)。令 \(U=U_m\cdots U_1\)，\(U^*=[Q\ Q_2]\)，则 \(A=QR\)。列满秩时 \(R\) 非奇异，对角元为正。唯一性：若 \(A=QR=\tilde Q\tilde R\)，则 \(A^*A=R^*R=\tilde R^*\tilde R\)，\(\tilde R^{-*}R^*=\tilde RR^{-1}\)，下三角 = 上三角，故为对角阵 \(D\)，且对角元为正；\(\tilde R=DR\) 推出 \(D=\tilde RR^{-1}=\tilde R^{-*}R^*=D^{-1}\)，\(D^2=I\)，\(D=I\)。(c) 列标准正交的方阵是酉阵。(d) \(n\ge m\) 时把 \(Q\) 扩充为酉 \(\tilde Q=[Q\ Q_2]\)，\(\tilde R=\begin{bmatrix}R\\0\end{bmatrix}\)；\(n<m\) 时执行 \(n\) 步后停止，得 \(U_n\cdots U_1A=[R\ \star]\)（\(\star\) 块不必为零）。(e) 2.1.13 中的 \(U_i\) 都可取实。∎
  • 练习：Cholesky 分解：任意 \(B=A^*A\) 可写成 \(B=LL^*\)，\(L\) 下三角、对角元非负；\(A\) 非奇异时唯一（由 \(A=QR\) 得 \(B=R^*R\)，\(L=R^*\)）；每个正定或半正定矩阵都可如此分解（7.2.9）。
• QR 的变体：
  • \(n\le m\) 时对 \(A^*=QR\) 取共轭转置得 LQ 分解 \(A=LQ\) (2.1.15a)（\(Q\in M_{n,m}\) 行标准正交，\(L\in M_n\) 下三角）；补全为酉 \(\tilde Q=\begin{bmatrix}Q\\Q_2\end{bmatrix}\) 得 \(A=[L\ 0]\tilde Q\) (2.1.15b)。
  • 利用反序矩阵 \(K_p\)（实正交对称，\(K_p^2=I\)）：\(R\) 上三角则 \(L=K_pRK_p\) 下三角，对角元顺序倒转。若 \(n\ge m\)，\(AK_m=QR\)，则 \(A=(QK_m)(K_mRK_m)\)，得 QL 分解 \(A=QL\) (2.1.17a)（\(Q\in M_{n,m}\) 列标准正交，\(L\in M_m\) 下三角）与 \(A=\tilde Q\begin{bmatrix}L\\0\end{bmatrix}\) (2.1.17b)。
  • \(n\le m\) 时对 \(A^*\) 用上式得 RQ 分解 \(A=RQ=[R\ 0]\tilde Q\) (2.1.17c)（\(R\in M_n\) 上三角，\(Q\in M_{n,m}\) 行标准正交，\(\tilde Q\in M_m\) 酉）；对 \(AK_m\) 用 (2.1.14d) 得 \(A=(QK_n)(K_n[R\ \star]K_m)\)，即 \(A=\tilde QL\) (2.1.17d)，\(\tilde Q\in M_n\) 酉，\(L\in M_{n,m}\) 下三角。
• 定理 2.1.18：若 \(X=[x_1\cdots x_k]\)、\(Y=[y_1\cdots y_k]\in M_{n,k}\) 均列标准正交，则存在酉 \(U\in M_n\) 使 \(Y=UX\)；\(X,Y\) 实时 \(U\) 可取实。证明：分别扩充为标准正交基 \(V=[X\ X_2]\)、\(W=[Y\ Y_2]\)（0.6.4–5），取 \(U=WV^*\)，则 \(UV=W\)，即 \([UX\ UX_2]=[Y\ Y_2]\)。（几何含义：任意两组个数相同的标准正交向量之间都有一个酉变换联系。）
• 习题 2.1（本块所见部分）：P1 酉矩阵 \(|\det U|=1\)。P2 酉矩阵的特征值 \(|\lambda|=1\)，且 \(x\) 是对应 \(\lambda\) 的右特征向量 ⇔ 它是对应 \(\lambda\) 的左特征向量。P3 \(\operatorname{diag}(e^{i\theta_1},\dots,e^{i\theta_n})\) 是酉矩阵，且对角酉矩阵都是此形式。P4 刻画对角实正交矩阵（对角元为 \(\pm1\)）。其余习题（P5 起）见下一块。

（续见下一块：2.1 其余习题，2.2 酉相似，2.3 Schur 三角化……）

本块要点补充（第 2 章已读部分）

• 酉矩阵 = 保欧氏范数的线性映射 = 列（行）标准正交的方阵；酉群紧致，可用选择原理取收敛子列。
• Givens 旋转与 Householder 反射是构造 QR 等分解的两种基本酉矩阵；2.1.13 给出把任一向量变到任一同范数向量的显式酉矩阵（复情形需乘酉标量 \(e^{i\phi}\)）。
• QR 分解（2.1.14）的存在性、列满秩时的唯一性（\(R\) 对角元为正），以及 LQ、QL、RQ 变体；由 QR 立得 \(A^*A\) 的 Cholesky 分解。
• 与量化的关联（第 2 章已读部分）：QR 分解是线性回归/OLS 的标准数值解法（\(X=QR\Rightarrow\hat\beta=R^{-1}Q^Ty\)，避免显式构造 \(X^TX\) 使条件数平方化），也用于因子正交化（Gram–Schmidt 的稳定实现）、滚动回归的 QR 更新（Givens 旋转增删一行）。Cholesky 分解（2.1.14 后练习）用于由协方差矩阵生成相关正态随机数（蒙特卡洛 VaR、期权定价）和高效求解正规方程。2.1.18 的"标准正交组之间的酉变换"对应因子旋转（如 varimax 旋转不改变因子模型的解释力）。
• 推荐习题：2.1.13 之后两道构造练习（把单位向量扩充为酉矩阵、把 \(x\) 变为 \(\|x\|e_1\)）；Cholesky 练习；2.1.P2（酉矩阵特征值在单位圆上）。