元信息：Roger A. Horn & Charles R. Johnson《Matrix Analysis》(2nd ed., Cambridge University Press, 2013)；本笔记负责 PDF 第 334–444 页（原书页码约 314–424），内容为第 5 章「向量与矩阵范数」（Norms for vectors and matrices）从 5.0 引言尾部到第 5 章结束，以及第 6 章「特征值的定位与扰动」6.0–6.4 节（PDF p.407–444，第 6 章续见下一块）。

第 5 章向量与矩阵范数（Norms for vectors and matrices）

5.0 引言（尾部）（PDF p.334）（接上一块）

本块从第 5 章引言的末尾开始。引言用若干例子说明为什么需要「范数」（norm）这一度量向量和矩阵「大小」的工具：

收敛性：矩阵幂级数（如 $e^A=\sum A^k/k!$）的收敛可以用范数来证明；范数还能用来估计截断幂级数需要多少项才能达到给定精度。
Example 5.0.2（精度 Accuracy）：若要计算 $A^{-1}$（或 $e^A$ 等矩阵函数），但 $A$ 的元素不能精确知道（来自实验、数据分析或之前计算的舍入误差），可写 $A=A_0+E$，其中 $A_0$ 是「真」矩阵、$E$ 是误差。我们关心 $(A_0+E)^{-1}-A_0^{-1}$ 的界——其重要性不亚于逆矩阵本身，范数为此类问题提供系统化处理方法。
Example 5.0.3（界 Bounds）：特征值、奇异值的界及其在矩阵扰动下变化量的界，常常用范数表达。
Example 5.0.4（连续性 Continuity）：$\mathbf F^n$（$\mathbf F=\mathbf R$ 或 $\mathbf C$）上函数 $f$ 在 $x_0$ 处连续的标准定义：对任意 $\varepsilon>0$ 存在 $\delta>0$，使 $x\in\mathcal D$ 且 $\|x-x_0\|_2<\delta$ 时 $|f(x)-f(x_0)|<\varepsilon$。自然推广是把欧氏范数换成其他范数。

5.1 范数与内积的定义（Definitions of norms and inner products）（PDF p.334–340）

Definition 5.1.1（向量范数） 设 $V$ 为域 $\mathbf F$（$\mathbf R$ 或 $\mathbf C$）上的向量空间。函数 $\|\cdot\|:V\to\mathbf R$ 称为范数（norm，亦称 vector norm），若对所有 $x,y\in V$、$c\in\mathbf F$：

(1) $\|x\|\ge0$　非负性（Nonnegativity）
(1a) $\|x\|=0 \iff x=0$　正定性（Positivity）
(2) $\|cx\|=|c|\,\|x\|$　齐次性（Homogeneity）
(3) $\|x+y\|\le\|x\|+\|y\|$　三角不等式（Triangle inequality），即次可加性（subadditivity）

这四条公理刻画了平面欧氏长度的一部分性质；欧氏长度还有不能由这四条推出的性质，例如平行四边形恒等式 (5.1.9)。由 (1a) 和 (2)，任意非零向量可单位化：$u=\|x\|^{-1}x$，$\|u\|=1$。带有给定范数的实或复向量空间称为赋范线性空间（normed linear space / normed vector space）。

只满足 (1)(2)(3) 的函数称为半范数（seminorm）：非零向量的半范数可以为零。

Lemma 5.1.2（反向三角不等式） 若 $\|\cdot\|$ 是 $V$ 上的半范数，则对一切 $x,y$：

\big|\,\|x\|-\|y\|\,\big|\le\|x-y\|.

证明：$y=x+(y-x)$，由三角不等式和齐次性（$\|y-x\|=\|x-y\|$）得 $\|y\|-\|x\|\le\|x-y\|$；对称地 $x=y+(x-y)$ 得 $\|x\|-\|y\|\le\|x-y\|$。两者合起来即 $\pm(\|x\|-\|y\|)\le\|x-y\|$。这个引理说明范数是（关于自身的）Lipschitz 常数为 1 的连续函数，后面 5.4 节要用到。

欧氏长度对应的是欧氏内积 $y^*x$（0.6.1），它与向量夹角有关：$y^*x=0$ 时 $x,y$ 正交。把欧氏内积最基本的性质抽出来作为公理：

Definition 5.1.3（内积 inner product） 函数 $\langle\cdot,\cdot\rangle:V\times V\to\mathbf F$ 称为内积，若对一切 $x,y,z\in V$、$c\in\mathbf F$：

(1) $\langle x,x\rangle\ge0$　非负性
(1a) $\langle x,x\rangle=0\iff x=0$　正定性
(2) $\langle x+y,z\rangle=\langle x,z\rangle+\langle y,z\rangle$　可加性（Additivity）
(3) $\langle cx,y\rangle=c\langle x,y\rangle$　齐次性
(4) $\langle x,y\rangle=\overline{\langle y,x\rangle}$　Hermite 性（Hermitian property）

(2)(3)(4) 说明内积是半双线性函数（sesquilinear function，对第一变元线性、对第二变元共轭线性）；(1)(1a) 要求 $x\ne0$ 时 $\langle x,x\rangle>0$。

正文练习：(i) 验证 $\langle x,y\rangle=y^*x$ 满足五条公理；(ii) 对 $D=\mathrm{diag}(d_1,\dots,d_n)$，$(x,y)=y^*Dx$ 满足哪些公理？答案：当且仅当所有 $d_i>0$ 时为内积（$d_i\ge0$ 时为半内积，$d_i$ 实数时满足 Hermite 性）。(iii) 由公理推出：(a) $\langle x,cy\rangle=\bar c\langle x,y\rangle$；(b) $\langle x,y+z\rangle=\langle x,y\rangle+\langle x,z\rangle$；(c) $\langle ax+by,cw+dz\rangle=a\bar c\langle x,w\rangle+b\bar c\langle y,w\rangle+a\bar d\langle x,z\rangle+b\bar d\langle y,z\rangle$；(d) $\langle x,\langle x,y\rangle y\rangle=|\langle x,y\rangle|^2$；(e) $\langle x,y\rangle=0$ 对所有 $y$ 成立当且仅当 $x=0$。(a)–(d) 对任意半双线性函数都成立，只有 (e) 依赖公理 (1)(1a)。

Theorem 5.1.4（Cauchy–Schwarz 不等式） 设 $\langle\cdot,\cdot\rangle$ 是 $V$ 上的内积，则

|\langle x,y\rangle|^2\le\langle x,x\rangle\langle y,y\rangle\quad\forall x,y\in V,\tag{5.1.5}

等号成立当且仅当 $x,y$ 线性相关（即 $x=\alpha y$ 或 $y=\alpha x$）。

证明要点：不妨设 $y\ne0$。令 $v=\langle y,y\rangle x-\langle x,y\rangle y$，展开

0\le\langle v,v\rangle=\langle y,y\rangle^2\langle x,x\rangle-\langle y,y\rangle|\langle x,y\rangle|^2=\langle y,y\rangle\big(\langle x,x\rangle\langle y,y\rangle-|\langle x,y\rangle|^2\big).\tag{5.1.6}

由于 $\langle y,y\rangle>0$ 得不等式；等号当且仅当 $v=0$，而 $v$ 是 $x,y$ 的非平凡线性组合（$y$ 的系数前有 $\langle y,y\rangle\neq0$ 作为 $x$ 的系数），故等号等价于线性相关。

Corollary 5.1.7 若 $\langle\cdot,\cdot\rangle$ 是内积，则 $\|x\|=\langle x,x\rangle^{1/2}$ 是 $V$ 上的范数。证明提示：$\|x+y\|^2=\langle x+y,x+y\rangle=\|x\|^2+2\,\mathrm{Re}\langle x,y\rangle+\|y\|^2\le\|x\|^2+2\|x\|\|y\|+\|y\|^2$，用 Cauchy–Schwarz。

这样的范数称为「由内积导出」（derived from an inner product）。带内积的空间称为内积空间（inner product space），配上导出范数也是赋范线性空间。

只满足 (1)(2)(3)(4)、不一定满足 (1a) 的函数称为半内积（semi-inner product）：半双线性且 $\langle x,x\rangle\ge0$。

Theorem 5.1.8 设 $\langle\cdot,\cdot\rangle$ 是半内积，则 $|\langle x,y\rangle|^2\le\langle x,x\rangle\langle y,y\rangle$ 对一切 $x,y$ 成立，且 $\|x\|=\langle x,x\rangle^{1/2}$ 是半范数。

证明要点（与 5.1.4 不同，不能除以 $\langle y,y\rangle$）：考虑实多项式 $p(t)=\langle tx-e^{i\theta}y,\,tx-e^{i\theta}y\rangle=t^2\|x\|^2-2t\,\mathrm{Re}(e^{-i\theta}\langle x,y\rangle)+\|y\|^2\ge0$。取 $\theta$ 使 $\mathrm{Re}(e^{-i\theta}\langle x,y\rangle)=|\langle x,y\rangle|$。若 $\|x\|=0$ 而 $\langle x,y\rangle\ne0$，则 $p(t)=-2t|\langle x,y\rangle|+\|y\|^2$ 在 $t$ 充分大时为负，矛盾；故 $\|x\|=0$ 时 $\langle x,y\rangle=0$，不等式成立。若 $\|x\|\ne0$，取 $t_0=|\langle x,y\rangle|/\|x\|^2$，得 $p(t_0)=-|\langle x,y\rangle|^2/\|x\|^2+\|y\|^2\ge0$。三角不等式同 5.1.7 由 Cauchy–Schwarz 推出。

常见误区（正文练习）：对半内积，等号刻画会失效。例：$A=\mathrm{diag}(1,0)$，$\langle x,y\rangle=y^*Ax$ 是 $\mathbf C^2$ 上的半内积；取线性无关的 $x=[1\ 0]^T$、$y=[1\ 1]^T$，却有 $|\langle x,y\rangle|^2=\langle x,x\rangle\langle y,y\rangle=1\ne0$。

5.1 节习题概览（$V$ 为 $\mathbf R$ 或 $\mathbf C$ 上的向量空间）：

5.1.P1：$\mathbf F^n$ 上半范数满足 $\|x\|\le\sum|x_i|\|e_i\|$。
5.1.P2：半范数的零空间（null space）$V_0=\{v:\|v\|=0\}$ 是子空间；在与 $V_0$ 只交于 0 的子空间上是范数；商空间 $V/V_0$ 上 $\|\hat x\|$ 良定义且为范数，从而每个半范数都自然对应一个范数；$\|x\|=|z^*x|$ 是半范数而非范数，其零空间是 $z^\perp$。
5.1.P3：子空间 $\mathrm{span}\{x\}$ 与 $\mathrm{span}\{y\}$ 的夹角 $\cos\theta=|\langle x,y\rangle|/(\langle x,x\rangle^{1/2}\langle y,y\rangle^{1/2})$，$0\le\theta\le\pi/2$；良定义来自 Cauchy–Schwarz，且对 $x\to cx,y\to dy$ 不变。
5.1.P4：内积导出范数满足平行四边形恒等式（parallelogram identity） $\tfrac12(\|x+y\|^2+\|x-y\|^2)=\|x\|^2+\|y\|^2,\tag{5.1.9}$ 该恒等式是范数由内积导出的充要条件（见 5.1.P12）；推广：$\sum_{i<j}\|x_i-x_j\|^2+\|\sum x_i\|^2=m\sum\|x_i\|^2$。
5.1.P5：$\|x\|_\infty=\max|x_i|$ 是范数但不由内积导出。
5.1.P6：极化恒等式（polarization identity）$\mathrm{Re}\langle x,y\rangle=\frac14(\|x+y\|^2-\|x-y\|^2)$（5.1.10），以及 $\mathrm{Re}\langle x,y\rangle=\frac12(\|x+y\|^2-\|x\|^2-\|y\|^2)$。
5.1.P7：$\|x\|_1$ 不满足极化恒等式，故不来自任何内积。
5.1.P8：内积范数满足 $\|x+y\|\|x-y\|\le\|x\|^2+\|y\|^2$（5.1.11），等号当且仅当 $\mathrm{Re}\langle x,y\rangle=0$；对 $\ell_1$ 范数可在 $\mathbf R^2$ 中找到反例。
5.1.P9：最小化 $\|x-\alpha y\|$ 的 $\alpha_0=\langle x,y\rangle/\|y\|^2$，且 $x-\alpha_0y\perp y$（投影/最小二乘的雏形）。
5.1.P10：范数公理 (1) 可由 (2)(3) 推出（$0=\|x-x\|\le2\|x\|$）。
5.1.P11：勾股定理 $\|x+y\|^2=\|x\|^2+\|y\|^2\iff\mathrm{Re}\langle x,y\rangle=0$。
5.1.P12：Jordan–von Neumann 定理的证明梗概：实空间上定义 $\langle x,y\rangle=\frac12(\|x+y\|^2-\|x\|^2-\|y\|^2)$（5.1.12），利用平行四边形恒等式证明可加性，再证 $\langle ax,y\rangle=a\langle x,y\rangle$ 先对有理数成立，再由 Cauchy–Schwarz 型估计 $|\langle ax,y\rangle-a\langle x,y\rangle|\le2|a-b|\|x\|\|y\|$（$b$ 有理）推广到实数；复空间上定义 $\langle x,y\rangle=\frac12(\|x+y\|^2-\|x\|^2-\|y\|^2)+\frac i2(\|x+iy\|^2-\|x\|^2-\|y\|^2)$。注意：证明中没用到三角不等式，因此 (1)(1a)(2)+平行四边形恒等式就足以推出它是内积导出的范数。
5.1.P13：Hlawka 不等式 $\|x+y\|+\|x+z\|+\|y+z\|\le\|x+y+z\|+\|x\|+\|y\|+\|z\|$（5.1.13），对内积范数成立，证明通过计算 $h^2-hs$ 并分组。
5.1.P14：Laguerre–Samuelson 不等式：实数 $x_1,\dots,x_n$ 的均值 $\mu$、标准差 $\sigma=(n^{-1}\sum(x_i-\mu)^2)^{1/2}$，则 $(x_j-\mu)^2\le(n-1)\sigma^2$，即 $\mu-\sigma\sqrt{n-1}\le x_j\le\mu+\sigma\sqrt{n-1},\tag{5.1.14}$ 等号当且仅当其余 $x_p$ 全相等。（量化中可用作样本极端值相对均值的确定性上界。）
5.1.P15：$y=m^{-1}\sum x_i$ 时 $\|z-y\|^2=m^{-1}\sum(\|z-x_i\|^2-\|y-x_i\|^2)$。

延伸阅读：平行四边形恒等式刻画内积空间归功于 Jordan 与 von Neumann（1935）。

5.2 范数与内积的例子（Examples of norms and inner products）（PDF p.340–344）

$\mathbf C^n$ 上的常用范数：

欧氏范数（$\ell_2$-norm）$\|x\|_2=(|x_1|^2+\dots+|x_n|^2)^{1/2}$（5.2.1），由欧氏内积导出，且酉不变（unitarily invariant）：$\|Ux\|_2=\|x\|_2$ 对一切酉矩阵 $U$。事实上 $\mathbf C^n$ 上酉不变范数只有欧氏范数的正数倍（5.2.P6）。
和范数（sum norm，$\ell_1$-norm）$\|x\|_1=|x_1|+\dots+|x_n|$（5.2.2），又称 Manhattan / taxicab 范数；不满足极化恒等式和平行四边形恒等式。
最大范数（max norm，$\ell_\infty$-norm）$\|x\|_\infty=\max_i|x_i|$（5.2.3），不来自内积。
$\ell_p$ 范数 $\|x\|_p=(\sum|x_i|^p)^{1/p}$，$p\ge1$（5.2.4）；其三角不等式即 Minkowski 和不等式（附录 B9）。
$k$-范数（$k$-norm）：将 $|x_i|$ 非增排列，取最大的 $k$ 个之和 $\|x\|_{[k]}=|x_{i_1}|+\dots+|x_{i_k}|,\quad |x_{i_1}|\ge\dots\ge|x_{i_n}|.\tag{5.2.5}$ 满足 $\|\cdot\|_\infty=\|\cdot\|_{[1]}\le\|\cdot\|_{[2]}\le\dots\le\|\cdot\|_{[n]}=\|\cdot\|_1$，连接了 $\ell_\infty$ 与 $\ell_1$；在酉不变矩阵范数理论（7.4.7，Ky Fan $k$-范数）中很重要。

构造新范数的方法：

通过基：若 $\mathcal B=\{b^{(1)},\dots,b^{(n)}\}$ 是 $V$ 的基，$[x]_{\mathcal B}$ 为坐标向量，则 $\|x\|_{\mathcal B}=\|[x]_{\mathcal B}\|$ 是 $V$ 上范数。
$\ell_p$ 与 $k$-范数都是绝对范数且置换不变（permutation invariant）：$\|Px\|=\|x\|$。
设 $S\in M_{m,n}$ 列满秩（$m\ge n$），$\|\cdot\|$ 是 $\mathbf C^m$ 上范数，则 $\|x\|_S=\|Sx\|$（5.2.6）是 $\mathbf C^n$ 上范数；若 $S$ 不列满秩，只得半范数。练习例：$(|2x_1-3x_2|^2+|x_2|^2)^{1/2}=\|Sx\|_2$，$S=\begin{bmatrix}2&-3\\0&1\end{bmatrix}$。
Frobenius 内积：$M_{m,n}$ 上 $\langle A,B\rangle_F=\mathrm{tr}\,B^*A$（5.2.7），导出 Frobenius 范数（$\ell_2$ 范数）$\|A\|_2=(\mathrm{tr}A^*A)^{1/2}$；在 $M_{m,1}$ 上即欧氏内积。

无穷维例子：$C[a,b]$ 上 $L_2,L_1,L_p,L_\infty$ 范数：$\|f\|_2=[\int_a^b|f|^2]^{1/2}$，$\|f\|_1=\int|f|$，$\|f\|_p=[\int|f|^p]^{1/p}$，$\|f\|_\infty=\max|f(x)|$；$\langle f,g\rangle=\int_a^bf(t)\overline{g(t)}dt$（5.2.8）是内积，导出 $L_2$ 范数。

5.2 节习题概览：

5.2.P1：$0<p<1$ 时 $\|x\|_p$ 违反三角不等式（例：$x=e_1,y=e_2$，$\|x+y\|_p=2^{1/p}>2$）。
5.2.P2：$\|x\|_\infty=\lim_{p\to\infty}\|x\|_p$。
5.2.P3：$\mathbf C^n$ 上任一半范数都形如 $\|Sx\|$。
5.2.P4：加权 $\ell_p$ 范数 $(\sum w_i|x_i|^p)^{1/p}=\|Sx\|_p$，$S=\mathrm{diag}(w_i^{1/p})$。
5.2.P5：$\|f\|_{x_0}=|f(x_0)|$ 是 $C[a,b]$ 上的半范数。
5.2.P6：酉不变范数满足 $\|x\|=\|x\|_2\|e_1\|$。
5.2.P7：Massera–Schäffer 型不等式：对任意范数和非零 $x,y$， $\Big\|\frac{x}{\|x\|}-\frac{y}{\|y\|}\Big\|\le\frac{c\|x-y\|}{\|x\|+\|y\|}\tag{5.2.9}$ $c=4$ 成立且最优（$\ell_1$ 范数下 $x=[1,\varepsilon]^T,y=[1,0]^T$ 达到）；内积范数时 $c=2$。
5.2.P8：内积空间中令 $x_{\perp u}=x-\langle x,u\rangle u$，得 $|\langle x,y\rangle-\langle x,u\rangle\langle u,y\rangle|\le\|x-\lambda u\|\|y-\mu u\|$（5.2.10），最优 $\lambda=\langle x,u\rangle,\mu=\langle y,u\rangle$。
5.2.P9：由 (5.2.10) 推出 Grüss 不等式：$\alpha\le f\le\beta$、$\gamma\le g\le\delta$ 时 $\Big|\frac1{b-a}\int fg-\frac1{(b-a)^2}\int f\int g\Big|\le\frac{(\beta-\alpha)(\delta-\gamma)}4.\tag{5.2.11}$ （离散版本即：两个有界随机变量的协方差不超过两者区间长度乘积的四分之一。）
5.2.P10：Schur 不等式写成 $\sum|\lambda_i|^2\le\|A\|_2^2$（5.2.12），加强版 $\sum|\lambda_i|^2\le\sqrt{\|A\|_2^4-\|AA^*-A^*A\|_2^2}$（5.2.13）及 (5.2.14)。
5.2.P11–P13：Maligranda 型不等式 (5.2.15)(5.2.16)，并推出 (5.2.17)，且上界优于 $c=4$ 的 (5.2.9)（5.2.18）。
5.2.P14：最佳 Hermite / 半正定逼近：$A=H+iK$（$H,K$ Hermite），则 Frobenius 范数下最接近 $A$ 的 Hermite 矩阵是 $H$（因 $\|A-X\|_2^2=\|H-X\|_2^2+\|K\|_2^2$）；最接近的半正定矩阵是 $H$ 的半正定部分 $H_+$（把 $H$ 的负特征值置零）。证明：$H=U\Lambda U^*$，$\|H-X\|_2^2=\sum(\lambda_i-y_{ii})^2+\sum_{i\ne j}|y_{ij}|^2$，$y_{ii}\ge0$。这正是量化中「修复非正定相关/协方差矩阵」的标准做法（特征值截断法）的理论依据。

延伸阅读：Beckenbach & Bellman (1965) 关于经典不等式；Kirk & Smiley (1964) 证明 $c=2$ 对所有非零 $x,y$ 成立是内积范数的充要条件。

5.3 范数的代数性质（Algebraic properties of norms）（PDF p.344）

两个范数之和、范数的正数倍、两个范数的最大值都是范数。它们都是下面定理的特例：

Theorem 5.3.1 设 $\|\cdot\|_{\alpha_1},\dots,\|\cdot\|_{\alpha_m}$ 是 $V$ 上的范数，$\|\cdot\|$ 是 $\mathbf R^m$ 上的范数，且对非负向量单调：$y,z\in\mathbf R^m$ 元素非负时 $\|y\|\le\|y+z\|$。则

f(x)=\big\|[\|x\|_{\alpha_1},\dots,\|x\|_{\alpha_m}]^T\big\|

是 $V$ 上的范数。

证明要点：(1)(1a)(2) 直接验证；三角不等式需要单调性：$\|x+y\|_{\alpha_i}\le\|x\|_{\alpha_i}+\|y\|_{\alpha_i}$ 逐分量成立，单调性保证外层范数保序，再用外层范数的三角不等式。每个 $\ell_p$ 范数、以及任何只依赖分量绝对值的范数（绝对范数，见 5.4.19(c)、5.6.P42）都单调。

习题：5.3.P1 和与最大值是范数，最小值不一定；5.3.P2 $\|x\|=|x_1-x_2|+|x_2|$ 是 $\mathbf R^2$ 上范数但不单调，用它组合出的 $f(x)=\min\{|x_1|,|x_2|\}+|x_1|+|x_2|$ 满足除三角不等式外的公理——说明单调性假设不可去。

5.4 范数的分析性质（Analytic properties of norms）（PDF p.344–355）

动机：同一空间上可以有许多范数，各有用途：$\ell_2$ 范数除原点外连续可微，便于优化；$\ell_1$ 范数可微的集合更小，但在统计中常用，因为它给出比经典回归更稳健（robust）的估计量；$\ell_\infty$ 范数直接监控逐元素收敛，但分析与代数上较笨拙。实际中理论最自然的范数与最易计算的范数未必一致，因此需要知道不同范数之间的关系。有限维中所有范数在很强的意义下「等价」。

Definition 5.4.1（收敛） 赋范空间中，$\{x^{(k)}\}$ 关于 $\|\cdot\|$ 收敛到 $x$ 当且仅当 $\lim_{k\to\infty}\|x^{(k)}-x\|=0$。由三角不等式 $\|x-y\|\le\|x-x_k\|+\|x_k-y\|$，极限若存在则唯一。

Example 5.4.2（无穷维中收敛依赖范数） 在 $C[0,1]$ 中定义帐篷函数 $f_k$：在 $[0,1/k]$ 与 $[2/k,1]$ 上为 0，在 $[1/k,3/(2k)]$ 上 $f_k(x)=2(k^{3/2}x-k^{1/2})$，在 $[3/(2k),2/k]$ 上 $f_k(x)=2(-k^{3/2}x+2k^{1/2})$（峰高 $k^{1/2}$，底宽 $1/k$），$k=2,3,\dots$。计算得

\|f_k\|_1=\tfrac12k^{-1/2}\to0,\quad \|f_k\|_2=1/\sqrt3\ (\forall k),\quad \|f_k\|_\infty=k^{1/2}\to\infty.

所以 $f_k\to0$ 关于 $L_1$ 成立，但关于 $L_2$、$L_\infty$ 不成立；在 $L_2$ 下有界、在 $L_\infty$ 下无界。

有限维空间中这种怪现象不会出现，其根基是赋范空间上连续函数的基本结果（附录 E）。

Lemma 5.4.3 设 $\|\cdot\|$ 是 $V$ 上范数，$x^{(1)},\dots,x^{(m)}\in V$，$x(z)=z_1x^{(1)}+\dots+z_mx^{(m)}$，则 $g(z)=\|x(z)\|$ 在 $\mathbf F^m$ 上关于欧氏范数一致连续。证明：由反向三角不等式和 Cauchy–Schwarz，

|g(u)-g(v)|\le\Big\|\sum(u_i-v_i)x^{(i)}\Big\|\le\sum|u_i-v_i|\|x^{(i)}\|\le\Big(\sum|u_i-v_i|^2\Big)^{1/2}\Big(\sum\|x^{(i)}\|^2\Big)^{1/2}=C\|u-v\|_2.

（此引理不要求 $V$ 有限维。）

Theorem 5.4.4 设 $f_1,f_2$ 是有限维向量空间 $V$ 上的实值函数，$\mathcal B=\{x^{(1)},\dots,x^{(n)}\}$ 为基，$x(z)=\sum z_ix^{(i)}$。若 $f_1,f_2$ 都满足：(a) 正定：$f_i(x)\ge0$ 且 $f_i(x)=0\iff x=0$；(b) 齐次：$f_i(\alpha x)=|\alpha|f_i(x)$；(c) 连续：$f_i(x(z))$ 关于欧氏范数在 $\mathbf F^n$ 上连续。则存在有限正常数 $C_m,C_M$ 使

C_mf_1(x)\le f_2(x)\le C_Mf_1(x)\quad\forall x\in V.

证明：在欧氏单位球面 $S=\{z:\|z\|_2=1\}$（紧集）上定义 $h(z)=f_2(x(z))/f_1(x(z))$，由 (a) 分母为正、由 (c) $h$ 连续；由 Weierstrass 定理 $h$ 在 $S$ 上取到正的最小值 $C_m$ 与有限最大值 $C_M$。再用齐次性把不等式从 $S$ 推广到所有 $z\neq0$，$z=0$ 时显然；而每个 $x\in V$ 都形如 $x(z)$。

预范数（pre-norm）：有限维空间上满足正定、齐次、连续三条的实函数。范数都是预范数（5.4.3 保证连续性）；满足三角不等式的预范数就是范数。

正文练习：$\|x\|_\alpha=\|[10x_1,x_2]^T\|_\infty$，$\|x\|_\beta=\|[x_1,10x_2]^T\|_\infty$，则 $f(x)=(\|x\|_\alpha\|x\|_\beta)^{1/2}$ 是预范数但非范数（考察 $f([1,1]^T)=10$ 与 $f([0,1]^T)+f([1,0]^T)=2\sqrt{10}\approx6.3$）；一般地，几个范数的几何平均 $(\|x\|_{\alpha_1}\cdots\|x\|_{\alpha_k})^{1/k}$ 与最小值 $\min_i\|x\|_{\alpha_i}$ 都是预范数，未必是范数。

Corollary 5.4.6 有限维空间中，$x^{(k)}\to x$ 关于 $\|\cdot\|_\alpha$ 当且仅当关于 $\|\cdot\|_\beta$。证明：$C_m\|x^{(k)}-x\|_\alpha\le\|x^{(k)}-x\|_\beta\le C_M\|x^{(k)}-x\|_\alpha$。

Definition 5.4.7 两个范数称为等价（equivalent），若任一序列关于其中一个收敛到 $x$，则关于另一个也收敛到 $x$。于是有限维实/复向量空间上所有范数等价；无穷维则不然（例 5.4.2）。由于都与 $\|\cdot\|_\infty$ 等价，$\mathbf C^n$ 中按任一范数收敛等价于逐分量收敛。

Corollary 5.4.8 $V=\mathbf F^n$，$f$ 为预范数或范数，则单位球 $\{x:f(x)\le1\}$ 与单位球面 $\{x:f(x)=1\}$ 是紧集。证明：由 5.4.4 存在 $C$ 使 $\|x\|_2\le Cf(x)$，两集合含于半径 $C$ 的欧氏球中故有界；又由 $f$ 连续而为闭集。推论：其上连续实函数有界并取到最大、最小值。

Cauchy 列与完备性：判断一个序列是否收敛时，常需要不涉及极限本身的判据。

Definition 5.4.9 $\{x^{(k)}\}$ 关于 $\|\cdot\|$ 是 Cauchy 列，若对任意 $\epsilon>0$ 存在 $N(\epsilon)$，使 $k_1,k_2\ge N(\epsilon)$ 时 $\|x^{(k_1)}-x^{(k_2)}\|\le\epsilon$。
Theorem 5.4.10 有限维实/复空间中，序列收敛当且仅当它关于给定范数是 Cauchy 列。证明：取基并换成等价范数 $\|[x]_{\mathcal B}\|_\infty$，可设 $V=\mathbf F^n$、范数为 $\|\cdot\|_\infty$；Cauchy 列的每个分量是实/复 Cauchy 数列，由 $\mathbf R,\mathbf C$ 的完备性（completeness property）收敛；反向由三角不等式。
Definition 5.4.11 若每个 Cauchy 列都收敛到 $V$ 中的点，称 $V$ 关于该范数完备（complete）。有限维空间总是完备的；无穷维未必。正文练习：$C[0,1]$ 带 $L_1$ 范数，取在 $1/2$ 附近从 0 线性升到 1 的斜坡函数 $f_k$（$[0,\frac12-\frac1k]$ 上为 0，$[\frac12-\frac1k,\frac12+\frac1k]$ 上 $\frac k2(t-\frac12+\frac1k)$，其后为 1），它是 Cauchy 列，但极限是阶跃函数，不在 $C[0,1]$ 中。

对偶范数

Definition 5.4.12（dual norm） 设 $f$ 是 $V=\mathbf F^n$ 上的预范数，定义

f^D(y)=\max_{f(x)=1}\mathrm{Re}\langle x,y\rangle=\max_{f(x)=1}\mathrm{Re}\,y^*x.

良定义性：$\{x:f(x)=1\}$ 紧，$\mathrm{Re}\,y^*x$ 连续，Weierstrass 定理保证最大值取到。利用 $|c|=1$ 的旋转 $x\to cx$ 不改变 $f$，可得等价形式

f^D(y)=\max_{f(x)=1}|y^*x|=\max_{x\ne0}\frac{|y^*x|}{f(x)}.\tag{5.4.12a}

$f^D$ 齐次；正定：$y\ne0$ 时 $f^D(y)\ge|y^*y|/f(y)=\|y\|_2^2/f(y)>0$；即使 $f$ 不满足三角不等式，$f^D$ 也满足：$f^D(y+z)=\max|(y+z)^*x|\le\max|y^*x|+\max|z^*x|$。所以预范数的对偶总是范数。

Lemma 5.4.13（广义 Cauchy–Schwarz） 对预范数 $f$，$|y^*x|\le f(x)f^D(y)$ 且 $|y^*x|\le f^D(x)f(y)$。证明：$x\ne0$ 时 $|y^*(x/f(x))|\le\max_{f(z)=1}|y^*z|=f^D(y)$；第二式因 $|y^*x|=|x^*y|$。

常见对偶的计算：

若 $S$ 非奇异，$\|x\|_S=\|Sx\|$，则 $\|y\|_S^D=\max_{x\ne0}\frac{|y^*x|}{\|Sx\|}=\max_{z\ne0}\frac{|(S^{-*}y)^*z|}{\|z\|}=\|S^{-*}y\|^D,\tag{5.4.14}$ 即 $(\|\cdot\|_S)^D=(\|\cdot\|^D)_{S^{-*}}$。（统计直觉：马氏范数 $\|x\|_{\Sigma^{-1/2}}$ 的对偶是 $\|y\|_{\Sigma^{1/2}}$。）
由 $|y^*x|\le\sum|\bar y_ix_i|\le\|y\|_\infty\|x\|_1$ 与 $\le\|x\|_\infty\|y\|_1$（5.4.15），且分别在 $x=e_i$（$|y_i|=\|y\|_\infty$）和 $x_i=y_i/|y_i|$ 处取等，得 $\|\cdot\|_1^D=\|\cdot\|_\infty,\qquad\|\cdot\|_\infty^D=\|\cdot\|_1.\tag{5.4.15a}$
欧氏范数自对偶：$\|y\|_2^D=\|y\|_2$（Cauchy–Schwarz，取 $x=y/\|y\|_2$ 取等）。
一般 $p\ge1$，$1/p+1/q=1$：由 Hölder 不等式 $|y^*x|\le\|x\|_p\|y\|_q$，且当 $x_i=|y_i|^q/(\bar y_i\|y\|_q^{q-1})$（$y_i\ne0$）、否则 0 时取等，故 $\|\cdot\|_p^D=\|\cdot\|_q$，从而 $\|\cdot\|_q^D=\|\cdot\|_p$。对 $\ell_p$ 范数「对偶的对偶等于自身」并非巧合（见 5.5.9）；唯一自对偶的 $\ell_p$ 范数是欧氏范数，也非巧合：

Lemma 5.4.16 设 $f,g$ 是预范数、$c>0$：(a) $cf$ 是预范数，其对偶为 $c^{-1}f^D$；(b) 若 $f\le g$，则 $f^D\ge g^D$（对偶反序）。由 (5.4.12a) 直接得到。

Theorem 5.4.17 $\|\cdot\|$ 是 $\mathbf F^n$ 上范数、$c>0$。则 $\|x\|=c\|x\|^D$ 对一切 $x$ 成立当且仅当 $\|\cdot\|=\sqrt c\|\cdot\|_2$。特别地，$\|\cdot\|=\|\cdot\|^D$ 当且仅当 $\|\cdot\|=\|\cdot\|_2$。证明：充分性由 5.4.16(a)。必要性：令 $N(x)=c^{-1/2}\|x\|$，则 $N^D=c^{1/2}\|\cdot\|^D=c^{1/2}c^{-1}\|\cdot\|=N$，$N$ 自对偶。由 5.4.13，$\|x\|_2^2=|x^*x|\le N(x)N^D(x)=N(x)^2$，故 $\|x\|_2\le N(x)$；再由 5.4.16(b) 取对偶得 $\|x\|_2=\|x\|_2^D\ge N^D(x)=N(x)$。故 $N=\|\cdot\|_2$。

单调范数与绝对范数

每个 $k$-范数与 $\ell_p$ 范数只依赖分量的绝对值，并且是绝对值的非减函数。这两点有关联。

Definition 5.4.18 记 $|x|=[|x_i|]$，$|x|\le|y|$ 指逐分量不等。范数称为

(a) 单调的（monotone）：$|x|\le|y|\Rightarrow\|x\|\le\|y\|$；
(b) 绝对的（absolute）：$\|x\|=\||x|\|$。

Theorem 5.4.19 设 $\|\cdot\|$ 是 $\mathbf F^n$ 上范数。

(a) 若 $\|\cdot\|$ 绝对，则 $\|y\|^D=\max_{x\ne0}\dfrac{|y|^T|x|}{\|x\|}$（5.4.20）。
(b) 若 $\|\cdot\|$ 绝对，则 $\|\cdot\|^D$ 绝对且单调。
(c) $\|\cdot\|$ 绝对 $\iff$ 单调。

证明要点（$\mathbf F=\mathbf C$）：(a) 对 $|z|=|x|$ 的所有 $z$，$|y^*z|\le|y|^T|z|=|y|^T|x|$，取 $z_k=e^{i\theta_k}x_k$ 使 $e^{i\theta_k}\bar y_kx_k\ge0$ 时取等；而绝对性使 $\|z\|=\|x\|$，故在 $\max_{x}\max_{|z|=|x|}$ 中得 (5.4.20)。(b) 由 (5.4.20) 知 $\|y\|^D=\||y|\|^D$；若 $|z|\le|y|$，则 $|z|^T|x|\le|y|^T|x|$，故 $\|z\|^D\le\|y\|^D$。(c) 单调 ⇒ 绝对：$|y|=|x|$ 时双向不等式得相等。绝对 ⇒ 单调：对 $\alpha\in[0,1]$，把第 $k$ 个分量乘以 $\alpha$ 的向量写成凸组合

[x_1,\dots,\alpha x_k,\dots,x_n]^T=\tfrac12(1-\alpha)[x_1,\dots,-x_k,\dots,x_n]^T+\tfrac12(1-\alpha)x+\alpha x,

用三角不等式与绝对性（翻转一个分量符号不改变范数）得其范数 $\le\|x\|$。逐分量施行可得 $\|[\alpha_1x_1,\dots,\alpha_nx_n]^T\|\le\|x\|$，$\alpha_k\in[0,1]$；若 $|y|\le|x|$，可取 $\alpha_k$ 使 $|y_k|=\alpha_k|x_k|$，再由绝对性得 $\|y\|\le\|x\|$。（5.5.11 给出概念性证明。）

5.4 节习题概览：

5.4.P1–P2：最佳等价常数 $C_m(\alpha,\beta)=C_M(\beta,\alpha)^{-1}$，以及链式估计。
5.4.P3：$1\le p_1<p_2<\infty$ 时最佳界 $\|x\|_{p_2}\le\|x\|_{p_1}\le n^{(1/p_1-1/p_2)}\|x\|_{p_2},\tag{5.4.21}$ 以及 $\|x\|_\alpha\le C_{\alpha\beta}\|x\|_\beta$ 的常数表：

$\alpha\backslash\beta$	1	2	$\infty$
1	1	$\sqrt n$	$n$
2	1	1	$\sqrt n$
$\infty$	1	1	1

（取等向量：$e_1$ 或全 1 向量 $\mathbf 1$。）

5.4.P4：两范数等价当且仅当存在 5.4.5 式的两个常数。
5.4.P5：例 5.4.2 的 $f_k$ 逐点收敛到 0，关于 $L_1$ 是 Cauchy 列，关于 $L_\infty$ 不是。
5.4.P6：完备空间中绝对收敛级数（$\sum\|x^{(k)}\|\le M$）收敛——推广实数级数的比较判别。
5.4.P7：$\lim_{p\to\infty}\|x\|_p=\|x\|_\infty$；$|x|>0$ 时 $\lim_{p\to-\infty}\|x\|_p=\min|x_i|$。
5.4.P8：$k$-范数的对偶 $\|y\|_{[k]}^D=\max\Big\{\tfrac1k\|y\|_1,\ \|y\|_\infty\Big\}.\tag{5.4.22}$ （$k=1$ 得 $\|\cdot\|_1$，$k=n$ 得 $\|\cdot\|_\infty$。）
5.4.P9：$\|e_i\|\|e_i\|^D\ge1$，可严格大于 1。
5.4.P10：$\|x\|_\alpha\le C\|x\|_\beta\Rightarrow\|x\|_\beta^D\le C\|x\|_\alpha^D$。
5.4.P11：等距（isometry）：$\|Ax\|=\|x\|\ \forall x$。等距非奇异，构成一般线性群的子群（等距群）；等距的所有特征值模为 1，$|\det A|=1$；Auerbach 定理：等距群相似于某个酉矩阵群；酉广义置换矩阵（每行每列只有一个模 1 的非零元）是所有 $k$-范数与 $\ell_p$ 范数的等距。
5.4.P12：$A$ 是 $\|\cdot\|$ 的等距 ⇔ $A^*$ 是 $\|\cdot\|^D$ 的等距。
5.4.P13：$p\ne2$ 时，$\ell_p$ 范数的等距恰为酉广义置换矩阵。
5.4.P14：$f(x)=|x_1x_2|^{1/2}$ 的「单位球面」不紧（$f$ 不是预范数，不违背 5.4.8）。
5.4.P15：上述预范数 $f=(\|x\|_\alpha\|x\|_\beta)^{1/2}$ 的单位球在第一象限由 $x_2=1/\sqrt{10}$、$x_1=1/\sqrt{10}$ 线段与双曲线 $x_1x_2=1/100$ 围成，非凸；$f^D$ 的单位球由 $x_1/10+x_2=\sqrt{10}$、$x_1+x_2/10=\sqrt{10}$ 围成，凸；$f^{DD}$ 的单位球由 $x_2=1/\sqrt{10}$、$x_1=1/\sqrt{10}$、$x_1+x_2=11/(10\sqrt{10})$ 围成，恰为 $f$ 单位球的闭凸包。
5.4.P16：$C_m\|x\|\le\|x\|^D\le C_M\|x\|$，$C_M=\max_{\|x\|=1}\|x\|_2^2$，$C_m=\min_{\|x\|=1}\|x\|_2^2$。
5.4.P17：$f^D(y)=\max_{f(x)\le1}\mathrm{Re}\,y^*x$。
5.4.P18：线性无关性在小扰动下保持（存在 $\varepsilon$ 使 $\|x_i-y_i\|<\varepsilon$ 时 $y_i$ 仍无关）。

延伸阅读：Householder (1964)；「预范数的对偶是范数」的思想归于 von Neumann（1937，规范函数 gauge functions，即对称绝对范数）。

5.5 范数的对偶与几何性质（Duality and geometric properties of norms）（PDF p.355–360）

范数最主要的几何特征是它的单位球。

Definition 5.5.1 以 $x$ 为心、半径 $r>0$ 的球 $B_{\|\cdot\|}(r;x)=\{y:\|y-x\|\le r\}$；单位球 $B_{\|\cdot\|}=B_{\|\cdot\|}(1;0)=\{y:\|y\|\le1\}$。$B(r;x)=x+B(r;0)$：任意球只是原点球的平移。由齐次性，单位球（实际上只需其边界）完全刻画范数。目标：确定 $\mathbf C^n$ 中哪些子集能成为某个范数的单位球。

正文练习要点：

画 $\mathbf R^2$ 上 $\ell_1$（菱形）、$\ell_2$（圆）、$\ell_\infty$（正方形）的单位球，它们依次包含：$B_{\ell_1}\subset B_{\ell_2}\subset B_{\ell_\infty}$；$\pm e_1,\pm e_2$ 在每个 $\ell_p$ 单位球的边界上。
$\|x\|_\alpha\le\|x\|_\beta\ \forall x$ 当且仅当 $B_{\|\cdot\|_\beta}\subset B_{\|\cdot\|_\alpha}$：范数的偏序对应单位球的包含（反向）。范数乘以 $c>0$，单位球缩小为 $1/c$ 倍。
若 $\|\alpha x\|=\|x\|$，则 $x=0$ 或 $|\alpha|=1$；故每条射线 $\{\alpha x:\alpha>0\}$ 与单位球边界恰好相交一次。

Definition 5.5.2 单位球是多面体的范数称为多面体范数（polyhedral norm）。$\ell_1$、$\ell_\infty$ 是多面体范数，$1<p<\infty$ 的 $\ell_p$ 不是；$\|\cdot\|$ 多面体且 $S$ 非奇异时 $\|\cdot\|_S$ 仍是多面体范数。

Definition 5.5.3（拓扑概念） 内点（interior point：存在 $\epsilon$ 使 $B(\epsilon;x)\subset S$）、开集、闭集（补集开）、极限点（$S$ 中某序列的极限）、闭包（$S$ 并上极限点）、边界（闭包与补集闭包之交）、有界（含于某 $B(M;0)$）、紧（任意开覆盖有有限子覆盖）。定义与 $\mathbf R^n$ 中相同。

单位球的必要性质：

Observation 5.5.4：$\dim V>0$ 时 0 是单位球的内点（$B(\frac12;0)\subset B(1;0)$）。
Observation 5.5.5：单位球是均衡的（equilibrated）：$x\in B$、$|\alpha|=1$ 则 $\alpha x\in B$。
Observation 5.5.6：有限维时单位球紧（有界且因范数连续而闭；有限维中有界闭集紧，无穷维不一定）。Weierstrass 定理：紧集上连续实函数有界并取到上下确界。练习：$\ell_2$（可数无穷序列空间）中 $\|e_k-e_j\|_2=\sqrt2$，单位向量序列没有收敛子列，故 $\ell_2$ 的单位球不紧。
Observation 5.5.7：单位球凸：$\|\alpha x+(1-\alpha)y\|\le\alpha\|x\|+(1-\alpha)\|y\|\le1$。

Theorem 5.5.8（单位球的刻画） 正维数有限维实/复空间 $V$ 中，集合 $B$ 是某范数的单位球，当且仅当 $B$ (i) 紧，(ii) 凸，(iii) 均衡，(iv) 以 0 为内点。证明（充分性）：用 Minkowski 规范函数（gauge）定义

\|x\|=\begin{cases}0,&x=0\\ \min\{1/t:\ t>0,\ tx\in B\},&x\ne0.\end{cases}

即沿射线 $\{\alpha x:0\le\alpha\le1\}$ 以「到边界的距离」为单位度量 $x$ 的长度。因 $B$ 紧且 0 为内点，该函数良定、有限、对非零 $x$ 为正；均衡性给出齐次性；三角不等式：$x/\|x\|,y/\|y\|\in B$，由凸性

z=\frac{\|x\|}{\|x\|+\|y\|}\frac{x}{\|x\|}+\frac{\|y\|}{\|x\|+\|y\|}\frac{y}{\|y\|}\in B,

故 $\|z\|\le1$，即 $\|x+y\|\le\|x\|+\|y\|$。

单位球的凸性有深远推论，其中之一是对偶定理。用到的几何事实（附录 B）：(a) 集合 $S$ 的凸包 $\mathrm{Co}(S)$ 是包含 $S$ 的最小凸集；(b) 凸包的闭包 $\overline{\mathrm{Co}(S)}$ 等于所有包含 $S$ 的闭半空间之交；(c) 若 $x$ 在每个包含 $S$ 的闭半空间中，则 $x\in\overline{\mathrm{Co}(S)}$。

Theorem 5.5.9（对偶定理 Duality theorem） 设 $f$ 是 $\mathbf R^n$ 或 $\mathbf C^n$ 上的预范数，$f^D$ 为其对偶，$f^{DD}$ 为 $f^D$ 的对偶；$B=\{x:f(x)\le1\}$，$B''=\{x:f^{DD}(x)\le1\}$。则

(a) $f^{DD}(x)\le f(x)$，故 $B\subset B''$；
(b) $B''=\overline{\mathrm{Co}(B)}$；
(c) 若 $f$ 是范数，则 $B=B''$ 且 $f^{DD}=f$；
(d) 若 $f$ 是范数，对任意 $x_0$，存在 $z$（未必唯一）使 $f^D(z)=1$ 且 $f(x_0)=z^*x_0$，即 $|z^*x|\le f(x)\ \forall x$ 且在 $x_0$ 取等（「支撑泛函」/Hahn–Banach 型结论）。

证明要点：(a) 由 5.4.13，$f^{DD}(x)=\max_{f^D(y)=1}|y^*x|\le\max f(x)f^D(y)=f(x)$。(b) $\{t:\mathrm{Re}\,t^*v\le1\}$ 是含原点的闭半空间，任何这样的半空间都能如此表示。对 $u\in B''$，有 $\mathrm{Re}\,u^*v\le1$ 对所有满足 $f^D(v)\le1$ 的 $v$，而 $f^D(v)\le1$ 等价于 $w^*v\le1$（取实部）对所有 $w\in B$；故 $u$ 位于每个包含 $B$ 的闭半空间中，$u\in\overline{\mathrm{Co}(B)}$。反之 $B''$ 是范数单位球，凸且闭、含 $B$，故 $\overline{\mathrm{Co}(B)}\subset B''$。(c) 范数的单位球凸且闭，$B=\overline{\mathrm{Co}(B)}=B''$。(d) 由 (c) $f(x_0)=\max_{f^D(y)=1}\mathrm{Re}\,y^*x_0$，由紧性存在 $z$ 达到最大；若 $z^*x_0$ 不是非负实数，旋转 $e^{i\theta}z$ 可使实部更大，与极大性矛盾。

f(x)=\max_{f^D(y)=1}\mathrm{Re}\,y^*x.\tag{5.5.10}

Corollary 5.5.11 $\mathbf R^n$ 或 $\mathbf C^n$ 上的绝对范数是单调的。概念性证明：由 5.4.19(b)，绝对范数的对偶是绝对的；由对偶定理 $\|\cdot\|=(\|\cdot\|^D)^D$ 是绝对范数的对偶，再由 5.4.19(b) 它单调。

5.5 节习题概览：

5.5.P1–P4：闭集 ⇔ 含所有极限点；闭包即极限点集；既开又闭（全空间、空集）与既不开也不闭的例子；紧集闭且有界、紧集中的序列有收敛子列、紧集的闭子集紧。
5.5.P5：$\dim V=0$ 时 5.5.8 的退化情形。
5.5.P6：$f(x)=|x_2|$ 是 $\mathbf R^2$ 上半范数，其「单位球」是带状区域，不紧。
5.5.P7：$\|x\|=\max\{\|x\|_\alpha,\|x\|_\beta\}$ 的单位球是两单位球之交。
5.5.P8：$f^{DD}$ 是一致不超过 $f$ 的最大范数（预范数的「凸化」）。
5.5.P9：对绝对范数，$\|e_i\|\|e_i\|^D=1$；标准化（standardized）范数指 $\nu(e_i)=1$；绝对标准化范数的对偶仍是绝对标准化范数。
5.5.P10：$\|x\|_{(k)}=\max\{\frac1k\|x\|_1,\|x\|_\infty\}$ 是范数，其对偶是 $k$-范数 $\|\cdot\|_{[k]}$（与 5.4.P8 对照）；由 5.5.P7，其单位球是缩放的 $\ell_1$ 球与 $\ell_\infty$ 球之交。
5.5.P11：弱单调（weakly monotone）：把某个坐标置零不增大范数。它等价于 $\|[\alpha_1x_1,\dots,\alpha_nx_n]^T\|\le\|x\|$（$\alpha_k\in[0,1]$）；单调 ⇒ 弱单调。例：顶点 $\pm[2,2]^T,\pm[1,-1]^T$ 的平行四边形是非弱单调范数的单位球；顶点 $\pm[0,1]^T,\pm[1,0]^T,\pm[1,1]^T$ 的六边形是弱单调但不单调（故非绝对）范数的单位球；绝对范数的单位球关于各坐标轴对称。

延伸阅读：Householder (1964)；对偶定理证明的关键思想（把二次对偶的单位球与所有包含单位球的半空间之交等同）来自 von Neumann；Valentine (1964) 关于凸集。

5.6 矩阵范数（Matrix norms）（PDF p.360–390）

5.6.0 定义与基本例子（PDF p.360–363）

$M_n$ 本身是 $n^2$ 维向量空间，可用 $\mathbf C^{n^2}$ 上任意范数度量矩阵「大小」。但 $M_n$ 还有乘法，估计中常需要把 $AB$ 的大小与 $A$、$B$ 的大小联系起来。

矩阵范数（matrix norm，又称环范数 ring norm）$|||\cdot|||:M_n\to\mathbf R$ 满足五条公理：(1) $|||A|||\ge0$；(1a) $|||A|||=0\iff A=0$；(2) $|||cA|||=|c|\,|||A|||$；(3) $|||A+B|||\le|||A|||+|||B|||$；(4) 次乘性（submultiplicativity）$|||AB|||\le|||A|||\,|||B|||$。前四条与向量范数公理相同；不满足 (4) 的 $M_n$ 上范数称为「矩阵上的向量范数」或「广义矩阵范数」（generalized matrix norm）；去掉 (1a) 可定义矩阵半范数。

直接推论：

$|||A^2|||\le|||A|||^2$，故幂等矩阵（$A^2=A\ne0$）满足 $|||A|||\ge1$；特别地 $|||I|||\ge1$。
$A$ 非奇异时 $|||I|||\le|||A|||\,|||A^{-1}|||$，得下界 $|||A^{-1}|||\ge|||I|||/|||A|||$。
$|||A^k|||\le|||A|||^k$（对一般矩阵上的范数不成立，例如下面的 $\|\cdot\|_\infty$）。

例子（$A=[a_{ij}]\in M_n$）：

$\ell_1$ 范数 $\|A\|_1=\sum_{i,j}|a_{ij}|$（5.6.0.1）是矩阵范数：$\|AB\|_1=\sum_{i,j}|\sum_ka_{ik}b_{kj}|\le\sum_{i,j,k}|a_{ik}b_{kj}|\le\sum_{i,j,k,m}|a_{ik}b_{mj}|=\|A\|_1\|B\|_1$（第二步添加额外非负项）。
$\ell_2$ 范数（Frobenius 范数、Schur 范数、Hilbert–Schmidt 范数）$\|A\|_2=|\mathrm{tr}AA^*|^{1/2}=(\sum|a_{ij}|^2)^{1/2}$（5.6.0.2），矩阵范数：对内积 $\sum_ka_{ik}b_{kj}$ 用 Cauchy–Schwarz 得 $\|AB\|_2^2\le\sum_{i,j}(\sum_k|a_{ik}|^2)(\sum_m|b_{mj}|^2)=\|A\|_2^2\|B\|_2^2$。它是绝对范数（即 $A$ 视为 $\mathbf C^{n^2}$ 向量的欧氏范数）；又 $\mathrm{tr}AA^*$ 是 $AA^*$ 的特征值之和 $=$ 奇异值平方和，故 $\|A\|_2=\sqrt{\sigma_1^2+\dots+\sigma_n^2}$（2.6.3.3），从而 $\|A\|_2=\|A^*\|_2=\|UAV\|_2$（$U,V$ 酉）。
$\ell_\infty$ 范数 $\|A\|_\infty=\max|a_{ij}|$（5.6.0.3）是 $M_n$ 上的范数但不是矩阵范数：$J=\begin{bmatrix}1&1\\1&1\end{bmatrix}$，$J^2=2J$，$\|J^2\|_\infty=2>1=\|J\|_\infty^2$。但 $N(A)=n\|A\|_\infty$（5.6.0.4）是矩阵范数：$N(AB)=n\max|\sum_ka_{ik}b_{kj}|\le n\cdot n\|A\|_\infty\|B\|_\infty=N(A)N(B)$。（「标量倍数可使范数成为矩阵范数」并非偶然，见 5.7.11。）
介于 $\|A\|_\infty$ 与 $n\|A\|_\infty$ 之间的矩阵范数：按列分块 $A=[a_1\ \dots\ a_n]$，$N_\infty(A)=\sum_j\|a_j\|_\infty$（5.6.0.5）。次乘性：$N_\infty(AB)=\sum_j\|Ab_j\|_\infty\le\sum_j\sum_k\|a_k\|_\infty|b_{kj}|\le\sum_k\|a_k\|_\infty\sum_j\|b_j\|_\infty$（结构性证明见 5.6.40）。

诱导范数（PDF p.363–366）

Definition 5.6.1 设 $\|\cdot\|$ 是 $\mathbf C^n$ 上范数，定义 $|||A|||=\max_{\|x\|=1}\|Ax\|$。等价形式：

|||A|||=\max_{\|x\|\le1}\|Ax\|=\max_{x\ne0}\frac{\|Ax\|}{\|x\|}=\max_{\|x\|_\alpha=1}\frac{\|Ax\|}{\|x\|}\ (\|\cdot\|_\alpha\text{ 任意}).

Theorem 5.6.2 上述 $|||\cdot|||$ 满足：(a) $|||I|||=1$；(b) $\|Ay\|\le|||A|||\,\|y\|$；(c) $|||\cdot|||$ 是矩阵范数；(d) $|||A|||=\max_{\|x\|=\|y\|^D=1}|y^*Ax|$。证明要点：(b) 对单位向量 $y/\|y\|$ 用定义。(c) 公理 (1a)：$A\ne0$ 时存在单位向量 $y$ 使 $Ay\neq0$；(2) 直接；(3) $\|(A+B)x\|\le\|Ax\|+\|Bx\|\le|||A|||+|||B|||$；(4) $\|ABx\|\le|||A|||\,\|Bx\|\le|||A|||\,|||B|||$。(d) 由对偶定理 5.5.9(c)：$\max_{\|y\|^D=1}|y^*Ax|=\|Ax\|^{DD}=\|Ax\|$。

Definition 5.6.3 上面的 $|||\cdot|||$ 称为由 $\|\cdot\|$ 诱导的矩阵范数（induced matrix norm），又称算子范数（operator norm）或 lub 范数（least upper bound norm）。

不等式 5.6.2(b) 称向量范数与矩阵范数相容（compatible）；故任何 $\mathbf C^n$ 上范数都有相容的矩阵范数。
$|||I|||=1$ 的范数称为单位的（unital）。诱导范数都是单位的；$\ell_\infty$ 范数单位但非矩阵范数；(5.6.33.1) 给出单位但非诱导的矩阵范数。
诱导范数必是矩阵范数，因此证明某函数是矩阵范数的一种方法是证明它由某个向量范数诱导。

Example 5.6.4（最大列和范数 maximum column sum matrix norm） $|||A|||_1=\max_j\sum_i|a_{ij}|$ 由 $\ell_1$ 范数诱导。证明：$\|Ax\|_1=\|\sum x_ia_i\|_1\le\sum|x_i|\|a_i\|_1\le\|x\|_1\max_k\|a_k\|_1$；取 $x=e_k$ 得反向不等式。

Example 5.6.5（最大行和范数 maximum row sum matrix norm） $|||A|||_\infty=\max_i\sum_j|a_{ij}|$ 由 $\ell_\infty$ 范数诱导。证明：$\|Ax\|_\infty\le\max_i\sum_j|a_{ij}||x_j|\le|||A|||_\infty\|x\|_\infty$；若第 $k$ 行非零，取 $z_j=\bar a_{kj}/|a_{kj}|$（$a_{kj}\neq0$）否则 $z_j=1$，则 $\|z\|_\infty=1$，$\|Az\|_\infty\ge|\sum_ja_{kj}z_j|=\sum_j|a_{kj}|$。

Example 5.6.6（谱范数 spectral norm） $|||A|||_2=\sigma_1(A)$（最大奇异值），由 $\ell_2$ 范数诱导。证明：SVD $A=V\Sigma W^*$，由欧氏范数的酉不变性与单调性，$\max_{\|x\|_2=1}\|Ax\|_2=\max_{\|y\|_2=1}\|\Sigma y\|_2\le\sigma_1$，且 $y=e_1$ 取等。另证：$\max\|Ax\|_2^2=\max x^*A^*Ax=\lambda_{\max}(A^*A)=\sigma_1^2$（Rayleigh 商 4.2.2）。由 5.6.2(d)，$\sigma_1(A)=\max_{\|x\|_2=\|y\|_2=1}|y^*Ax|$。谱范数酉不变：$|||UAV|||_2=|||A|||_2$。

Theorem 5.6.7（相似变换生成新范数） 若 $|||\cdot|||$ 是矩阵范数、$S$ 非奇异，则 $|||A|||_S=|||SAS^{-1}|||$ 是矩阵范数；若 $|||\cdot|||$ 由 $\|\cdot\|$ 诱导，则 $|||\cdot|||_S$ 由 $\|x\|_S=\|Sx\|$（5.2.6）诱导。证明：次乘性 $|||SABS^{-1}|||=|||(SAS^{-1})(SBS^{-1})|||\le|||A|||_S|||B|||_S$；诱导性：$\max_{\|Sx\|=1}\|SAx\|=\max_{\|y\|=1}\|SAS^{-1}y\|$。

谱半径的界与收敛矩阵（PDF p.366–369）

设 $Ax=\lambda x$，$x\ne0$，令 $X=xe^T=[x\ \cdots\ x]$，则 $AX=\lambda X$，于是

|\lambda|\,|||X|||=|||AX|||\le|||A|||\,|||X|||,\tag{5.6.8}

得 $|\lambda|\le|||A|||$。

Theorem 5.6.9 对任意矩阵范数和 $A$ 的任意特征值 $\lambda$：(a) $|\lambda|\le\rho(A)\le|||A|||$；(b) 若 $A$ 非奇异，$\rho(A)\ge|\lambda|\ge1/|||A^{-1}|||$。

正文练习：(i) 正规矩阵 $\rho(A)=|||A|||_2$，故正规 $A,B$ 有 $\rho(AB)\le\rho(A)\rho(B)$，一般矩阵不成立。(ii) $|\lambda_1|\le\sigma_1$，非奇异时 $|\lambda_n|\ge\sigma_n$（$A^{-1}$ 的最大奇异值是 $1/\sigma_n$）。(iii) 任意矩阵范数 $|||\cdot|||$ 都有相容的向量范数 $\|x\|=|||xe^T|||$。(iv) 若 $M_n$ 上的范数 $N$（不必是矩阵范数）有相容的向量范数，则 $N(A)\ge\rho(A)$。

谱半径本身不是 $M_n$ 上的范数（5.6.P19），但它是所有矩阵范数值的下确界：

Lemma 5.6.10 对任意 $A\in M_n$、$\epsilon>0$，存在矩阵范数使 $\rho(A)\le|||A|||\le\rho(A)+\epsilon$。证明：Schur 分解 $A=U\Delta U^*$（$\Delta$ 上三角，对角元为特征值）。令 $D_t=\mathrm{diag}(t,t^2,\dots,t^n)$，则 $D_t\Delta D_t^{-1}$ 的 $(i,j)$ 元（$j>i$）为 $t^{-(j-i)}d_{ij}$。$t$ 充分大时非对角元绝对值之和小于 $\epsilon$，于是 $|||D_t\Delta D_t^{-1}|||_1\le\rho(A)+\epsilon$。定义 $|||B|||=|||(D_tU^*)B(D_tU^*)^{-1}|||_1$，由 5.6.7 它是（诱导的）矩阵范数。

推论（练习）：$\rho(A)=\inf\{|||A|||:|||\cdot|||\text{ 为诱导矩阵范数}\}$。何时下确界可取到见 5.6.P38–P39。

Lemma 5.6.11 若存在矩阵范数使 $|||A|||<1$，则 $A^k\to0$（逐元素）。证明：$|||A^k|||\le|||A|||^k\to0$，再用有限维范数等价。

注意：可能 $|||A|||_\alpha<1$ 而 $|||A|||_\beta>1$；只要存在一个范数小于 1 就足够推出收敛。

收敛矩阵（convergent matrix）：$\lim A^k=0$，在迭代过程分析中极重要。

Theorem 5.6.12 $\lim_{k\to\infty}A^k=0$ 当且仅当 $\rho(A)<1$。证明：必要性：$Ax=\lambda x$ 则 $A^kx=\lambda^kx\to0$ 要求 $|\lambda|<1$。充分性：由 5.6.10 存在 $|||A|||<1$，再用 5.6.11。

练习例：$A=\begin{bmatrix}.5&1\\0&.5\end{bmatrix}$，计算 $A^k$ 与各范数的行为（元素先增后减，最终趋零）；$A=\begin{bmatrix}.5&1\\-.125&.5\end{bmatrix}$，迭代 $x^{(k+1)}=Ax^{(k)}$ 对任意初值收敛到 0（$\rho(A)<1$）。

Corollary 5.6.13 对任意 $A$ 与 $\epsilon>0$，存在常数 $C=C(A,\epsilon)$ 使 $|(A^k)_{ij}|\le C(\rho(A)+\epsilon)^k$ 对所有 $k,i,j$ 成立。证明：$\tilde A=[\rho(A)+\epsilon]^{-1}A$ 的谱半径小于 1，故 $\tilde A^k\to0$ 有界。练习：$A=\begin{bmatrix}a&1\\0&a\end{bmatrix}$，$A^k=\begin{bmatrix}a^k&ka^{k-1}\\0&a^k\end{bmatrix}$，说明不能取 $\epsilon=0$（Jordan 块带来多项式因子 $k$）。

Corollary 5.6.14（Gelfand 公式） 对任意矩阵范数，$\rho(A)=\lim_{k\to\infty}|||A^k|||^{1/k}$。证明：$\rho(A)^k=\rho(A^k)\le|||A^k|||$ 给出下界；对 $\epsilon>0$，$\tilde A=[\rho(A)+\epsilon]^{-1}A$ 收敛，故存在 $N$ 使 $k\ge N$ 时 $|||\tilde A^k|||\le1$，即 $|||A^k|||^{1/k}\le\rho(A)+\epsilon$。

练习：若存在 $M_n$ 上范数使 $\sum\|A_k\|$ 收敛（或部分和有界），则 $\sum A_k$ 收敛（部分和为 Cauchy 列）。

矩阵幂级数与 Neumann 级数（PDF p.370–372）

纯量幂级数 $\sum a_kz^k$ 有收敛半径 $R=(\limsup\sqrt[k]{|a_k|})^{-1}$（若极限存在等于 $\lim|a_k/a_{k+1}|$）：$|z|<R$ 绝对收敛，$|z|>R$ 发散。由

\Big|\Big|\Big|\sum a_kA^k\Big|\Big|\Big|\le\sum|a_k|\,|||A^k|||\le\sum|a_k|\,|||A|||^k,

若 $|||A|||<R$ 则矩阵幂级数收敛；而由 5.6.10，存在这样的矩阵范数当且仅当 $\rho(A)<R$。

Theorem 5.6.15 设 $R$ 是 $\sum a_kz^k$ 的收敛半径。若 $\rho(A)<R$，则 $\sum a_kA^k$ 收敛；特别地，存在矩阵范数使 $|||A|||<R$ 时收敛。

应用：$e^z$ 收敛半径 $\infty$，故 $e^A=\sum A^k/k!$ 对一切 $A$ 有定义；类似可定义 $\cos A,\sin A$；$\log(I-A)=-\sum_{k\ge1}A^k/k$ 在 $\rho(A)<1$ 时有定义。

本原矩阵函数（primary matrix function）：$A=S\Lambda S^{-1}$ 可对角化，$f$ 的定义域含所有特征值，令 $f(A)=Sf(\Lambda)S^{-1}$，$f(\Lambda)=\mathrm{diag}(f(\lambda_i))$。与对角化矩阵 $S$ 的选择无关：把相等特征值集中排列，若 $A=T\Lambda T^{-1}$，由 (1.3.27) $T=SR$，$R$ 与 $\Lambda$ 同分块的块对角矩阵，$R\Lambda=\Lambda R$ 从而 $Rf(\Lambda)=f(\Lambda)R$，于是 $Tf(\Lambda)T^{-1}=SRf(\Lambda)R^{-1}S^{-1}=Sf(\Lambda)S^{-1}$。此定义对 $f$ 要求更少（不必解析）而对矩阵要求更多（可对角化）；不可对角化矩阵的本原矩阵函数需要 $f$ 的可微性（见 Horn & Johnson 1991 第 6 章）。练习：若 $f$ 由收敛半径 $>\rho(A)$ 的幂级数给出，两种定义一致：$\sum a_k(S\Lambda S^{-1})^k=S(\sum a_k\Lambda^k)S^{-1}$。

Corollary 5.6.16（Neumann 级数） 若存在矩阵范数使 $|||I-A|||<1$，则 $A$ 非奇异且

A^{-1}=\sum_{k=0}^\infty(I-A)^k.

证明：$\sum z^k$ 收敛半径 1，级数收敛到 $C$；$A\sum_{k=0}^N(I-A)^k=(I-(I-A))\sum_{k=0}^N(I-A)^k=I-(I-A)^{N+1}\to I$。等价表述：$|||A|||<1$ 时 $I-A$ 非奇异且 $(I-A)^{-1}=\sum A^k$。

正文练习（扰动与近似逆）：

若 $|||BA-I|||<1$，则 $A,B$ 都非奇异（$B$ 是 $A$ 的近似逆 approximate inverse）。
若 $|||I|||=1$ 且 $|||A|||<1$：$\dfrac1{1+|||A|||}\le|||(I-A)^{-1}|||\le\dfrac1{1-|||A|||}$。
一般矩阵范数（$|||I|||\ge1$）：$\dfrac{|||I|||}{|||I|||+|||A|||}\le|||(I-A)^{-1}|||\le\dfrac{|||I|||-(|||I|||-1)|||A|||}{1-|||A|||}$。
若 $A$ 非奇异而 $A+B$ 奇异，则 $|||B|||\ge1/|||A^{-1}|||$：非奇异矩阵到奇异矩阵的距离有内在下限（$A+B=A(I+A^{-1}B)$，若 $|||A^{-1}B|||<1$ 则非奇异）。对谱范数这正是「到最近奇异矩阵的距离 $=\sigma_n$」。

Corollary 5.6.17（Levy–Desplanques 定理） 若 $|a_{ii}|>\sum_{j\ne i}|a_{ij}|$ 对所有 $i$ 成立（严格对角占优 strictly diagonally dominant），则 $A$ 非奇异。证明：$D=\mathrm{diag}(a_{11},\dots,a_{nn})$，$B=I-D^{-1}A$ 对角为 0、$b_{ij}=-a_{ij}/a_{ii}$，假设保证 $|||B|||_\infty<1$，由 5.6.16 $D^{-1}A=I-B$ 非奇异。改进见第 6 章（6.1、6.2、6.4 节）。

诱导范数的极小性（PDF p.372–376）

用 $|||A|||<1$ 判断收敛时，自然偏好一致尽可能小的矩阵范数。诱导范数恰有这种极小性，而且该性质刻画了它们。

两个矩阵范数之间的最小常数 $C_{\alpha\beta}=\max_{A\ne0}|||A|||_\alpha/|||A|||_\beta$。一般 $C_{\alpha\beta}$ 与 $C_{\beta\alpha}$ 无明显关系，但 5.6.P23 的表中 $|||\cdot|||_1,|||\cdot|||_2,|||\cdot|||_\infty$ 之间的常数对称，这反映了诱导范数的普遍性质：

Theorem 5.6.18 设 $|||\cdot|||_\alpha,|||\cdot|||_\beta$ 分别由 $\|\cdot\|_\alpha,\|\cdot\|_\beta$ 诱导，定义

R_{\alpha\beta}=\max_{x\ne0}\frac{\|x\|_\alpha}{\|x\|_\beta},\qquad R_{\beta\alpha}=\max_{x\ne0}\frac{\|x\|_\beta}{\|x\|_\alpha}.\tag{5.6.19}

则

\max_{A\ne0}\frac{|||A|||_\alpha}{|||A|||_\beta}=R_{\alpha\beta}R_{\beta\alpha}\tag{5.6.20}

\max_{A\ne0}\frac{|||A|||_\alpha}{|||A|||_\beta}=\max_{A\ne0}\frac{|||A|||_\beta}{|||A|||_\alpha}=R_{\alpha\beta}R_{\beta\alpha}.\tag{5.6.21}

证明要点：取 $\xi$ 使 $\|A\xi\|_\alpha=|||A|||_\alpha\|\xi\|_\alpha$，则

|||A|||_\alpha=\frac{\|A\xi\|_\alpha}{\|\xi\|_\alpha}\le\frac{\|\xi\|_\beta}{\|\xi\|_\alpha}\cdot\frac{R_{\alpha\beta}\|A\xi\|_\beta}{\|\xi\|_\beta}\le R_{\beta\alpha}R_{\alpha\beta}|||A|||_\beta.\tag{5.6.22}

构造达到上界的秩一矩阵：取 $y_0,z_0$ 使 $\|y_0\|_\alpha=R_{\alpha\beta}\|y_0\|_\beta$、$\|z_0\|_\beta=R_{\beta\alpha}\|z_0\|_\alpha$；由 5.5.9(d) 取 $w$ 使 $|w^*x|\le\|x\|_\beta$ 且 $w^*z_0=\|z_0\|_\beta$；令 $B=y_0w^*$。则 $|||B|||_\alpha\ge\|Bz_0\|_\alpha/\|z_0\|_\alpha=R_{\beta\alpha}R_{\alpha\beta}\|y_0\|_\beta$，而 $|||B|||_\beta\le\|y_0\|_\beta$，故 $|||B|||_\alpha\ge R_{\alpha\beta}R_{\beta\alpha}|||B|||_\beta$。(5.6.21) 由右端关于 $\alpha,\beta$ 对称得到。意义：若 $|||A|||_\alpha\le C|||A|||_\beta$ 对一切 $A$，则也有 $|||A|||_\beta\le C|||A|||_\alpha$。

Lemma 5.6.23 对诱导范数，$R_{\alpha\beta}R_{\beta\alpha}\ge1$（5.6.24），且以下等价：(a) $R_{\alpha\beta}R_{\beta\alpha}=1$；(b) 存在 $c>0$ 使 $\|x\|_\alpha=c\|x\|_\beta$；(c) $|||\cdot|||_\alpha=|||\cdot|||_\beta$。证明：$R_{\beta\alpha}=(\min\|x\|_\alpha/\|x\|_\beta)^{-1}\ge(\max\|x\|_\alpha/\|x\|_\beta)^{-1}=1/R_{\alpha\beta}$，取等当且仅当比值为常数；(b)⇒(c) 直接计算；(c)⇒(a) 由 (5.6.20)。即：两个向量范数诱导同一矩阵范数当且仅当它们成比例。

Corollary 5.6.25 对诱导范数，$|||A|||_\alpha\le|||A|||_\beta\ \forall A$ 当且仅当 $|||\cdot|||_\alpha=|||\cdot|||_\beta$（由 5.6.21）。即没有诱导范数一致小于另一个不同的诱导范数。下面的定理更进一步：没有任何矩阵范数一致小于一个不同的诱导范数。

Theorem 5.6.26 设 $|||\cdot|||$ 是矩阵范数，$|||\cdot|||_\alpha$ 是诱导矩阵范数，$z\ne0$，定义 $\|x\|_z=|||xz^*|||$（5.6.27）。则

(a) $\|\cdot\|_z$ 是 $\mathbf C^n$ 上范数（不需要次乘性）；
(b) 它诱导的矩阵范数 $N_z(A)=\max_{x\ne0}\dfrac{|||Axz^*|||}{|||xz^*|||}$（5.6.28）满足 $N_z(A)\le|||A|||$（由次乘性）；
(c) $|||A|||\le|||A|||_\alpha\ \forall A$ 当且仅当 $N_z=|||\cdot|||=|||\cdot|||_\alpha$。证明：$N_z\le|||\cdot|||\le|||\cdot|||_\alpha$，两端都是诱导范数，由 5.6.25 相等。

练习推论：若 $|||\cdot|||$ 本身是诱导范数，则对每个 $z\ne0$ 都有 $N_z=|||\cdot|||$。另一种看法：对诱导范数，由 5.6.2(d) 和 5.5.9(d)，

|||Axz^*|||=\max_{\|\xi\|=\|\eta\|^D=1}|\eta^*Axz^*\xi|=\|Ax\|^{DD}\|z\|^D=\|Ax\|\,\|z\|^D,\tag{5.6.29}

$A=I$ 时 $|||xz^*|||=\|x\|_z=\|x\|\,\|z\|^D$（5.6.30），故 $N_z(A)=\max\|Ax\|\|z\|^D/(\|x\|\|z\|^D)=|||A|||$。

Definition 5.6.31 矩阵范数 $|||\cdot|||$ 称为极小的（minimal），若满足 $N(A)\le|||A|||\ \forall A$ 的矩阵范数 $N$ 只有 $N=|||\cdot|||$ 本身。

Theorem 5.6.32（诱导 ⇔ 极小） 设 $|||\cdot|||$ 是矩阵范数，$N_z$ 如 (5.6.27)(5.6.28)。以下等价：(a) $|||\cdot|||$ 是诱导范数；(b) 它是极小矩阵范数；(c) 对所有非零 $z$，$|||\cdot|||=N_z$；(d) 对某个非零 $z$，$|||\cdot|||=N_z$。证明：(a)⇒(b) 由 5.6.26(c)；(b)⇒(c) 由 5.6.26(b)；(c)⇒(d)⇒(a) 显然（$N_z$ 本身是诱导范数）。

进一步：若对所有非零 $y,z$ 有 $N_y=N_z$，由 5.6.23 存在常数 $c_{yz}>0$ 使 $\|x\|_y=c_{yz}\|x\|_z$；对诱导范数，由 (5.6.30) $c_{yz}=\|y\|^D/\|z\|^D$。

Theorem 5.6.33 设 $|||\cdot|||$ 是矩阵范数，$\|\cdot\|_z$ 如 (5.6.27)。以下两条等价：(a) 对每对非零 $y,z$ 存在 $c_{yz}>0$ 使 $\|x\|_y=c_{yz}\|x\|_z$；(b) $|||xy^*|||\,|||zz^*|||=|||xz^*|||\,|||zy^*|||$ 对一切 $x,y,z$。若 $|||\cdot|||$ 由 $\|\cdot\|$ 诱导，则 (c)：(a)(b) 成立且 $c_{yz}=\|y\|^D/\|z\|^D$，且 $\|x\|_y=|||xy^*|||=\dfrac{|||xz^*|||\,|||zy^*|||}{|||zz^*|||}=\dfrac{\|x\|_z\|z\|_y}{\|z\|_z}$。练习：诱导范数的正数倍满足 (b)；矩阵范数 $\|\cdot\|_1$、$\|\cdot\|_2$（Frobenius）也满足 (b)，但都不是诱导范数的倍数。

单位但非诱导的矩阵范数：$|||A|||=\max\{|||A|||_1,|||A|||_\infty\}$（5.6.33.1）是单位矩阵范数；但 $|||A|||_1\le|||A|||$ 且对 $A_0=\begin{bmatrix}1&0\\1&3\end{bmatrix}$ 严格小于（$|||A_0|||_1=3<4=|||A_0|||_\infty$），故不极小、不是诱导范数（推广见 5.6.P7）。

酉不变范数：$M_n$ 上范数（不必是矩阵范数）称为酉不变（unitarily invariant），若 $\|A\|=\|UAV\|$ 对一切酉 $U,V$；酉不变矩阵范数是次乘的酉不变范数。Frobenius 范数与谱范数都是，但 Frobenius 范数不是诱导范数。

Theorem 5.6.34 设 $|||\cdot|||$ 是酉不变矩阵范数，$z\ne0$。则 (a) $\|\cdot\|_z$ 是酉不变向量范数；(b) $\|\cdot\|_z=c_z\|\cdot\|_2$；(c) $N_z$ 是谱范数；(d) $|||A|||_2\le|||A|||$ 对一切 $A$（谱范数是最小的酉不变矩阵范数）；(e) 若 $|||\cdot|||$ 还是诱导的，则它就是谱范数。证明：(a) $\|Ux\|_z=|||Uxz^*|||=|||xz^*|||$。(b) 对每个 $x$ 有酉 $U$ 使 $Ux=\|x\|_2e_1$，故 $\|x\|_z=\|x\|_2|||e_1z^*|||$。(c) 代入定义。(d)(e) 即 5.6.26(b)(c)。

伴随范数（adjoint）：$\|A\|'=\|A^*\|$ 是 $M_n$ 上范数，且 $(\|\cdot\|')'=\|\cdot\|$；矩阵范数的伴随仍是矩阵范数。$\|A\|_2'=\|A\|_2$、$\|A\|_1'=\|A\|_1$，但 $|||\cdot|||_1'=|||\cdot|||_\infty$。满足 $\|A\|=\|A\|'$ 的范数称为自伴的（self-adjoint）：$\ell_1$ 矩阵范数、Frobenius 范数、谱范数都是。练习：每个酉不变范数都是自伴的（提示：$\|A\|=\|\Sigma\|$）；举出自伴但非酉不变的范数（如 $\|A\|_1$）。

Theorem 5.6.35 设 $|||\cdot|||$ 由 $\|\cdot\|$ 诱导。(a) $|||\cdot|||'$ 由 $\|\cdot\|^D$ 诱导；(b) 若它又自伴，则为谱范数——谱范数是唯一自伴的诱导矩阵范数。证明：(a) 由 5.6.2(d)，$|||A^*|||=\max_{\|x\|=\|y\|^D=1}|x^*Ay|=\max_{\|y\|^D=1}\|Ay\|^D$。(b) 于是 $|||\cdot|||$ 同时由 $\|\cdot\|$ 和 $\|\cdot\|^D$ 诱导，由 5.6.23 两者成比例，再由 5.4.17 得 $\|\cdot\|=\|\cdot\|_2$。

Theorem 5.6.36 设 $|||\cdot|||$ 由 $\|\cdot\|$ 诱导。以下等价：(a) $\|\cdot\|$ 绝对；(b) $\|\cdot\|$ 单调；(c) 对每个对角矩阵 $\Lambda$，$|||\Lambda|||=\max_i|\lambda_i|$。证明：(a)⇔(b) 即 5.4.19(c)。(b)⇒(c)：$L=\max|\lambda_i|=|\lambda_k|$，$|\Lambda x|\le|Lx|$，由单调性 $\|\Lambda x\|\le L\|x\|$，$x=e_k$ 取等（5.6.37）。(c)⇒(b)：若 $|x|\le|y|$，取 $|\lambda_k|\le1$ 使 $x_k=\lambda_ky_k$，$\|x\|=\|\Lambda y\|\le|||\Lambda|||\|y\|\le\|y\|$。

矩阵范数的对偶：$M_n$ 带 Frobenius 内积是内积空间，于是

Definition 5.6.38 $M_n$ 上范数 $\|\cdot\|$ 的对偶 $\|A\|^D=\max_{\|B\|=1}\mathrm{Re}\langle A,B\rangle_F=\max_{\|B\|=1}\mathrm{Re}\,\mathrm{tr}B^*A$。类似 (5.4.12a)：$\|A\|^D=\max_{\|B\|=1}|\mathrm{tr}B^*A|=\max_{B\ne0}|\mathrm{tr}B^*A|/\|B\|$。Frobenius 范数自对偶（$|\langle A,B\rangle_F|\le\|A\|_F\|B\|_F$，$A=B$ 取等）。

Theorem 5.6.39 (a) $\|\cdot\|$ 自伴 ⇔ $\|\cdot\|^D$ 自伴；(b) $\|\cdot\|$ 酉不变 ⇔ $\|\cdot\|^D$ 酉不变。「仅当」由计算（如 $\|UAV\|^D=\max|\mathrm{tr}((U^*BV^*)^*A)|/\|B\|=\max_C|\mathrm{tr}C^*A|/\|UCV\|=\|A\|^D$），「当」由对偶定理 5.5.9(c)。

练习：（非诱导）矩阵范数 $\|\cdot\|_1$ 的对偶是 $\|\cdot\|_\infty$——这说明矩阵范数的对偶未必是矩阵范数；且 $\|A^*\|_1\le\|A\|_1^D$ 不总成立，而 $\|AB\|_1^D\le\|A^*\|_1\|B\|_1^D$ 成立。

Theorem 5.6.40 对任意矩阵范数，$|||AB|||^D\le|||A^*|||\,|||B|||^D$ 且 $|||AB|||^D\le|||A|||^D\,|||B^*|||$。若 $|||A^*|||\le|||A|||^D$ 对一切 $A$，则 $|||\cdot|||^D$ 是矩阵范数。证明（第二式）：取 $|||X|||=1$ 使 $|\mathrm{tr}X^*AB|=|||AB|||^D$，则 $|||AB|||^D=|\mathrm{tr}(XB^*)^*A|\le|||XB^*|||\,|||A|||^D\le|||B^*|||\,|||A|||^D$。

练习：诱导范数 $|||\cdot|||_1$ 的对偶是 $N_\infty(A)=\sum_j\|a_j\|_\infty$（5.6.0.5）；$|||A^*|||_1\le N_\infty(A)$（秩 $\le1$ 时取等），于是 $N_\infty$ 是矩阵范数（结构性证明），但不是诱导范数；对角 $\Lambda$：$|||\Lambda|||_1=\max|\lambda_i|$，$|||\Lambda|||_1^D=N_\infty(\Lambda)=\sum|\lambda_i|$。

一般结论：矩阵范数的对偶未必是矩阵范数，诱导范数的对偶可以是非诱导的矩阵范数。但：

Theorem 5.6.41 设 $|||\cdot|||$ 由 $\|\cdot\|$ 诱导。则

(a) $|||A^*|||=\max\{|\mathrm{tr}B^*A|:|||B|||=1,\ \mathrm{rank}B=1\}$；
(b) $|||A^*|||\le|||A|||^D$；
(c) $|||\cdot|||^D$ 是矩阵范数；
(d) $\mathrm{rank}A\le1$ 时 $|||A^*|||=|||A|||^D$。证明要点：(a) $B=xy^*$ 时 $|||B|||=\|x\|\|y\|^D$（5.6.30），$\max|\mathrm{tr}(yx^*A)|/(\|x\|\|y\|^D)=\max|y^*A^*x|/(\|x\|\|y\|^D)=\max_{\|\xi\|=1}\|A^*\xi\|^{DD}=|||A^*|||$。(b) 秩一矩阵上的最大值不超过全体上的最大值。(c) 由 (b) 与 5.6.40。(d) $A=uv^*$：$|||uv^*|||^D=\max|u^*Bv|/|||B|||\le\|u\|^D\|v\|$，再用 5.5.9(d) 选 $x,y$ 构造 $B=xy^*$ 取等。这给出构造矩阵范数的新途径：取任意诱导范数的对偶。练习：$\nu(A)=|||A^*|||^D$（诱导范数伴随的对偶）也是矩阵范数；对 $|||\cdot|||_1$ 得到什么？

Theorem 5.6.42 若绝对范数 $\|\cdot\|$ 诱导 $|||\cdot|||$，则 $|||\cdot|||^D$ 是矩阵范数，且对角矩阵 $|||\Lambda|||^D=|\lambda_1|+\dots+|\lambda_n|$。证明：取 $U=\mathrm{diag}(e^{i\theta_k})$ 使 $\lambda_k=e^{i\theta_k}|\lambda_k|$，由 5.6.36 $|||U|||=1$，得 $|||\Lambda|||^D\ge|\mathrm{tr}U^*\Lambda|=\sum|\lambda_k|$；反向：$\Lambda=\sum\lambda_iE_{ii}$，$|||E_{ii}|||^D=\|e_i\|\|e_i\|^D\ge1$（5.6.30 与 5.4.13），而由单调性 $\|e_i\|^D=\max|x_i|/\|x\|\le1/\|e_i\|$，故 $|||E_{ii}|||^D=1$。

Example（迹范数 trace norm） 谱范数酉不变、由绝对范数（欧氏范数）诱导，故 $|||\cdot|||_2^D$ 酉不变。对 SVD $A=V\Sigma W^*$：

|||A|||_2^D=|||\Sigma|||_2^D=\mathrm{tr}\Sigma=\sigma_1(A)+\dots+\sigma_n(A)=|||A|||_{\mathrm{tr}}.

由 5.6.42，迹范数（核范数）是酉不变矩阵范数——奇异值之和既次可加又次乘，这一点远非显然（参见 7.4.7、7.4.10）。

5.6 节习题概览（PDF p.382–390）

习题量很大（P1–P58），分几类：

基础性质

5.6.P1：$\ell_1$ 矩阵范数是矩阵范数但非诱导（$\|I\|_1=n\ne1$）。
5.6.P2：投影（幂等）矩阵的特征值只有 0、1，可对角化，非零时 $|||A|||\ge1$。
5.6.P3：$c\ge1$ 时 $c|||\cdot|||$ 仍是矩阵范数；$c<1$ 时 $c|||\cdot|||_1$、$c\|\cdot\|_2$ 不是。
5.6.P4：$|||A|||_{\alpha,\beta}=\max_{\|x\|_\alpha=1}\|Ax\|_\beta$ 可定义 $m\times n$ 矩阵的范数，讨论其性质。
5.6.P5：$\ell_p$ 诱导范数之间 $\max_{A}|||A|||_{p_1}/|||A|||_{p_2}=n^{1/\min(p_1,p_2)-1/\max(p_1,p_2)}$，推出 $n^{1/p-1}|||A|||_1\le|||A|||_p\le n^{1-1/p}|||A|||_1$，$n^{-|1/p-1/2|}|||A|||_2\le|||A|||_p\le n^{|1/p-1/2|}|||A|||_2$，$n^{-1/p}|||A|||_\infty\le|||A|||_p\le n^{1/p}|||A|||_\infty$。
5.6.P6：5.6.7 对「矩阵上的范数」同样成立。
5.6.P7：推广 (5.6.33.1)：$N_1,\dots,N_m$ 为矩阵范数，$\|\cdot\|$ 为绝对范数且 $\|x\|\ge\|x\|_\infty$，则 $\|[N_1(A),\dots,N_m(A)]^T\|$ 是矩阵范数。
5.6.P8：非奇异矩阵在 $M_n$ 中稠密；奇异矩阵不稠密。
5.6.P9：$\mathbf C^n$ 上范数集合是凸的，但 $M_n$ 上矩阵范数集合（$n\ge2$）不是凸的；给出 $\frac12(N_1+N_2)$ 为矩阵范数的充要条件；酉不变矩阵范数集合是凸的（7.4.10.2）。
5.6.P10：列范数最大值 $N_{\|\cdot\|}(A)=\max_i\|a_i\|$ 是矩阵范数当且仅当 $\|x\|\ge\|x\|_1$；由此推出 $|\det A|\le\|a_1\|_1\cdots\|a_n\|_1$（5.6.43）和 $|\det A|\le n^n\|A\|_\infty^n$；Hadamard 不等式 $|\det A|\le\|a_1\|_2\cdots\|a_n\|_2$（5.6.44）成立但不能这样证（$N_{\|\cdot\|_2}$ 不是矩阵范数）。
5.6.P11：$|||AA^*|||_2=|||A^*A|||_2=|||A|||_2^2$。
5.6.P12：$|||AB\pm BA|||\le2|||A|||\,|||B|||$；若 $A,B$ 半正定，$|||A-\frac12|||A|||_2I|||_2=\frac12|||A|||_2$，从而交换子估计 $|||AB-BA|||_2\le\frac12|||A|||_2|||B|||_2$。
5.6.P13：$A$ 奇异则 $|||I-A|||\ge1$。
5.6.P14：两个矩阵范数取最大何时为诱导范数。
5.6.P15：存在 $A$ 使 $\rho(A)<|||A|||$ 对所有矩阵范数（如非零幂零矩阵）。
5.6.P16：$n\max|a_{ij}|$ 是非诱导矩阵范数。
5.6.P17–P18：用 Neumann 级数思想求上三角矩阵的逆（$A=I+N$，$N$ 幂零，$A^{-1}=\sum_{k<n}(-N)^k$），例 $\begin{bmatrix}1&-2&1\\0&1&3\\0&0&1\end{bmatrix}$。
5.6.P19：谱半径非负、连续、齐次，但不是矩阵范数/范数/半范数/预范数：可能 $\rho(A)=0$ 而 $A\ne0$；$\rho(A+B)>\rho(A)+\rho(B)$；$\rho(AB)>\rho(A)\rho(B)$ 都可能。
5.6.P20：$\|AB\|_2\le|||A|||_2\|B\|_2$，$\|AB\|_2\le\|A\|_2|||B|||_2$（Frobenius 与谱范数混合不等式）；$\|A\|_2\le\sqrt n|||A|||_2$。
5.6.P21：$|||A|||_2\le|||A|||^{1/2}|||A^*|||^{1/2}$，特别地 $|||A|||_2\le\sqrt{|||A|||_1|||A|||_\infty}$（实用的谱范数上界）。
5.6.P22：矩阵范数单位 ⇔ $|||A|||^D\ge|\mathrm{tr}A|$。
5.6.P23：六个矩阵范数之间的最佳常数表 $|||A|||_\alpha\le C_{\alpha\beta}|||A|||_\beta$（行 $\alpha$，列 $\beta$）：

$\alpha\backslash\beta$	$\vert\vert\vert\cdot\vert\vert\vert_1$	$\vert\vert\vert\cdot\vert\vert\vert_2$	$\vert\vert\vert\cdot\vert\vert\vert_\infty$	$\Vert\cdot\Vert_1$	$\Vert\cdot\Vert_2$	$n\Vert\cdot\Vert_\infty$
$\vert\vert\vert\cdot\vert\vert\vert_1$	1	$\sqrt n$	$n$	1	$\sqrt n$	1
$\vert\vert\vert\cdot\vert\vert\vert_2$	$\sqrt n$	1	$\sqrt n$	1	1	1
$\vert\vert\vert\cdot\vert\vert\vert_\infty$	$n$	$\sqrt n$	1	1	$\sqrt n$	1
$\Vert\cdot\Vert_1$	$n$	$n^{3/2}$	$n$	1	$n$	$n$
$\Vert\cdot\Vert_2$	$\sqrt n$	$\sqrt n$	$\sqrt n$	1	1	1
$n\Vert\cdot\Vert_\infty$	$n$	$n$	$n$	$n$	$n$	1

例：$\|A\|_2\le\sqrt n|||A|||_2$（位置 5,2）。左上 $3\times3$ 块对称，体现 5.6.18。

5.6.P24：改进为 $\|A\|_2\le(\mathrm{rank}A)^{1/2}|||A|||_2$。
5.6.P25：循环矩阵（circulant）谱范数的界 $|a_1+\dots+a_n|\le\max_\ell|\sum_ka_{k+1}\omega^{k(\ell-1)}|\le|||A|||_2\le\sum|a_i|$，$\omega=e^{2\pi i/n}$。
5.6.P26：$\rho(A)<1$ 时 Neumann 级数 $I+A+A^2+\cdots$ 收敛到 $(I-A)^{-1}$。

多项式根的界（伴随矩阵 companion matrix 方法）：设首一多项式 $p(z)=z^n+a_{n-1}z^{n-1}+\dots+a_0$（5.6.45），$a_0\ne0$，$C(p)$ 为其伴随矩阵，特征值即 $p$ 的根，故任一根 $\tilde z$ 满足 $|\tilde z|\le|||C(p)|||$（5.6.P27(a)）。

用 Frobenius 范数：$|\tilde z|\le\sqrt{n+|a_0|^2+\dots+|a_{n-1}|^2}$（5.6.46）。
用 $|||\cdot|||_\infty$：Cauchy 界 $|\tilde z|\le\max\{|a_0|,1+|a_1|,\dots,1+|a_{n-1}|\}\le1+\max|a_i|$（5.6.47）。
用 $|||\cdot|||_1$：Montel 界 $|\tilde z|\le\max\{1,|a_0|+\dots+|a_{n-1}|\}\le1+\sum|a_i|$（5.6.48），比 Cauchy 界差。
用 $\|\cdot\|_1$ 与 $n\|\cdot\|_\infty$ 得到更差的界。
5.6.P28：$C(p)=S+R$（$S=J_n(0)^T$，$R$ 秩一），$SR^*=RS^*=0$，得 Carmichael–Mason 界 $|\tilde z|\le\sqrt{1+|a_0|^2+\dots+|a_{n-1}|^2}=\sqrt{s+1}$（5.6.49），再用 $\sigma_1(C(p))$ 的精确值（3.3.16）得更好的界 $|\tilde z|\le\sqrt{\frac12(s+1+\sqrt{(s+1)^2-4|a_0|^2})}=\sigma_1(C(p))$（5.6.50）。
5.6.P29：对 $(z-1)p(z)$ 用 Montel 界得另一 Montel 界 $|\tilde z|\le|a_0|+|a_0-a_1|+\dots+|a_{n-2}-a_{n-1}|+|a_{n-1}-1|$。
5.6.P30：Kakeya 定理：系数 $a_n\ge a_{n-1}\ge\dots\ge a_0\ge0$ 的多项式所有根在单位圆盘内。
5.6.P31：对倒数多项式 $q(z)=a_0^{-1}z^np(1/z)$ 应用上界得根的下界（Cauchy、Montel、Carmichael–Mason 型），以及最佳下界 $|\tilde z|\ge|a_0|/\sigma_1(C(p))$（5.6.51）；合起来得到包含全部根的圆环；例 $p(z)=z^5+1$。
5.6.P32：指数函数部分和 $p(z)=\sum_{k\le n}z^k/k!$ 的根满足 $1\le|\tilde z|\le1+n!$。
5.6.P33–P35：对 $D^{-1}C(p)D$（$D$ 正对角）推广 Cauchy 界（5.6.52）；选择特殊 $p_k$ 得 Kojima 界 $|\tilde z|\le\max\{|a_0/a_1|,2|a_1/a_2|,\dots,2|a_{n-2}/a_{n-1}|,2|a_{n-1}|\}$（5.6.53），以及含参数 $r$ 的界 (5.6.54)：$|\tilde z|\le\frac1r+\max_k|a_k|r^{n-k-1}$。

谱范数的特殊性质

5.6.P36：$\hat A=\begin{bmatrix}0&A\\A^*&0\end{bmatrix}$ 与 $A$ 谱范数相同。
5.6.P37：谱范数不由 $M_n$ 上任何内积导出（Frobenius 范数则是）。
5.6.P38：存在矩阵范数使 $|||A|||=\rho(A)$ 当且仅当 $A$ 的每个最大模特征值都是半单的（对应 Jordan 块都是 $1\times1$）。
5.6.P39：谱矩阵（spectral matrix，$|||A|||_2=\rho(A)$）的刻画：$\alpha U$ 是谱矩阵；非酉倍数的谱矩阵酉相似于 $|||A|||_2(B\oplus C)$，$B$ 上三角、$|||B|||_2<1$、$|b_{ii}|<1$，$C$ 对角酉；谱矩阵的最大模特征值是正规特征值；谱矩阵满足 $\rho(AB)\le\rho(A)\rho(B)$。
5.6.P40：谱范数不是绝对范数：$\begin{bmatrix}1&1\\1&1\end{bmatrix}$ 与 $\begin{bmatrix}1&1\\1&-1\end{bmatrix}$ 谱范数为 2 与 $\sqrt2$；把一个元素置零可增大谱范数（$\begin{bmatrix}1&1\\-1&1\end{bmatrix}$ 为 $\sqrt2$，$\begin{bmatrix}1&1\\0&1\end{bmatrix}$ 为 $(1+\sqrt5)/2$）；但 $|||A|||_2\le|||\,|A|\,|||_2$，且非负矩阵 $A\le B$ 时 $|||A|||_2\le|||B|||_2$。
5.6.P41：绝对范数诱导 $|||\cdot|||$，$N(A)=|||\,|A|\,|||$ 是绝对矩阵范数且 $|||A|||\le N(A)$；$|||\,|A|\,|||_2\le\sqrt{\mathrm{rank}A}|||A|||_2$。
5.6.P42：由单调向量范数诱导的矩阵范数在正卦限上单调：$A\ge B\ge0$（逐元素）⇒ $|||A|||\ge|||B|||$。
5.6.P43：$U^*AU=T$ 时 $e^T=U^*e^AU$，故 $\det e^A=e^{\mathrm{tr}A}$，$e^A$ 总可逆。
5.6.P44：整数矩阵 $K=\max|a_{ij}|$，非零特征值满足 $|\lambda_i|\le nK$ 且 $\min|\lambda_i|\ge1/(nK)^{m-1}$；例：元素为 $\pm1,0$ 的 $4\times4$ 非奇异对称矩阵，$A^{-1}$ 元素绝对值不超过 64。
5.6.P45：$A=XY^*$（$k$ 列）时 $|||A|||\le\sum\|x_i\|\|y_i\|^D$。
5.6.P46：诱导范数下 $|||A^{-1}|||=1/\min_{\|x\|=1}\|Ax\|$。

到奇异矩阵的距离（$\mathcal S_n$ 为奇异矩阵集，$\mathrm{dist}(A,\mathcal S_n)=\inf_{B\in\mathcal S_n}|||A-B|||$）

5.6.P47：$A$ 非奇异、$B$ 奇异 ⇒ $|||A-B|||\ge1/|||A^{-1}|||$（5.6.55）。
5.6.P48：$\mathcal S_n$ 闭，距离可达到，且 $\ge|||A^{-1}|||^{-1}$。
5.6.P49：对诱导范数，取 $\|x_0\|=\|y_0\|^D=1$ 且 $y_0^*A^{-1}x_0=|||A^{-1}|||$，$E=-x_0y_0^*/|||A^{-1}|||$，则 $|||E|||=|||A^{-1}|||^{-1}$ 且 $A+E$ 奇异：$\mathrm{dist}(A,\mathcal S_n)=|||A^{-1}|||^{-1}$（条件数含义的根源）。
5.6.P50–P51：矩阵范数是诱导的当且仅当对所有非奇异 $A$ 都有 $\mathrm{dist}(A,\mathcal S_n)=|||A^{-1}|||^{-1}$。
5.6.P52：谱范数下距离为 $\sigma_n$，最近奇异矩阵 $V\hat\Sigma W^*$，$\hat\Sigma=\mathrm{diag}(\sigma_1,\dots,\sigma_{n-1},0)$（Eckart–Young 的特例）。
5.6.P53：最大行和范数下 $A=\begin{bmatrix}1&0\\1&1/2\end{bmatrix}$ 到奇异矩阵距离 $1/4$，最近奇异矩阵 $\begin{bmatrix}1&1/4\\1&1/4\end{bmatrix}$。
5.6.P54：单位球与对偶单位球的笛卡儿积紧，保证 $x_0,y_0$ 存在。
5.6.P55：分块矩阵 $N(A)=\max_i\sum_j|||A_{ij}|||$ 是 $M_{mn}$ 上矩阵范数（用于 6.1.P17 的分块 Geršgorin）。
5.6.P56：自伴矩阵范数满足 $|||A|||_2\le|||A|||$。
5.6.P57：用复合矩阵 $C_r(A)$ 证明 Weyl 型不等式 $|\lambda_1\cdots\lambda_r|\le\sigma_1\cdots\sigma_r$。
5.6.P58：$\|AB\|_2\ne\|BA\|_2$ 的例子；$A$ 正规、$B$ Hermite 时相等。

延伸阅读：Schneider & Strang (1962) 诱导范数比较；Stone (1962) 5.6.P23 表的来源；Fujii & Kubo (1973) 用算子范数界多项式根；Belitskii & Lyubich (1988) 专著。

5.7 矩阵上的向量范数（Vector norms on matrices）（PDF p.391–401）

有些应用不需要次乘性。例如 Gelfand 公式对向量范数甚至预范数都成立。本节研究 $M_n$ 上不一定次乘的范数，记为 $G(\cdot)$。

例子：

$G_{S,T}(A)=G(SAT)$（5.7.1），$S,T$ 非奇异，总是范数；即使 $G$ 是矩阵范数，除非 $T=S^{-1}$，$G_{S,T}$ 也未必次乘（练习：$S=T=\frac12I$，$G=n\|\cdot\|_\infty$ 时不是矩阵范数）。
Hadamard 积（逐元素积）$A\circ B=[a_{ij}b_{ij}]$。若 $H$ 无零元，$G_H(A)=G(H\circ A)$（5.7.2）是范数，但未必次乘。练习：$G=|||\cdot|||_1$，$H_1=\begin{bmatrix}1&1\\1&1\end{bmatrix}$ 或 $H_2=\begin{bmatrix}2&1\\1&2\end{bmatrix}$（5.7.3），用 $A=\begin{bmatrix}0&1\\0&0\end{bmatrix}$、$B=\begin{bmatrix}0&0\\1&0\end{bmatrix}$ 及 $AB$（5.7.4）检验；注意 $G_{H_1}\le G_{H_2}$。
$G_c\left(\begin{bmatrix}a&b\\c&d\end{bmatrix}\right)=\frac12[|a+d|+|a-d|+|b|+|c|]$（5.7.5）是 $M_2$ 上的范数，不是矩阵范数（用 5.7.4 的矩阵）。
数值域（field of values / numerical range）$F(A)=\{x^*Ax:x^*x=1\}$ 与数值半径（numerical radius）$r(A)=\max_{\|x\|_2=1}|x^*Ax|$。$r(\cdot)$ 是 $M_n$ 上范数（正定性见 4.1.P6），但不是矩阵范数（5.7.P10）。
$\|A\|_\infty=\max|a_{ij}|$（5.7.7）是范数而非矩阵范数，但 $n\|\cdot\|_\infty$ 是矩阵范数。

Theorem 5.7.8 设 $f$ 是 $M_n$ 上的预范数（正定、齐次、连续），$|||\cdot|||$ 是矩阵范数，则存在 $C_m,C_M>0$ 使

C_m|||A|||\le f(A)\le C_M|||A|||\quad\forall A.\tag{5.7.9}

（由 5.4.4 直接得到。）

Theorem 5.7.10（广义 Gelfand 公式） 若 $f$ 是 $M_n$ 上的预范数（特别是向量范数），则 $\lim_{k\to\infty}f(A^k)^{1/k}=\rho(A)$。证明：$C_m^{1/k}|||A^k|||^{1/k}\le f(A^k)^{1/k}\le C_M^{1/k}|||A^k|||^{1/k}$，$C^{1/k}\to1$，再用 5.6.14。

Theorem 5.7.11（范数乘常数变为矩阵范数） 设 $G$ 是 $M_n$ 上范数，

c(G)=\max_{G(A)=1=G(B)}G(AB).

对正数 $\gamma$，$\gamma G$ 是矩阵范数当且仅当 $\gamma\ge c(G)$。又若 $C_m|||A|||\le G(A)\le C_M|||A|||$（5.7.11a），令 $\gamma_0=C_M/C_m^2$，则 $\gamma_0G$ 是矩阵范数，从而 $\gamma_0\ge c(G)$。证明：$c(G)$ 是紧集上正连续函数的最大值，有限且正；$G(AB)\le c(G)G(A)G(B)$，于是 $c(G)G(AB)\le(c(G)G(A))(c(G)G(B))$；$\gamma>c(G)$ 时类似；若 $\gamma<c(G)$ 而 $\gamma G$ 是矩阵范数，则对 $G(A)=G(B)=1$ 有 $G(AB)\le\gamma<c(G)$，矛盾。最后 $\gamma_0G(AB)\le\gamma_0C_M|||A|||\,|||B|||\le\gamma_0\frac{C_M}{C_m^2}G(A)G(B)$。例：$\|\cdot\|_\infty$ 的 $c=n$。

谱占优（spectrally dominant）：$G(A)\ge\rho(A)$ 对一切 $A$。每个矩阵范数都谱占优；非次乘的向量范数也可能谱占优。

Theorem 5.7.13 每个矩阵范数都有相容的向量范数（$\|x\|_z=|||xz^*|||$：$\|Ax\|_z=|||Axz^*|||\le|||A|||\,\|x\|_z$）；每个向量范数都有相容的矩阵范数（它诱导的范数）。

Theorem 5.7.14 若 $G$ 与某个 $\mathbf C^n$ 上范数相容，则

G(A_1)\cdots G(A_k)\ge\rho(A_1\cdots A_k)\quad\forall A_i,\ k=1,2,\dots\tag{5.7.15}

特别地 $G$ 谱占优。证明（$k=2$）：取 $A_1A_2x=\lambda x$，$|\lambda|=\rho(A_1A_2)$，$\rho\|x\|=\|A_1(A_2x)\|\le G(A_1)G(A_2)\|x\|$；一般情形归纳。

Lemma 5.7.16 若 $G$ 满足 (5.7.15)，则存在 $\gamma(G)>0$ 使 $G(A_1)\cdots G(A_k)\ge\gamma(G)|||A_1\cdots A_k|||_2$。证明：SVD $A_1\cdots A_k=V\Sigma W^*$，由 (5.7.15) $G(V^*)G(A_1)\cdots G(A_k)G(W)\ge\rho(V^*A_1\cdots A_kW)=\rho(\Sigma)=|||\Sigma|||_2=|||A_1\cdots A_k|||_2$；$G$ 在紧的酉群上有最大值 $\mu(G)$，取 $\gamma=\mu(G)^{-2}$。

Theorem 5.7.17 $M_n$ 上向量范数 $G$ 与某个 $\mathbf C^n$ 上范数相容，当且仅当它满足 (5.7.15)。证明（充分性）：只需构造矩阵范数 $|||\cdot|||\le G$（然后取与之相容的向量范数）。定义

|||A|||=\inf\Big\{\sum_iG(A_{i1})\cdots G(A_{ik_i}):\ \sum_iA_{i1}\cdots A_{ik_i}=A\Big\},

即对 $A$ 所有「积之和」表示取下确界。非负、齐次；正定性由 5.7.16 与谱范数三角不等式：$\sum_iG(A_{i1})\cdots\ge\gamma(G)\sum|||A_{i1}\cdots|||_2\ge\gamma(G)|||A|||_2>0$；次可加与次乘由下确界定义（$A+B$、$AB$ 的表示可由 $A$、$B$ 的表示拼出）。

练习：若 $G$ 与 $\mathbf C^2$ 上某范数相容，则 $G(J_2(0))G(J_2(0)^T)\ge1$（因 $\|e_1\|=\|J_2(0)e_2\|\le G(J_2(0))\|e_2\|$ 等）；而 $G_c$ 不满足此条件，故 $G_c$ 不与任何范数相容；但 $G_c$ 仍谱占优：$\rho\le\frac12\{|a-d|+\sqrt{|a+d|^2+4|bc|}\}\le G_c$。

Theorem 5.7.18 $\mathbf C^n$ 上每个范数都与某个非矩阵范数的向量范数相容。构造：$P$ 为对角线全零的置换矩阵（如循环置换），$|||\cdot|||$ 为诱导范数，令 $G(A)=|||A|||+|||P|||\,|||P^T|||\max_i|a_{ii}|$。则 $G\ge|||\cdot|||$ 相容；但 $G(P)=|||P|||$、$G(P^T)=|||P^T|||$，$G(PP^T)=G(I)=1+|||P|||\,|||P^T|||>G(P)G(P^T)$，不次乘。练习：$G(A)=|||A+\mathrm{diag}(a_{11},\dots,a_{nn})|||_\infty$ 是 $H$ 为「对角为 2、其余为 1」的 (5.7.2) 型范数，与 $\|\cdot\|_\infty$ 相容，但对 $A=\begin{bmatrix}0&1\\1&0\end{bmatrix}$ 不次乘。

谱占优的刻画。若对每个 $A$ 存在 $\gamma_A>0$ 使 $G(A^k)\le\gamma_AG(A)^k$，则 $G(A^k)^{1/k}\le\gamma_A^{1/k}G(A)$，由 5.7.10 得 $\rho(A)\le G(A)$。反过来也成立，关键在次可加性。练习：以下等价：(a) 存在 $\gamma_A$ 使 $G(A^k)\le\gamma_AG(A)^k$；(b) 对每个 $G(A)=1$ 的 $A$，$G(A^k)$ 有界；(c) 对每个 $G(A)=1$ 的 $A$，$A^k$ 的元素有界。又：$G$ 谱占优当且仅当 $G_S(A)=G(SAS^{-1})$ 谱占优。

Lemma 5.7.19 设 $G$ 谱占优，$\lambda$ 是 $A$ 的最大模特征值（$|\lambda|=\rho(A)$）。若 $\lambda$ 不是半单的，则 $G(A)>\rho(A)$。证明要点：$\rho(A)=0$ 时显然。否则归一化为 $\lambda=1$、$G(A)\ge1$，设 Jordan 形 $A=J_m(1)\oplus B$，$m\ge2$，$\rho(B)\le1$。令 $F=E_m\oplus0$（$E_m$ 只有 $(m,1)$ 元为 1），$A_\varepsilon=A+\varepsilon F$，则 $\rho(I_m+J_m(0)+\varepsilon E_m)=1+\varepsilon^{1/m}$（1.2.P22），于是

1+\varepsilon^{1/m}=\rho(A_\varepsilon)\le G(A_\varepsilon)\le G(A)+\varepsilon G(F).

若 $G(A)=1$，则 $1\le\varepsilon^{(m-1)/m}G(F)$，对小 $\varepsilon$ 不成立。

Theorem 5.7.20 $M_n$ 上范数 $G$ 谱占优，当且仅当对每个 $A$ 存在 $\gamma_A>0$ 使

G(A^k)\le\gamma_AG(A)^k,\quad k=1,2,\dots\tag{5.7.20a}

证明（必要性）：设 $G(A)=1\ge\rho(A)$。由 5.7.19，每个 Jordan 块 $J_m(\lambda)$ 满足 $|\lambda|\le1$，且 $|\lambda|=1$ 时 $m=1$；故要么 $J_m(\lambda)^k\to0$（5.6.12），要么 $\lambda^k$ 有界，于是 $A^k$ 的元素有界。

5.7 节习题概览：

5.7.P1：$\|x\|=G(xz^*)$ 是 $\mathbf C^n$ 上范数。
5.7.P2–P3：对向量范数 $G$，$k$ 充分大时 $(\rho-\epsilon)^k\le G(A^k)\le(\rho+\epsilon)^k$；$G(A^k)\to0\iff\rho(A)<1$；可用向量范数讨论矩阵幂级数的收敛。
5.7.P4–P8：$G'(A)=\max_{G(B)=1}G(AB)$ 是单位矩阵范数；$G(I)=1$ 时 $G'\ge G$；$G$ 是矩阵范数时 $G'\le G$，且 $G(I)=1$ 时 $G'=G$；$G''=G'$；$G(I)=1$ 时 $G$ 是矩阵范数 ⇔ $G'\le G$；交换 $A,B$ 顺序得到另一矩阵范数。
5.7.P9：与给定 $M_n$ 上范数相容的向量半范数集合是凸锥。
5.7.P10–P11：数值半径不是矩阵范数；$r(J_2(0))=\frac12$，不与任何 $\mathbf C^n$ 上范数相容；谱包含于数值域；数值半径谱占优。
5.7.P12：$\|\cdot\|_\infty$（矩阵）没有相容的向量范数，$n\|\cdot\|_\infty$ 有。
5.7.P13–P15：用行范数/列范数复合定义 $M_{m,n}$ 上的范数 $G_{\beta,\alpha}(A)=\|[\|r_1(A)\|_\alpha,\dots,\|r_m(A)\|_\alpha]^T\|_\beta$、$G^{\alpha,\beta}$，与 $|||\cdot|||_{\alpha,\beta}$ 比较；特例给出 Frobenius 等范数。
5.7.P16：相似不变的半范数（$n\ge2$）在幂零矩阵上为零，故不是范数，且必为 $n^{-1}G(I_n)|\mathrm{tr}A|$。
5.7.P17–P19：谱特征（spectral characteristic）$m(G)=\max_{G(A)\le1}\rho(A)$；$G$ 谱占优 ⇔ $m(G)\le1$；任何范数乘以 $m(G)$ 即谱占优；$m(G)=1$ 称极小谱占优；单位范数 $m(G)\ge1$；诱导范数与数值半径都极小谱占优；$m$ 在范数锥上凸，谱占优范数集合凸。
5.7.P20：数值半径的性质：酉相似不变（但非酉不变）；$r(A)\le|||A|||_2$，正规时 $r(A)=\rho(A)=|||A|||_2$；$r(A)=r(A^*)$； $\tfrac12|||A|||_2\le r(A)\le|||A|||_2\tag{5.7.21}$ 两端都最优。
5.7.P21：$4r(\cdot)$ 是矩阵范数，且 $\gamma\in(0,4)$ 时 $\gamma r(\cdot)$ 不是（用 $J_2(0)$, $A^*$, $AA^*$）。
5.7.P22：结合 $\frac1{\sqrt n}\|A\|_2\le|||A|||_2\le\|A\|_2$（5.7.22）得 $\frac1{2\sqrt n}\|A\|_2\le r(A)\le\|A\|_2$（5.7.23），上界最优，下界不最优；已知最优常数 $c_n=(2n)^{-1/2}$（$n$ 偶）、$(2n-1)^{-1/2}$（$n$ 奇）。
5.7.P23：$X=xx^*$ 时 $\|X\|_2=\|x\|_2^2$；数值域是 $A$ 在单位 Frobenius 范数秩一 Hermite 矩阵上的投影集合；$r(A)\le\|A\|_2$。
5.7.P24：用 $cxx^*$ 在 Frobenius 范数下最小二乘逼近 $A$：$\|A-cxx^*\|_2^2\ge\|A\|_2^2-2|c\langle A,xx^*\rangle_F|+|c|^2$，最优 $c=\langle A,\tilde x\tilde x^*\rangle_F$，$\tilde x$ 是取到 $r(A)$ 的单位向量。
5.7.P25：数值半径的幂不等式 $r(A^m)\le r(A)^m$（Pearcy 的初等证明）：利用 $m$ 次单位根 $w_k$，$1-z^m=\prod(1-w_kz)$，$\frac1m\sum_j\prod_{k\ne j}(1-w_kz)=1$，得恒等式 $1-e^{im\theta}x^*A^mx=\frac1m\sum_{j}\|z_j\|_2^2\Big(1-e^{i\theta}w_j\frac{z_j^*}{\|z_j\|_2}A\frac{z_j}{\|z_j\|_2}\Big),$ $r(A)\le1$ 时右端实部非负，对一切 $\theta$ 成立推出 $|x^*A^mx|\le1$。
5.7.P26：数值半径不满足 $r(A^{k+m})\le r(A^k)r(A^m)$：$A=J_4(0)$，$r(A^2)=r(A^3)=\frac12$ 且 $r(A)<1$。
5.7.P27：投影 $P$（$0\ne P\ne I$）：$|||P|||\ge1$；每个非零奇异值 $\ge1$；$P$ 与 $I-P$ 大于 1 的奇异值相同、数值域相同、数值半径相同。

延伸阅读：Goldberg & Tadmor (1982) 数值半径；Pearcy (1966) 幂不等式证明；Horn & Johnson (1991) 第 1 章；C. R. Johnson 关于广义矩阵范数的乘性与相容性的系列论文（1977、1979）。

5.8 条件数：逆矩阵与线性方程组（Condition numbers: inverses and linear systems）（PDF p.401–406）

问题背景：在浮点运算中求逆不可避免有舍入与截断误差，而 $A$ 的元素本身可能来自带误差的测量。对很多常用算法，计算中的舍入误差与数据误差可以用同一方式建模：设要求 $A^{-1}$，实际处理的是 $B=A+\Delta A$，并假设

|||A^{-1}\Delta A|||<1.\tag{5.8.0}

由 $B=A(I+A^{-1}\Delta A)$ 且 $\rho(A^{-1}\Delta A)\le|||A^{-1}\Delta A|||<1$，$-1$ 不是 $A^{-1}\Delta A$ 的特征值，故 $B$ 非奇异。

逆矩阵的扰动界。由 $A^{-1}(\Delta A)B^{-1}=A^{-1}(B-A)B^{-1}=A^{-1}-B^{-1}$：

|||A^{-1}-B^{-1}|||\le|||A^{-1}\Delta A|||\,|||B^{-1}|||.\tag{5.8.1}

又 $B^{-1}=A^{-1}-A^{-1}(\Delta A)B^{-1}$ 给出 $|||B^{-1}|||\le|||A^{-1}|||+|||A^{-1}\Delta A|||\,|||B^{-1}|||$，即

|||(A+\Delta A)^{-1}|||\le\frac{|||A^{-1}|||}{1-|||A^{-1}\Delta A|||}.\tag{5.8.2}

合并得相对误差界

\frac{|||A^{-1}-(A+\Delta A)^{-1}|||}{|||A^{-1}|||}\le\frac{|||A^{-1}|||\,|||A|||}{1-|||A^{-1}\Delta A|||}\cdot\frac{|||\Delta A|||}{|||A|||}.

条件数（condition number for matrix inversion）

\kappa(A)=\begin{cases}|||A^{-1}|||\,|||A|||,&A\text{ 非奇异}\\\infty,&A\text{ 奇异}\end{cases}\tag{5.8.3}

对任意矩阵范数 $\kappa(A)\ge|||A^{-1}A|||=|||I|||\ge1$。已证

\frac{|||A^{-1}-(A+\Delta A)^{-1}|||}{|||A^{-1}|||}\le\frac{\kappa(A)}{1-|||A^{-1}\Delta A|||}\frac{|||\Delta A|||}{|||A|||}.\tag{5.8.4}

若加强假设为 $|||A^{-1}|||\,|||\Delta A|||<1$（5.8.5），注意 $|||A^{-1}|||\,|||\Delta A|||=\kappa(A)\frac{|||\Delta A|||}{|||A|||}$，得

\frac{|||A^{-1}-(A+\Delta A)^{-1}|||}{|||A^{-1}|||}\le\frac{\kappa(A)}{1-\kappa(A)\frac{|||\Delta A|||}{|||A|||}}\cdot\frac{|||\Delta A|||}{|||A|||}.\tag{5.8.6}

这是先验界（a priori bound）：只用计算前已知的量。若 $|||A^{-1}|||\,|||\Delta A|||\ll1$，右端约为 $\kappa(A)|||\Delta A|||/|||A|||$：只要 $\kappa(A)$ 不大，逆的相对误差与数据相对误差同阶。

术语：$\kappa(A)$ 大称病态（ill conditioned / poorly conditioned）；接近 1 称良态（well conditioned）；$\kappa(A)=1$ 称完美条件（perfectly conditioned）；这些说法都相对于选定的矩阵范数。

正文练习：

谱范数下 $\kappa(A)=\sigma_1(A)/\sigma_n(A)$。
酉不变矩阵范数下 $\kappa(A)=\kappa(UAV)$：酉变换不会恶化条件数，这是数值线性代数中许多稳定算法（QR、SVD、Householder 变换）的基础。
谱范数下 $\kappa(A)=1$ 当且仅当 $A$ 是酉矩阵的数量倍。
$\kappa(AB)\le\kappa(A)\kappa(B)$：一系列变换下条件数增长的上界；若都是酉变换则不增长。

线性方程组的扰动。解 $Ax=b$（$A$ 非奇异，$b\ne0$，5.8.7），实际精确求解的是 $(A+\Delta A)\tilde x=b+\Delta b$，$\tilde x=x+\Delta x$。取矩阵范数及与之相容的向量范数，假设 (5.8.0)。展开得 $(\Delta A)x+(A+\Delta A)\Delta x=\Delta b$，故 $\Delta x=(A+\Delta A)^{-1}(\Delta b-(\Delta A)x)$，

\|\Delta x\|\le\frac{|||A^{-1}|||}{1-|||A^{-1}\Delta A|||}(\|\Delta b\|+|||\Delta A|||\,\|x\|).

再用 $\|b\|=\|Ax\|\le|||A|||\,\|x\|$：

\frac{\|\Delta x\|}{\|x\|}\le\frac{\kappa(A)}{1-|||A^{-1}\Delta A|||}\Big(\frac{\|\Delta b\|}{\|b\|}+\frac{|||\Delta A|||}{|||A|||}\Big).\tag{5.8.8}

在更强假设下得更直观的形式

\frac{\|\Delta x\|}{\|x\|}\le\frac{\kappa(A)}{1-\kappa(A)\frac{|||\Delta A|||}{|||A|||}}\Big(\frac{\|\Delta b\|}{\|b\|}+\frac{|||\Delta A|||}{|||A|||}\Big).\tag{5.8.9}

结论同前：系数矩阵良态时，解的相对误差与数据相对误差同阶。

后验界（a posteriori bound）：已有计算解 $\hat x$，残差 $r=b-A\hat x$。$A^{-1}r=x-\hat x$，于是 $\|x-\hat x\|\le|||A^{-1}|||\,\|r\|$，又 $1\le|||A|||\,\|x\|/\|b\|$，得

\frac{\|x-\hat x\|}{\|x\|}\le\kappa(A)\frac{\|r\|}{\|b\|}.\tag{5.8.10}

良态问题中解的相对误差与相对残差同阶；病态问题中残差很小的计算解仍可能离真解很远。

矩阵范数误差界的共同特点是保守（上界可能远大于实际误差）。但如果一个规模和元素都适中的矩阵条件数很大，则 $A^{-1}$ 必有很大的元素，需要格外小心：令 $C=[c_{ij}]=A^{-1}$，由 $x=Cb$，

\frac{\partial x_i}{\partial b_j}=c_{ij}.\tag{5.8.11}

把 $C$ 看作 $A$ 的有理函数，对 $CA=I$ 即 $\sum_pc_{ip}a_{pq}=\delta_{iq}$ 关于 $a_{jk}$ 求导，得 $\sum_p\frac{\partial c_{ip}}{\partial a_{jk}}a_{pq}+\delta_{qk}c_{ij}=0$，即 $\sum_p\frac{\partial c_{ip}}{\partial a_{jk}}a_{pq}=-\delta_{qk}c_{ij}$；再对 $x=Cb$ 求导：

\frac{\partial x_i}{\partial a_{jk}}=\sum_q\Big(\sum_p\frac{\partial c_{ip}}{\partial a_{jk}}a_{pq}\Big)x_q=-c_{ij}x_k=-c_{ij}\sum_pc_{kp}b_p.\tag{5.8.12}

因此若 $A^{-1}$ 有相对很大的元素，解的某些分量对 $b$ 和 $A$ 某些元素的扰动必然高度敏感，无法避免。

5.8 节习题概览：

5.8.P1：非奇异正规矩阵在谱范数下 $\kappa(A)=\rho(A)\rho(A^{-1})$（最大与最小特征值模之比）。
5.8.P2：正规矩阵 $A_\epsilon=\begin{bmatrix}1&-1\\-1&1+\epsilon\end{bmatrix}$：特征值模之比为 $O(\epsilon^{-1})$，故 $\kappa(A_\epsilon)=O(\epsilon^{-1})$，且对任何范数都如此。
5.8.P3：非正规矩阵 $B_\epsilon=\begin{bmatrix}1&-1\\1&-1-\epsilon\end{bmatrix}$：$\kappa(B_\epsilon)=O(\epsilon^{-1})$（任何范数），但特征值模之比在 $\epsilon\to0$ 时有界——非正规矩阵可以在特征值比值不大时仍病态；应考察奇异值之比。
5.8.P4：对任意矩阵范数 $\kappa(A)\ge\rho(A)\rho(A^{-1})$：特征值模之比大则必病态，反之不然。
5.8.P5：不同矩阵范数下的条件数等价：$C_{\alpha\beta}\kappa_\alpha\le\kappa_\beta\le C_{\beta\alpha}\kappa_\alpha$。
5.8.P6：诱导范数下 $\kappa(A)=\dfrac{\max\{\|Ax\|:\|x\|=1\}}{\min\{\|Ax\|:\|x\|=1\}}$；$\kappa(A)=1$ 当且仅当 $A$ 是该范数等距的非零数量倍。
5.8.P7：$\det A$ 小（或大）不意味着 $\kappa(A)$ 大（例：$\epsilon I$ 的行列式 $\epsilon^n$ 但 $\kappa=1$）。
5.8.P8：$B_\epsilon x=[1,1]^T$，真解 $[1,0]^T$，近似解 $\hat x=[1+\epsilon^{-1/2},\epsilon^{-1/2}]^T$：相对残差 $O(\epsilon^{1/2})$，相对误差却是 $O(\epsilon^{-1/2})$；(5.8.10) 用条件数把小残差正确地转成大误差上界。
5.8.P9：Hilbert 矩阵 $H_n$ 是著名病态例子：正规，$\kappa(H_n)=\rho(H_n)\rho(H_n^{-1})\sim e^{cn}$，$c\approx3.5$；$\rho(H_n)=\pi+O(1/\log n)$；$\kappa(H_3)\sim5\times10^2$，$\kappa(H_6)\sim1.5\times10^7$，$\kappa(H_8)\sim1.5\times10^{10}$。元素一致有界且谱半径不大，病态来自最小特征值极小。
5.8.P10：谱范数下 $\kappa(A^*A)=\kappa(AA^*)=\kappa(A)^2$——解正规方程 $A^*Ax=y$ 比解 $Ax=z$ 在数值上本质更难（这正是最小二乘应优先用 QR/SVD 而非正规方程的原因）。
5.8.P11：由 (5.6.55)，对任意奇异 $B$，$\kappa(A)\ge|||A|||/|||A-B|||$，可用于证明病态。
5.8.P12：上三角矩阵（对角元非零）在最大行和范数下 $\kappa(A)\ge|||A|||_\infty/\min_i|a_{ii}|$。
5.8.P13：诱导范数下 $\kappa(A)=|||A|||/\mathrm{dist}(A,\mathcal S_n)$；非诱导范数下 $\ge$，可严格。即条件数的倒数等于到最近奇异矩阵的相对距离。
5.8.P14：伴随矩阵的谱条件数 $\kappa(C(p))=\dfrac{s+1+\sqrt{(s+1)^2-4|a_0|^2}}{2|a_0|}$（5.8.13），$s=\sum|a_i|^2$。

延伸阅读：线性方程组误差的先验界是数值线性代数的核心问题，见 Stewart (1973)。

第 5 章本章要点

公理体系：向量范数（非负、正定、齐次、三角不等式）；内积及其导出范数；半范数、半内积、预范数（正定+齐次+连续，不要求三角不等式）。Cauchy–Schwarz 不等式（5.1.4）、平行四边形恒等式与极化恒等式刻画内积范数（Jordan–von Neumann）。
常用范数：$\ell_1,\ell_2,\ell_\infty,\ell_p$、$k$-范数、$\|Sx\|$ 型范数、Frobenius 内积与范数。
有限维范数等价（5.4.4–5.4.7）：所有范数之间有常数界，收敛性与范数无关；有限维空间完备；单位球紧。无穷维中这些都可能失效（例 5.4.2）。
对偶范数（5.4.12）：$\|y\|^D=\max_{\|x\|=1}|y^*x|$；$\ell_p$ 与 $\ell_q$（$1/p+1/q=1$）互为对偶；欧氏范数是唯一自对偶范数（5.4.17）；对偶定理 $\|\cdot\|^{DD}=\|\cdot\|$（5.5.9），预范数的二次对偶是其「凸化」；绝对范数 ⇔ 单调范数（5.4.19）。
单位球刻画（5.5.8）：紧、凸、均衡、以 0 为内点。
矩阵范数：次乘性；诱导（算子）范数 $|||A|||=\max\|Ax\|/\|x\|$，其中 $|||\cdot|||_1$ 最大列和、$|||\cdot|||_\infty$ 最大行和、$|||\cdot|||_2=\sigma_1$；Frobenius 范数 $=\sqrt{\sum\sigma_i^2}$；迹范数 $=\sum\sigma_i$ 是酉不变矩阵范数（5.6.42 后的例子）。
谱半径：$\rho(A)\le|||A|||$（5.6.9），且 $\rho(A)=\inf|||A|||$（5.6.10）；$A^k\to0\iff\rho(A)<1$（5.6.12）；Gelfand 公式 $\rho(A)=\lim|||A^k|||^{1/k}$（5.6.14，对任何预范数成立 5.7.10）；矩阵幂级数在 $\rho(A)<R$ 时收敛（5.6.15）；Neumann 级数（5.6.16）；严格对角占优 ⇒ 非奇异（5.6.17）。
诱导范数的极小性：诱导 ⇔ 极小（5.6.32）；谱范数是最小的酉不变矩阵范数、唯一自伴的诱导范数（5.6.34、5.6.35）。
向量范数与矩阵：任何范数乘常数 $c(G)$ 即成矩阵范数（5.7.11）；相容性 ⇔ 条件 (5.7.15)（5.7.17）；谱占优 ⇔ 弱幂不等式（5.7.20）；数值半径 $\frac12|||A|||_2\le r(A)\le|||A|||_2$。
条件数：$\kappa(A)=|||A|||\,|||A^{-1}|||$；逆与线性方程组解的先验相对误差界（5.8.6、5.8.9）与后验界（5.8.10）；谱范数下 $\kappa=\sigma_1/\sigma_n$；$\kappa(A^*A)=\kappa(A)^2$；$1/\kappa$ 是到奇异矩阵的相对距离。

第 5 章与量化交易的关联

风险建模与协方差矩阵：协方差矩阵的条件数 $\kappa_2(\Sigma)=\lambda_{\max}/\lambda_{\min}$ 直接决定均值–方差优化权重 $w\propto\Sigma^{-1}\mu$ 对估计误差的敏感度——由 (5.8.9)，$\mu$ 与 $\Sigma$ 的相对估计误差最多被放大 $\kappa$ 倍。这是 Ledoit–Wolf 收缩、因子模型降维、特征值截断（如随机矩阵理论清洗）的理论动机。5.8.P10 说明直接解正规方程会把条件数平方，因子回归/横截面回归应使用 QR 或 SVD。
修复非正定相关矩阵：5.2.P14 给出 Frobenius 范数下最近半正定矩阵 = 把 Hermite 部分的负特征值置零，正是实务中处理缺失数据/异步数据得到的「伪相关矩阵」的标准做法（Higham 最近相关矩阵算法的第一步）。
组合优化中的范数约束：$\ell_1$ 范数约束对应换手率/杠杆约束与稀疏组合（Lasso），$\ell_2$ 对应岭型正则化，$\ell_\infty$ 对应单资产仓位上限；对偶范数（5.4.12、5.4.15a）是推导这类约束优化对偶问题、计算「最坏情形收益」的工具：在 $\|\Delta\mu\|\le\epsilon$ 的不确定集下，最坏情形损失为 $\epsilon\|w\|^D$（稳健优化）。$k$-范数（最大 $k$ 个绝对值之和）对应「前 $k$ 大持仓集中度」约束，其对偶由 (5.4.22) 给出。
时间序列与动态系统稳定性：VAR 模型 $x_{t+1}=Ax_t+\varepsilon_t$ 平稳 ⇔ $\rho(A)<1$（5.6.12）；冲击衰减速度由 Gelfand 公式与 5.6.13 刻画（$|(A^k)_{ij}|\le C(\rho+\epsilon)^k$），非正规 $A$ 可能出现短期放大（瞬态增长），这在脉冲响应分析中很重要。Neumann 级数 $(I-A)^{-1}=\sum A^k$ 用于计算 VAR 的长期乘数、投入产出/网络传染模型中的累计冲击。
数值稳健性与系统实现：严格对角占优判据（5.6.17）可快速检验矩阵可逆；条件数估计用于判断回测中线性求解是否可信；后验界（5.8.10）提醒「残差小 ≠ 解准确」，这对校准定价模型参数（如插值曲线、局部波动率求解）有直接意义。谱范数 $|||A|||_2\le\sqrt{|||A|||_1|||A|||_\infty}$（5.6.P21）是廉价的谱范数上界。
统计不等式：Laguerre–Samuelson 不等式（5.1.P14）给出样本极值偏离均值的确定性上界 $\sigma\sqrt{n-1}$；Grüss 不等式（5.2.P9）给出有界变量协方差的上界。
5.5 节的凸几何（单位球、Minkowski 规范函数、半空间分离）与 5.7 节的非次乘范数理论，与量化实务没有直接关联，属于理论背景。

第 5 章推荐习题

5.1.P4、5.1.P6、5.1.P12：平行四边形恒等式、极化恒等式与 Jordan–von Neumann 定理——理解「何时范数来自内积」。
5.1.P14：Laguerre–Samuelson 不等式，统计意义明确。
5.2.P14：最佳 Hermite/半正定 Frobenius 逼近——相关矩阵修复的理论基础，必做。
5.4.P3：$\ell_p$ 范数之间的最佳常数表，熟练掌握。
5.4.P8、5.5.P10：$k$-范数的对偶——集中度约束的对偶形式。
5.6.P5、5.6.P20、5.6.P21、5.6.P23：矩阵范数之间的比较常数，实用估计。
5.6.P27–P28：用伴随矩阵和矩阵范数界多项式根（Cauchy、Montel、Carmichael–Mason 界），可用于特征方程根的快速定位（如 AR 模型平稳性检验）。
5.6.P38–P39：何时 $\rho(A)$ 可被某个范数达到。
5.6.P47–P53：到奇异矩阵的距离等于 $|||A^{-1}|||^{-1}$（Eckart–Young 特例），理解条件数的几何意义。
5.7.P20–P22：数值半径与谱范数的比较。
5.8.P3、5.8.P8、5.8.P9、5.8.P10：非正规病态、小残差大误差、Hilbert 矩阵、正规方程条件数平方——数值实践中最重要的四个警示。

第 6 章特征值的定位与扰动（Location and perturbation of eigenvalues）（续见下一块）

6.0 引言（PDF p.407）

对角矩阵的特征值一目了然，而特征值是矩阵元素的连续函数，所以自然要问：「近似对角」（非对角元在某种意义下被对角元控制）的矩阵，其特征值能说些什么？这类矩阵在实践中常见，例如椭圆型偏微分方程边值问题离散化得到的大型线性方程组。

微分方程中振荡系统的长期稳定性要求所有特征值位于左半平面；统计或数值分析中常要证明某个 Hermite 矩阵的特征值全为正。本章给出保证特征值落在给定半平面、圆盘或射线中的简单充分条件。
所有特征值都在以原点为心、半径 $|||A|||$ 的圆盘内（任意矩阵范数）。本章寻找更小、更易确定的包含（或排除）特征值的集合。
扰动 $A\to A+E$：特征值的连续性保证 $E$ 小时特征值变化不剧烈，本章给出特征值移动距离的显式界。

6.1 Geršgorin 圆盘（Geršgorin discs）（PDF p.407–416）

把 $A=D+B$，$D=\mathrm{diag}(a_{11},\dots,a_{nn})$，$B=A-D$ 对角为零。令 $A_\epsilon=D+\epsilon B$，则 $A_0=D$、$A_1=A$；$\epsilon$ 小时 $A_\epsilon$ 的特征值在 $a_{ii}$ 的小邻域内。Geršgorin 定理把这一观察精确化。

Theorem 6.1.1（Geršgorin） 令去心绝对行和（deleted absolute row sums）

R_i'(A)=\sum_{j\ne i}|a_{ij}|,\quad i=1,\dots,n,\tag{6.1.1a}

Geršgorin 圆盘 $\{z\in\mathbf C:|z-a_{ii}|\le R_i'(A)\}$。则 $A$ 的特征值都在其并集

G(A)=\bigcup_{i=1}^n\{z:|z-a_{ii}|\le R_i'(A)\}\tag{6.1.2}

中。进一步，若其中 $k$ 个圆盘的并 $G_k(A)$ 与其余 $n-k$ 个圆盘不交，则 $G_k(A)$ 恰含 $A$ 的 $k$ 个特征值（按代数重数计）。

证明要点：(i) 设 $Ax=\lambda x$，取 $p$ 使 $|x_p|=\|x\|_\infty>0$。由第 $p$ 个分量 $x_p(\lambda-a_{pp})=\sum_{j\ne p}a_{pj}x_j$，

|x_p||\lambda-a_{pp}|\le\sum_{j\ne p}|a_{pj}||x_j|\le|x_p|R_p',

故 $|\lambda-a_{pp}|\le R_p'$。(ii) 计数部分：经置换相似设前 $k$ 个圆盘的并 $G_k(A)$ 与其余圆盘的并 $G_k(A)^c$ 不交。对 $\epsilon\in[0,1]$，$R_i'(A_\epsilon)=\epsilon R_i'(A)$，故 $A_\epsilon$ 的每个 Geršgorin 圆盘含于 $A$ 的对应圆盘，$G_k(A_\epsilon)\subset G_k(A)$ 且与 $G_k(A)^c$ 不交。取包围 $G_k(A)$ 且与 $G_k(A)^c$ 不交的简单闭可求长曲线 $\Gamma$，它不经过任何 $A_\epsilon$ 的特征值；$p_\epsilon(z)=\det(zI-D-\epsilon B)$ 的系数是 $\epsilon$ 的多项式。由辐角原理，$\Gamma$ 内零点个数

N(\epsilon)=\frac1{2\pi i}\oint_\Gamma\frac{p_\epsilon'(z)}{p_\epsilon(z)}dz

是 $\epsilon$ 的连续整数值函数，故为常数；$N(0)=k$（零点 $a_{11},\dots,a_{kk}$），于是 $N(1)=k$，且这些特征值都在 $G_k(A)$ 中。

说明：

第二部分不要求 $G_k(A)$ 连通。若 $G_k(A)$ 不连通，可对各个不交部分分别再用定理细化；若连通，则只能断言它恰含 $k$ 个特征值。
$G(A)$ 称为（行）Geršgorin 集，圆盘边界称为 Geršgorin 圆。
$A$ 与 $A^T$ 特征值相同，对 $A^T$ 用定理得列版本，用去心绝对列和 $C_j'(A)=\sum_{i\ne j}|a_{ij}|$（6.1.2a）。

Corollary 6.1.3 $A$ 的特征值在 $\bigcup_j\{z:|z-a_{jj}|\le C_j'\}=G(A^T)$（6.1.4）中；若其中 $k$ 个圆盘的并 $\mathcal G_k(A)$ 与其余不交，则恰含 $k$ 个特征值。练习：特征值在 $G(A)\cap G(A^T)$ 中；例 $a_{ij}=i/j$ 的 $3\times3$ 矩阵。

第 $i$ 个圆盘中离原点最远的点模为 $|a_{ii}|+R_i'=\sum_j|a_{ij}|$，故：

Corollary 6.1.5 $\rho(A)\le\min\{\max_i\sum_j|a_{ij}|,\ \max_j\sum_i|a_{ij}|\}$，即 $\rho(A)\le|||A|||_\infty$ 与 $\rho(A)\le|||A|||_1$（与 5.6.9 一致，但这里是几何推导）。

对角相似加参数：$S^{-1}AS$ 与 $A$ 特征值相同，取 $S=D=\mathrm{diag}(p_1,\dots,p_n)$，$p_i>0$，$D^{-1}AD=[p_ja_{ij}/p_i]$。

Corollary 6.1.6 对任意正数 $p_1,\dots,p_n$，$A$ 的特征值在

\bigcup_i\Big\{z:|z-a_{ii}|\le\frac1{p_i}\sum_{j\ne i}p_j|a_{ij}|\Big\}=G(D^{-1}AD)

中，且 $k$ 个圆盘并与其余不交时恰含 $k$ 个特征值；列版本为 $\bigcup_j\{z:|z-a_{jj}|\le p_j\sum_{i\ne j}\frac1{p_i}|a_{ij}|\}=G(DA^TD^{-1})$。

例（Figure 6.1.7）：$A=\begin{bmatrix}1&1\\0&2\end{bmatrix}$ 特征值 1、2。直接用 6.1.1：圆盘 $\{|z-1|\le1\}$ 与点 $\{2\}$，估计粗糙（图 a）；用 6.1.6，第一个圆盘半径变为 $r=p_2/p_1$，可任意小，从而得到任意精确的估计（图 b）。

正文练习：(i) $A=\begin{bmatrix}7&-16&8\\-16&7&-8\\8&-8&-5\end{bmatrix}$ 用 Geršgorin 及 $D^{-1}AD$ 估计特征值和谱半径，再与真值比较；(ii) 每个特征值都在 $\bigcap_DG(D^{-1}AD)$ 中（$D$ 取遍正对角矩阵）。

Corollary 6.1.8

\rho(A)\le\min_{p_1,\dots,p_n>0}\max_i\frac1{p_i}\sum_{j=1}^np_j|a_{ij}|,\qquad\rho(A)\le\min_{p>0}\max_jp_j\sum_{i=1}^n\frac1{p_i}|a_{ij}|.

练习：$A=\begin{bmatrix}a&b\\c&d\end{bmatrix}$ 元素全正时，可显式求出使 $|||\tilde D^{-1}A\tilde D|||_\infty$ 最小的 $\tilde D$，且最小值等于 $\rho(A)$。由 8.1.31，正矩阵（或非负不可约矩阵）的 $\min_D|||D^{-1}AD|||_\infty=\rho(A)$；有负元时不一定：练习 $A=\begin{bmatrix}1&1\\-1.5&2\end{bmatrix}$ 有 $\rho(A)<\min_D|||D^{-1}AD|||_\infty$。

利用额外信息：若已知特征值的位置（如 Hermite 矩阵特征值为实数），可与 Geršgorin 结合：特征值在 $\mathbf R\cap G(A)$（有限个闭区间之并）中。练习：对斜 Hermite、酉、实正交矩阵能推出什么？

对角占优。矩阵非奇异当且仅当 0 不在谱中，因此希望找出把 0 排除在包含集外的条件。

Definition 6.1.9 $A$ 称为对角占优（diagonally dominant），若 $|a_{ii}|\ge R_i'$ 对所有 $i$；严格对角占优若 $|a_{ii}|>R_i'$ 对所有 $i$。

严格对角占优时 0 不在任何闭 Geršgorin 圆盘中；若对角元都是正实数，各圆盘位于开右半平面；若再是 Hermite 矩阵，特征值为正实数。

Theorem 6.1.10 设 $A$ 严格对角占优，则 (a) $A$ 非奇异（Levy–Desplanques 定理，见 5.6.17）；(b) 若所有 $a_{ii}>0$，则每个特征值实部为正；(c) 若 $A$ Hermite 且所有 $a_{ii}>0$，则 $A$ 正定。练习：$\begin{bmatrix}1&1\\1&1\end{bmatrix}$ 对角占优但奇异；$\begin{bmatrix}1&1\\1-\epsilon&1\end{bmatrix}$ 非奇异但不严格对角占优——对角占优不足以保证非奇异，严格对角占优也不是非奇异的必要条件。

Theorem 6.1.11 设 $A$ 对角元非零、对角占优，且至少 $n-1$ 个 $i$ 满足 $|a_{ii}|>R_i'$，则 $A$ 非奇异。证明：设 $i\ne k$ 时严格，若 $|a_{kk}|>R_k'$ 已由 6.1.10 得证；设 $|a_{kk}|=R_k'>0$。在 6.1.6 中取 $p_i=1$（$i\ne k$），$p_k=1+\epsilon$。则第 $k$ 个圆盘半径 $\frac1{1+\epsilon}R_k'<|a_{kk}|$；第 $i$ 个半径 $R_i'+\epsilon|a_{ik}|$，取 $\epsilon$ 足够小仍小于 $|a_{ii}|$。于是 $0\notin G(D^{-1}AD)$。

最优性：Geršgorin 型结果只用到对角元和非对角元的绝对值。闭集

\bigcap_DG(D^{-1}AD),\quad D=\mathrm{diag}(p_1,\dots,p_n),\ p_i>0\tag{6.1.12}

包含 $A$ 的特征值。若只允许对角相似、只用对角元和非对角元绝对值，不可能做得更好：R. Varga 证明，对 (6.1.12) 边界上的任意点 $z$，存在 $B$ 使 $b_{ii}=a_{ii}$、$|b_{ij}|=|a_{ij}|$ 且 $z$ 是 $B$ 的特征值。

6.1 节习题概览：

6.1.P1：Jacobi 型迭代：解 $Ax=y$，令 $B=I-A$，迭代 $x^{(m+1)}=Bx^{(m)}+y$；误差 $\epsilon^{(m)}=B^m(x^{(0)}-x)$；$\rho(I-A)<1$ 时对任意初值收敛；用 Geršgorin 给出简单充分条件（如 $\sum_j|\delta_{ij}-a_{ij}|<1$）。
6.1.P2：$\bigcap_SG(S^{-1}AS)=\sigma(A)$（取遍所有非奇异 $S$）。
6.1.P3：由 6.1.5 得 $|\det A|\le\prod_j\|a_j\|_1$（列和之积），行版本同理；与 5.6.P10 比较。
6.1.P4：由「特征值在 $G(A)$ 中」推出 6.1.10(a) 的逆向蕴含。
6.1.P5：Geršgorin 圆盘两两不交时，实矩阵（或对角元为实且特征多项式实系数）的特征值全为实数（复特征值成对出现，而每个圆盘恰含一个特征值）。
6.1.P6：若 $k$ 个 $i$ 满足 $|a_{ii}|>R_i'$，则 $\mathrm{rank}A\ge k$。
6.1.P7：幂等矩阵 $A\ne I$ 不可能严格对角占优（或不可约对角占优）。
6.1.P8：严格行对角占优时至少有一列也严格占优（$|a_{kk}|>C_k'$）。
6.1.P9：严格对角占优时 $\rho(I-D^{-1}A)<1$（Jacobi 迭代收敛）。
6.1.P10–P11：秩的下界 $\mathrm{rank}A\ge\sum_{a_i\ne0}|a_{ii}|/\|a_i\|_1$ 与 $\mathrm{rank}A\ge\sum_{a_i\ne0}|a_{ii}|^2/\|a_i\|_2^2$。
6.1.P12：Toeplitz（或更一般的对角元相等的 persymmetric）矩阵 $G(A)=G(A^T)$。
6.1.P13：实严格对角占优矩阵的 $\det A$ 与 $a_{11}\cdots a_{nn}$ 同号。
6.1.P14（取自 Geršgorin 原文）：若 $|a_{ii}-a_{jj}|>R_i'+R_j'$ 对所有 $i\ne j$，则圆盘两两不交，$A$ 有 $n$ 个不同特征值；实矩阵时为 $n$ 个不同实特征值。
6.1.P15：对角占优时 $\rho(A)\le2\max|a_{ii}|$，严格时严格小于。
6.1.P16：Gauss 消元保持严格对角占优：顺序主子矩阵都非奇异；消去第一列后 $C=B-a^{-1}xy^T$ 严格对角占优；对 Schur 补 $A_{22}-A_{21}A_{11}^{-1}A_{12}$ 同样成立（所以严格对角占优矩阵做 LU 分解无需选主元）。
6.1.P17：分块 Geršgorin 定理：用 5.6.P55 的分块矩阵范数，$\mathcal R_i'=\sum_{j\ne i}|||A_{ij}|||$，特征值在 $\bigcup_i\sigma(A_{ii})\cup\bigcup_i\{z\notin\sigma(A_{ii}):\ |||(zI-A_{ii})^{-1}|||^{-1}\le\mathcal R_i'\}\tag{6.1.13}$ 中；分块严格对角占优（$|||A_{ii}^{-1}|||^{-1}>\mathcal R_i'$）⇒ 非奇异；$m=1$ 时回到 6.1.1（并得到另一证明）；谱范数且对角块正规时包含集为圆盘之并 $\bigcup_i\bigcup_j\{|z-\lambda_j^{(i)}|\le\sum_{k\ne i}|||A_{ik}|||_2\}$（6.1.14）；例：$A_{11}=A_{22}=\begin{bmatrix}0&1\\1&0\end{bmatrix}$，$A_{12}=A_{21}^T=\begin{bmatrix}0&0\\.5&0\end{bmatrix}$ 不对角占优但分块占优，特征值 $\approx\pm1.2808,\pm0.7808$，(6.1.14) 给出 $[-1.5,-.5]\cup[.5,1.5]$。
6.1.P18–P20（Hall–Marsli）：几何重数为 $k$ 的特征值 $\lambda$ 至少落在 $k$ 个不同的 Geršgorin 圆盘中（取特征空间基 $Y=XR$，使各列在不同下标处取到 $\|\cdot\|_\infty$）；且 $\lambda$ 属于任意 $n-k+1$ 个圆盘之并（6.1.15）。
6.1.P21：循环矩阵只要有一行严格对角占优即非奇异。

延伸阅读：Geršgorin (1931) 原始论文；Taussky (1949) 历史回顾；Brualdi & Mellendorf (1994) 推广；6.1.10(a) 的定量版本：最小奇异值 $\ge\min_i\{|a_{ii}|-\frac12(R_i'+C_i')\}$（Horn & Johnson 1991, 3.7.17）；Varga (2004) 专著；Varga (1965) 关于最小 Geršgorin 集。

6.2 Geršgorin 圆盘再探（Geršgorin discs – a closer look）（PDF p.416–424）

严格对角占优足以保证非奇异，对角占优则不够。由一些 $2\times2$ 例子会猜想：对角占优再加上

|a_{ii}|>R_i'\ \text{对至少一个 }i\tag{6.2.1}

就够了。但这不对，反例

\begin{bmatrix}4&2&1\\0&1&1\\0&1&1\end{bmatrix}\tag{6.2.1a}

（对角占优、第一行严格，但右下 $2\times2$ 块奇异）。不过在一定条件下 (6.2.1) 确实足够，这引出了图论中很有意思的概念。基本观察：若 $A$ 对角占优，0 不可能在任何 Geršgorin 圆盘的内部。

Lemma 6.2.2 设 $\lambda\in\mathbf C$。(a) $\lambda$ 不在 $A$ 的任何 Geršgorin 圆盘内部，当且仅当

|\lambda-a_{ii}|\ge R_i'\quad\forall i;\tag{6.2.2a}

(b) 若 $\lambda$ 在 Geršgorin 集 $G(A)$ 的边界上，则满足 (6.2.2a)；(c) $A$ 对角占优当且仅当 $\lambda=0$ 满足 (6.2.2a)。练习：$A=\begin{bmatrix}1&1\\1&i\end{bmatrix}\oplus\begin{bmatrix}-1&1\\1&-i\end{bmatrix}$ 与 $\lambda=0$ 说明 $G(A)$ 的内点也可能满足 (6.2.2a)。

Lemma 6.2.3 设 $\lambda,x$ 是 $A$ 的特征对且 $\lambda$ 满足 (6.2.2a)。则

(a) 若 $|x_p|=\|x\|_\infty$，则 $|\lambda-a_{pp}|=R_p'$，即第 $p$ 个 Geršgorin 圆经过 $\lambda$；
(b) 若 $|x_p|=\|x\|_\infty$ 且 $a_{pq}\ne0$，则 $|x_q|=\|x\|_\infty$。证明：如 6.1.1， $|\lambda-a_{pp}|\|x\|_\infty=\Big|\sum_{j\ne p}a_{pj}x_j\Big|\le\sum_{j\ne p}|a_{pj}||x_j|\le R_p'\|x\|_\infty,\tag{6.2.4}$ 与 (6.2.2a) 合起来全部取等（6.2.4a），得 (a)；由中间等式 $\sum_{j\ne p}|a_{pj}|(\|x\|_\infty-|x_j|)=0$，每项非负故为零，得 (b)。

Theorem 6.2.5 若 $A$ 的所有元素非零，$\lambda,x$ 为特征对且 $\lambda$ 满足 (6.2.2a)，则 (a) $A$ 的每个 Geršgorin 圆都经过 $\lambda$；(b) $|x_i|=\|x\|_\infty$ 对所有 $i$。

Corollary 6.2.6 元素全非零的 $A$ 若对角占优，且存在 $k$ 使 $|a_{kk}|>R_k'$，则非奇异（0 满足 (6.2.2a)，但第 $k$ 个圆不过 0，故 0 不是特征值）。

更好地利用 6.2.3，只需非零元的「连通」结构：

Definition 6.2.7（性质 SC） $A$ 具有性质 SC，若对每对不同的 $p,q$，存在互不相同的下标 $k_1=p,k_2,\dots,k_m=q$ 使 $a_{k_1k_2},a_{k_2k_3},\dots,a_{k_{m-1}k_m}$ 都非零。例：(6.2.1a) 中 $p=2,q=1$ 时只能 $k_2=3$，而 $a_{31}=0$，故无性质 SC。

Theorem 6.2.8（更好的定理） 设 $\lambda,x$ 为特征对，$\lambda$ 满足 (6.2.2a)。若 $A$ 有性质 SC，则 (a) 每个 Geršgorin 圆都经过 $\lambda$；(b) $|x_i|=\|x\|_\infty$ 对所有 $i$。证明：取 $|x_p|=\|x\|_\infty$，第 $p$ 个圆过 $\lambda$。任取 $q\ne p$，沿 SC 路径 $k_1=p,\dots,k_m=q$，由 6.2.3(b) 逐步得 $|x_{k_i}|=\|x\|_\infty$，再由 6.2.3(a) 得 $|\lambda-a_{k_ik_i}|=R_{k_i}'$。

Corollary 6.2.9（更好的推论） 若 $A$ 有性质 SC、对角占优，且存在 $k$ 使 $|a_{kk}|>R_k'$，则 $A$ 非奇异。

性质 SC 只依赖非对角非零元的位置。

Definition 6.2.10 $|A|=[|a_{ij}|]$；指示矩阵（indicator matrix）$M(A)=[\mu_{ij}]$，$a_{ij}\ne0$ 时 $\mu_{ij}=1$，否则 0。$A$ 有性质 SC ⇔ $|A|$ 有 ⇔ $M(A)$ 有。

Definition 6.2.11 $A\in M_n$ 的有向图 $\Gamma(A)$：$n$ 个结点 $P_1,\dots,P_n$，当且仅当 $a_{ij}\ne0$ 时有从 $P_i$ 到 $P_j$ 的有向弧。例：$A_1=\begin{bmatrix}1&1\\1&1\end{bmatrix}$（两个自环加双向弧）、$A_2=\begin{bmatrix}0&1\\1&0\end{bmatrix}$（双向弧）、$A_3=\begin{bmatrix}1&1\\0&0\end{bmatrix}$（$P_1$ 自环、$P_1\to P_2$）、$A_4=\begin{bmatrix}4&2&1\\0&1&1\\0&0&1\end{bmatrix}$ 的图。

Definition 6.2.12 有向路径（directed path）：弧序列 $P_{i_1}P_{i_2},P_{i_2}P_{i_3},\dots$；长度为弧数；圈（cycle，简单有向圈）：起点终点相同、该结点在列表中恰出现两次而其他结点至多一次；长度 1 的圈称为环（loop，平凡圈）。

Definition 6.2.13 有向图强连通（strongly connected）：任意两个不同结点 $P_i,P_j$ 之间存在从 $P_i$ 到 $P_j$ 的有限长有向路径。

Theorem 6.2.14 $A$ 有性质 SC 当且仅当 $\Gamma(A)$ 强连通。练习：若每对结点都在某个圈上则强连通；逆命题反例 $\begin{bmatrix}0&1&0\\1&0&1\\0&1&0\end{bmatrix}$。

Observation 6.2.15 $n$ 结点有向图中，若两结点之间有路径，则有长度不超过 $n-1$ 的路径（重复访问的结点之间的子路径含圈，可删去）。

Theorem 6.2.16 以下等价：(a) $\Gamma(A)$ 中有从 $P_i$ 到 $P_j$ 长度为 $m$ 的有向路径；(b) $(|A|^m)_{ij}\ne0$；(c) $(M(A)^m)_{ij}\ne0$。证明：归纳，$(|A|^{q+1})_{ij}=\sum_k(|A|^q)_{ik}|a_{kj}|\ne0$ 当且仅当存在 $k$ 使两者都非零，即有长 $q$ 的 $P_i\to P_k$ 路径和弧 $P_k\to P_j$（非负项相加不会相消）。

Definition 6.2.17 $A\ge0$（非负）：元素都是非负实数；$A>0$（正）：元素都是正实数。

Corollary 6.2.18 $|A|^m>0$ 当且仅当任意结点对 $P_i,P_j$ 之间都有长度恰为 $m$ 的有向路径；$M(A)^m$ 同理。

Corollary 6.2.19 以下等价：(a) $A$ 有性质 SC；(b) $(I+|A|)^{n-1}>0$；(c) $(I+M(A))^{n-1}>0$。证明：$(I+|A|)^{n-1}=I+(n-1)|A|+\binom{n-1}2|A|^2+\dots+|A|^{n-1}$，对 $i\ne j$ 其 $(i,j)$ 元为正当且仅当某个 $|A|^k$（$k\le n-1$）的 $(i,j)$ 元为正，即（由 6.2.15、6.2.16）存在 $P_i\to P_j$ 路径。

Corollary 6.2.20 $i\ne j$ 时，$\Gamma(A)$ 中存在 $P_i\to P_j$ 路径当且仅当 $((I+|A|)^{n-1})_{ij}\ne0$。练习：反复平方 $(I+|A|)^2,(I+|A|)^4,\dots$，约 $\log_2(n-1)$ 次矩阵乘法即可检验性质 SC（而非 $n-2$ 次）。

可约性。强连通是 $\Gamma(A)$ 的拓扑性质，与结点标号无关。交换 $A$ 的第 $i,j$ 行与第 $i,j$ 列相当于交换结点 $P_i,P_j$ 的标号；置换相似 $A\to P^TAP$ 等价于重新标号。

Definition 6.2.21 $A$ 可约（reducible），若存在置换矩阵 $P$ 使

P^TAP=\begin{bmatrix}B&C\\0_{n-r,r}&D\end{bmatrix},\quad1\le r\le n-1.

不要求 $B,C,D$ 有非零元，只要求能通过行列交换造出左下角 $(n-r)\times r$ 零块；$B,D$ 至少 $1\times1$，故 $1\times1$ 矩阵不可约。练习：可约矩阵至少有 $n-1$ 个零元。

应用：$A$ 可约时解 $Ax=y$：$\tilde A=P^TAP$，令 $P^Tx=[z;\zeta]$、$P^Ty=[w;\omega]$，方程化为 $D\zeta=\omega$ 与 $Bz+C\zeta=w$——先解 $D\zeta=\omega$，再解 $Bz=w-C\zeta$，可约系数矩阵的线性方程组可化为两个更小的方程组。

Definition 6.2.22 不可约（irreducible）：不是可约的。

Theorem 6.2.23 以下等价：(a) $A$ 不可约；(b) $(I+|A|)^{n-1}>0$；(c) $(I+M(A))^{n-1}>0$。证明：只需证 $A$ 可约 ⇔ $(I+|A|)^{n-1}$ 有零元。若可约，$P^T|A|P=|\tilde A|$，$|\tilde A|^k$ 都有左下零块，故 $P^T(I+|A|)^{n-1}P=(I+|\tilde A|)^{n-1}$ 有零块。反之若 $p\ne q$ 处为零，则无 $P_p\to P_q$ 路径；令 $S_1=\{P_i:P_i=P_q$ 或存在 $P_i\to P_q$ 路径$\}$，$S_2$ 为其余结点，$P_p\in S_2$ 非空。$S_2$ 中任何结点到 $S_1$ 中结点都无路径（否则可到 $P_q$）。重新标号使 $S_1$ 在前，得 $P^TAP=\begin{bmatrix}B&C\\0&D\end{bmatrix}$。

Theorem 6.2.24（汇总） 以下等价：(a) $A$ 不可约；(b) $(I+|A|)^{n-1}>0$；(c) $(I+M(A))^{n-1}>0$；(d) $\Gamma(A)$ 强连通；(e) $A$ 有性质 SC。

Definition 6.2.25 $A$ 不可约对角占优（irreducibly diagonally dominant），若 (a) 不可约；(b) 对角占优 $|a_{ii}|\ge R_i'$ 对所有 $i$；(c) 存在 $i$ 使 $|a_{ii}|>R_i'$。练习：举例说明不可约且对角占优不一定是不可约对角占优（如 $\begin{bmatrix}1&1\\1&1\end{bmatrix}$）。

Theorem 6.2.26（Taussky） 设 $A$ 不可约，$\lambda$ 满足 (6.2.2a)（例如 $\lambda$ 是 $G(A)$ 的边界点）。若 $\lambda$ 是 $A$ 的特征值，则 $A$ 的每个 Geršgorin 圆都经过 $\lambda$。等价地：若某个 Geršgorin 圆不经过 $\lambda$，则 $\lambda$ 不是特征值。

Corollary 6.2.27（Taussky） 设 $A$ 不可约对角占优，则 (a) $A$ 非奇异；(b) 若对角元都是正实数，每个特征值实部为正；(c) 若 $A$ Hermite 且对角元为正，则 $A$ 正定。

6.2 节习题概览（P2、P5 中提到的「(6.2.28)」应指上面 Taussky 的结果）：

6.2.P1：$n\ge2$ 的不可约矩阵没有零行或零列。
6.2.P2：举例说明 Taussky 结果中不可约假设不可去（如 (6.2.1a)）。
6.2.P3：若 $\lambda,x$ 是 $|A|$ 的特征对且 $x>0$，令 $D=\mathrm{diag}(x)$，则 $D^{-1}|A|D$ 的每个 Geršgorin 圆过 $\lambda$，且 $\lambda=\rho(|A|)$（$D^{-1}|A|D$ 的绝对行和都等于 $\lambda$）。
6.2.P4：利用第 8 章「正矩阵有正特征值和正特征向量」（Perron 定理）证明 $\rho(A)\le\rho(|A|)$。
6.2.P5：用 Taussky 结果改进 Cauchy 界 (5.6.47)：若 $|a_0|,|a_1|+1,\dots,|a_{n-1}|+1$ 不全相等，则 $|\tilde z|<\max\{|a_0|,|a_1|+1,\dots,|a_{n-1}|+1\}$（严格）；类似改进 Montel、Carmichael–Mason、Kojima 界。
6.2.P6：不可约上 Hessenberg 矩阵是未约化的（次对角元非零），反之不然；Hermite/对称三对角矩阵未约化 ⇔ 不可约。
6.2.P7：对角元全为 2、上下次对角元全为 $-1$ 的实对称三对角矩阵（离散 Laplace 算子）是正定的：它不可约、对角占优、首末行严格占优，由 6.2.27 得证。
6.2.P8：$A$ 不可约且绝对行和不全相等时 $\rho(A)<|||A|||_\infty$；不可约假设能否去掉？

6.3 特征值扰动定理（Eigenvalue perturbation theorems）（PDF p.425–433）

设 $D=\mathrm{diag}(\lambda_1,\dots,\lambda_n)$，$E=[e_{ij}]$，对 $D+E$ 用 6.1.1：其特征值在 $\bigcup_i\{z:|z-\lambda_i-e_{ii}|\le R_i'(E)\}$ 中，进而在 $\bigcup_i\{z:|z-\lambda_i|\le R_i(E)=\sum_j|e_{ij}|\}$ 中。所以 $D+E$ 的每个特征值 $\hat\lambda$ 都有 $D$ 的某个特征值 $\lambda_i$ 使 $|\hat\lambda-\lambda_i|\le|||E|||_\infty$。

Observation 6.3.1 设 $A=S\Lambda S^{-1}$ 可对角化。若 $\hat\lambda$ 是 $A+E$ 的特征值，则存在 $A$ 的特征值 $\lambda$ 使

|\hat\lambda-\lambda|\le|||S|||_\infty|||E|||_\infty|||S^{-1}|||_\infty=\kappa_\infty(S)|||E|||_\infty.

证明：$S^{-1}(A+E)S=\Lambda+S^{-1}ES$，用上面的论证得 $|\hat\lambda-\lambda|\le|||S^{-1}ES|||_\infty$，再用次乘性。

最大行和范数由绝对范数（$\ell_1$ 范数的对偶 $\ell_\infty$）诱导，借助 5.6.36 推广为：

Theorem 6.3.2（Bauer–Fike） 设 $A=S\Lambda S^{-1}$ 可对角化，$|||\cdot|||$ 是由绝对向量范数诱导的矩阵范数。若 $\hat\lambda$ 是 $A+E$ 的特征值，则存在 $A$ 的特征值 $\lambda$ 使

|\hat\lambda-\lambda|\le|||S|||\,|||S^{-1}|||\,|||E|||=\kappa(S)|||E|||.\tag{6.3.3}

证明：若 $\hat\lambda$ 是 $A$ 的特征值则平凡。否则 $\hat\lambda I-\Lambda$ 非奇异，而 $\hat\lambda I-\Lambda-S^{-1}ES$ 奇异，故 $I-(\hat\lambda I-\Lambda)^{-1}S^{-1}ES$ 奇异，由 5.6.16 $|||(\hat\lambda I-\Lambda)^{-1}S^{-1}ES|||\ge1$。由 5.6.36（绝对范数诱导的范数对对角矩阵取最大模），

1\le|||S^{-1}ES|||\,|||(\hat\lambda I-\Lambda)^{-1}|||=\frac{|||S^{-1}ES|||}{\min_i|\hat\lambda-\lambda_i|},

故 $\min_i|\hat\lambda-\lambda_i|\le|||S^{-1}ES|||\le\kappa(S)|||E|||$。练习：举出不满足定理假设的矩阵范数（如 Frobenius 范数非诱导、或非绝对范数诱导的范数）；酉矩阵在谱范数下条件数为 1。

解释：条件数 $\kappa(\cdot)$ 在 5.8 节出现于逆和线性方程组的先验误差界；这里它出现在可对角化矩阵特征值计算的先验误差界中：若把 $\hat\lambda$ 看作扰动矩阵 $A+E$ 的精确特征值，则 $|\hat\lambda-\lambda|/|||E|||\le\kappa(S)$。所用范数须由绝对向量范数诱导，$S$ 的列可以是 $A$ 的任何一组线性无关特征向量。$\kappa(S)$ 小（接近 1）时，数据小扰动只引起特征值小变化；$\kappa(S)$ 很大时，计算出的特征值可能很不准确。$A$ 正规时可取 $S$ 为酉矩阵，谱范数下 $\kappa(S)=1$：正规矩阵的特征值计算是良态的。

Corollary 6.3.4 若 $A$ 正规，$\hat\lambda$ 是 $A+E$ 的特征值，则存在 $A$ 的特征值 $\lambda$ 使 $|\hat\lambda-\lambda|\le|||E|||_2$。注意 $E$ 与 $A+E$ 都不必正规，例如实对称 $A$ 受到实的但非对称的扰动。

练习（Hermite 情形更强）：$A,E$ Hermite，特征值按递增排列 $\lambda_1\le\dots\le\lambda_n$、$\hat\lambda_1\le\dots\le\hat\lambda_n$（$A+E$ 的）、$\lambda_1(E)\le\dots\le\lambda_n(E)$，由 Weyl 不等式 (4.3.2a,b)：

\lambda_1(E)\le\hat\lambda_k-\lambda_k\le\lambda_n(E),\quad k=1,\dots,n,\tag{6.3.4.1}

从而 $|\hat\lambda_k-\lambda_k|\le\rho(E)=|||E|||_2$。这比 6.3.4 强，因为它指明了按序配对；若 $E$ 半正定，则每个特征值都不减。

数值应用中 $A$ 与扰动 $E$ 常都是实对称的；更一般地，若 $A$ 与 $A+E$ 都正规，可给出所有特征值整体扰动的 Frobenius 范数界：

Theorem 6.3.5（Hoffman–Wielandt） 设 $A$ 与 $A+E$ 都正规，特征值分别为 $\lambda_1,\dots,\lambda_n$ 与 $\hat\lambda_1,\dots,\hat\lambda_n$（任意给定顺序）。则存在置换 $\sigma$ 使

\sum_{i=1}^n|\hat\lambda_{\sigma(i)}-\lambda_i|^2\le\|E\|_2^2=\mathrm{tr}(E^*E).\tag{6.3.6}

证明：$A=V\Lambda V^*$，$A+E=W\hat\Lambda W^*$，$U=V^*W=[u_{ij}]$。由 Frobenius 范数酉不变，

\|E\|_2^2=\|W\hat\Lambda W^*-V\Lambda V^*\|_2^2=\|U\hat\Lambda-\Lambda U\|_2^2=\sum_{i,j}|\hat\lambda_i-\lambda_j|^2|u_{ij}|^2.

如 4.3.49 的证明，$[|u_{ij}|^2]$ 是双随机矩阵（doubly stochastic），故

\|E\|_2^2\ge\min\Big\{\sum_{i,j}|\hat\lambda_i-\lambda_j|^2s_{ij}:\ S=[s_{ij}]\text{ 双随机}\Big\}.

$f(S)$ 是紧凸集（双随机矩阵集）上的线性函数，由 Birkhoff 定理的推论 8.7.3，最小值在某置换矩阵 $P$ 处取到；设 $P^T$ 对应置换 $\sigma$，得 $\|E\|_2^2\ge\sum_i|\hat\lambda_{\sigma(i)}-\lambda_i|^2$。

注意：6.3.5 说明正规矩阵的特征值在扰动下有很强的稳定性，但没有指明哪个置换满足不等式；并非每个置换都可以，事实上总存在一个置换使不等式反向（6.3.P8）。但 Hermite 矩阵有自然的排序：

Corollary 6.3.8 设 $A$ Hermite、$A+E$ 正规，$A$ 的特征值递增排列 $\lambda_1\le\dots\le\lambda_n$，$A+E$ 的特征值按实部递增排列 $\mathrm{Re}\hat\lambda_1\le\dots\le\mathrm{Re}\hat\lambda_n$。则

\sum_{i=1}^n|\hat\lambda_i-\lambda_i|^2\le\|E\|_2^2.

证明：由 6.3.5 存在置换使 $\sum|\hat\lambda_{\sigma(i)}-\lambda_i|^2\le\|E\|_2^2$（6.3.9）。若相邻两项实部未按序，$\mathrm{Re}\hat\lambda_{\sigma(k)}>\mathrm{Re}\hat\lambda_{\sigma(k+1)}$，计算得

|\hat\lambda_{\sigma(k)}-\lambda_k|^2+|\hat\lambda_{\sigma(k+1)}-\lambda_{k+1}|^2=|\hat\lambda_{\sigma(k+1)}-\lambda_k|^2+|\hat\lambda_{\sigma(k)}-\lambda_{k+1}|^2+\Delta(k),

$\Delta(k)=2(\lambda_k-\lambda_{k+1})(\mathrm{Re}\hat\lambda_{\sigma(k+1)}-\mathrm{Re}\hat\lambda_{\sigma(k)})\ge0$（$\lambda$ 实且递增）。所以交换相邻两项不增加平方和；有限次相邻交换（冒泡排序）即可把列表变成按实部递增的顺序。

重要特例：$A$ 与 $A+E$ 都是 Hermite（或实对称），推广见 7.4.9.3。练习：$A,E$ Hermite，特征值按同序排列，则 $\sum_i(\lambda_i(A+E)-\lambda_i(A))^2\le\|E\|_2^2$。反例练习：$A=\begin{bmatrix}0&0\\0&4\end{bmatrix}$，$E=\begin{bmatrix}-1&-1\\1&-3\end{bmatrix}$，$A+E=\begin{bmatrix}-1&-1\\1&1\end{bmatrix}$ 幂零（非正规），对任何排序 $\sum(\lambda_i(A+E)-\lambda_i(A))^2=16>\|E\|_2^2=12$——6.3.5 中正规性假设不可去。

单特征值的微分。$A$ 不可对角化时没有 6.3.2 这样易述的界。但对单（simple）特征值，有描述其随元素扰动变化的显式公式，基础是 1.4.7 与 1.4.12：

Lemma 6.3.10 设 $\lambda$ 是 $A$ 的单特征值，$x,y$ 分别为对应的右、左特征向量（$Ax=\lambda x$，$y^*A=\lambda y^*$）。则

(a) $y^*x\ne0$；
(b) 存在非奇异 $S=[x\ S_1]$，$S^{-*}=[\frac{y}{x^*y}\ Z_1]$（$S_1,Z_1\in M_{n,n-1}$），使 $A=S\begin{bmatrix}\lambda&0\\0&A_1\end{bmatrix}S^{-1},\tag{6.3.11}$ 且 $\lambda$ 不是 $A_1\in M_{n-1}$ 的特征值。

Theorem 6.3.12 设 $\lambda$ 是 $A$ 的单特征值，$x,y$ 为右、左特征向量，$E\in M_n$。则

(a) 对任意 $\varepsilon>0$，存在 $\delta>0$，使对所有 $|t|<\delta$，$A+tE$ 有唯一特征值 $\lambda(t)$ 满足 $\big|\lambda(t)-\lambda-t\,\dfrac{y^*Ex}{y^*x}\big|\le|t|\varepsilon$；
(b) $\lambda(t)$ 在 $t=0$ 连续，$\lim_{t\to0}\lambda(t)=\lambda$；
(c) $\lambda(t)$ 在 $t=0$ 可微，且 $\left.\frac{d\lambda(t)}{dt}\right|_{t=0}=\frac{y^*Ex}{y^*x}.\tag{6.3.13}$

证明思路：构造与 $A+tE$ 相似的矩阵，使其 $(1,1)$ 元为 $\lambda+ty^*Ex/y^*x$，且第一行的 Geršgorin 圆盘半径不超过 $|t|\varepsilon$、与其余 $n-1$ 个圆盘不交，然后用 6.1.1 的计数部分。具体：令 $\mu=\min\{|\lambda-\hat\lambda|:\hat\lambda\ne\lambda$ 为 $A$ 的特征值$\}>0$，取 $\varepsilon\in(0,\mu/7)$。记 $\eta=y/y^*x$，

S^{-1}(A+tE)S=\begin{bmatrix}\lambda&0\\0&A_1\end{bmatrix}+t\begin{bmatrix}\eta^*Ex&\eta^*ES_1\\Z_1^*Ex&Z_1^*ES_1\end{bmatrix}=\begin{bmatrix}\lambda+t\eta^*Ex&t\eta^*ES_1\\tZ_1^*Ex&A_1+tZ_1^*ES_1\end{bmatrix}.

再用 2.4.7.2 把 $A_1$ 相似到「几乎对角」的上三角形 $A_1=\mathcal S_\varepsilon T_\varepsilon\mathcal S_\varepsilon^{-1}$（$T_\varepsilon$ 上三角，对角元为 $A_1$ 的特征值，去心绝对行和至多 $\varepsilon$），令 $\mathcal S_\varepsilon'=[1]\oplus\mathcal S_\varepsilon$ 相似；最后令 $\mathcal R(r)=[1]\oplus rI_{n-1}$，$r>0$ 使 $r\|\eta^*ES_1\mathcal S_\varepsilon\|_1<\varepsilon$，得

\mathcal R(r)^{-1}\cdots(A+tE)\cdots\mathcal R(r)=\begin{bmatrix}\lambda+t\eta^*Ex&tr\eta^*ES_1\mathcal S_\varepsilon\\tr^{-1}\mathcal S_\varepsilon^{-1}Z_1^*Ex&T_\varepsilon+t\mathcal S_\varepsilon^{-1}Z_1^*ES_1\mathcal S_\varepsilon\end{bmatrix}.\tag{6.3.13a}

取 $\delta_1|\eta^*Ex|<\varepsilon$、$\delta_2\|r^{-1}\mathcal S_\varepsilon^{-1}Z_1^*Ex\|_\infty<\varepsilon$、$\delta_3\|\mathcal S_\varepsilon^{-1}Z_1^*ES_1\mathcal S_\varepsilon\|_\infty<\varepsilon/2$，$\delta=\min\{\delta_1,\delta_2,\delta_3,1\}$，$0<|t|<\delta$。

此时 $T_\varepsilon+t\mathcal S_\varepsilon^{-1}Z_1^*ES_1\mathcal S_\varepsilon$ 的任一对角元 $\tau$ 距 $A_1$ 的某个特征值 $\hat\lambda$ 不超过 $\varepsilon$，以 $\tau$ 为心的 Geršgorin 圆盘中每点距 $\hat\lambda$ 至多 $4\varepsilon$（对角位移、$T_\varepsilon$ 的去心行和、$tr^{-1}\cdots$ 项、$t\mathcal S_\varepsilon^{-1}\cdots$ 的一行各贡献至多 $\varepsilon$）。第一行圆盘 $G_1$ 的半径 $\le|t\varepsilon|\le\varepsilon$，其中各点距 $\lambda$ 不超过 $2|t\eta^*Ex|<2\varepsilon$。因 $4\varepsilon+2\varepsilon=6\varepsilon\le6\mu/7<\mu$，$G_1$ 与其余圆盘不交，由 6.1.1 恰含 $A+tE$ 的一个特征值 $\lambda(t)$，且 $|\lambda(t)-\lambda-t\eta^*Ex|\le|t|\varepsilon$。(b)：$|\lambda(t)-\lambda|\le|t|\varepsilon+|t\eta^*Ex|\le2\varepsilon$。(c)：$\big|\frac{\lambda(t)-\lambda}t-\eta^*Ex\big|<\varepsilon$（$0<|t|<\delta$）。

正文练习：

取 $E=E_{ij}$ 得单特征值对矩阵元素的偏导数 $\frac{\partial\lambda}{\partial a_{ij}}=\frac{\bar y_ix_j}{y^*x}.\tag{6.3.13b}$
$A=\begin{bmatrix}1&1\\0&1+\epsilon\end{bmatrix}$，单特征值 $\lambda=1$，$x=[1,0]^T$，$y=[\epsilon,-1]^T$，$y^*x=\epsilon$，各偏导数为 $O(1/\epsilon)$：若右、左特征向量接近正交，特征值对某些扰动非常敏感（$1/|y^*x|$（单位化后）即特征值条件数）。
单特征值导数公式在奇异值上的类比见 7.3.12。

特征向量可能不稳定：与特征值不同，可对角化矩阵的特征向量可能因微小扰动剧烈变化。例：$A=\begin{bmatrix}1&0\\0&1\end{bmatrix}$，$E=\begin{bmatrix}\epsilon&\delta\\0&0\end{bmatrix}$，$A+E$ 的特征值为 $1$ 与 $1+\epsilon$，单位右特征向量为 $[1,0]^T$ 和 $(\epsilon^2+\delta^2)^{-1/2}[-\delta,\epsilon]^T$；适当选取 $\epsilon/\delta$，第二个特征向量可指向任何方向，而 $\epsilon,\delta$ 任意小。（根源：重特征值，特征值间隙为零。）

后验界（残差界）。以上都是先验界。设 $\hat x\ne0$ 为「近似特征向量」，$\hat\lambda$ 为相应「近似特征值」，残差 $r=A\hat x-\hat\lambda\hat x$。

Theorem 6.3.14 设 $A=S\Lambda S^{-1}$ 可对角化，$\Lambda=\mathrm{diag}(\lambda_1,\dots,\lambda_n)$，$|||\cdot|||$ 由绝对向量范数 $\|\cdot\|$ 诱导，$\hat x\ne0$，$\hat\lambda\in\mathbf C$，$r=A\hat x-\hat\lambda\hat x$。

(a) 存在 $A$ 的特征值 $\lambda$ 使 $|\hat\lambda-\lambda|\le|||S|||\,|||S^{-1}|||\frac{\|r\|}{\|\hat x\|}=\kappa(S)\frac{\|r\|}{\|\hat x\|};\tag{6.3.15}$
(b) 若 $A$ 正规，存在 $A$ 的特征值 $\lambda$ 使 $|\hat\lambda-\lambda|\le\frac{\|r\|_2}{\|\hat x\|_2}.\tag{6.3.16}$ 证明：设 $\hat\lambda$ 不是特征值。$r=S(\Lambda-\hat\lambda I)S^{-1}\hat x$，$\hat x=S(\Lambda-\hat\lambda I)^{-1}S^{-1}r$，由 5.6.36 $\|\hat x\|\le\kappa(S)|||(\Lambda-\hat\lambda I)^{-1}|||\,\|r\|=\kappa(S)\max_{\lambda\in\sigma(A)}|\lambda-\hat\lambda|^{-1}\|r\|,$ 即 $\|\hat x\|\min_\lambda|\lambda-\hat\lambda|\le\kappa(S)\|r\|$。正规情形：酉对角化，欧氏范数诱导谱范数，酉矩阵谱条件数为 1。

对比线性方程组的后验界 (5.8.10)：方程组系数矩阵病态时（即使正规）小残差不保证小相对误差；而 (6.3.16) 说明正规矩阵的近似特征对残差小，则特征值的绝对误差一定小，界中不出现条件数。但特征向量没有类似好结果：即使实对称矩阵，小残差也不保证近似特征向量接近真特征向量。练习：$A=\begin{bmatrix}1&\epsilon\\\epsilon&1\end{bmatrix}$，$\hat\lambda=1$，$\hat x=[1,0]^T$，$r=[0,\epsilon]^T$；特征向量恒为 $[1,1]^T$、$[1,-1]^T$，$\hat x$ 与两者都不近似平行；特征值 $1\pm\epsilon$，验证 (6.3.16)。

6.3 节习题概览：

6.3.P1：正规矩阵存在置换 $\sigma$ 使 $\sum_i|a_{ii}-\lambda_{\sigma(i)}|^2\le\sum_{i\ne j}|a_{ij}|^2$（对角元近似特征值的误差由非对角元控制，Hoffman–Wielandt 的推论）。
6.3.P2：给定 $\hat x$，欧氏范数下最优 $\hat\lambda$ 是 Rayleigh 商 $\hat x^*A\hat x$（$\|\hat x\|_2=1$），$\|r\|_2\ge\|A\hat x-(\hat x^*A\hat x)\hat x\|_2$；正规 $A$ 与单位向量 $y$，圆盘 $\{z:|z-y^*Ay|\le(\|Ay\|_2^2-|y^*Ay|^2)^{1/2}\}\tag{6.3.17}$ 内至少有一个特征值；Hermite 时为实区间 $|t-y^*Ay|\le(\|Ay\|_2^2-(y^*Ay)^2)^{1/2}$。
6.3.P3：正规矩阵分块 $\begin{bmatrix}B&X\\Y&C\end{bmatrix}$，$B$ 的特征值 $\beta$ 附近 $|z-\beta|\le|||Y|||_2$ 内、$C$ 的特征值 $\gamma$ 附近 $|z-\gamma|\le|||X|||_2$ 内各有 $A$ 的特征值；$k=1$ 时 $|z-b|\le\|x\|_2$。
6.3.P4：正规 $A$，若 $k$ 维子空间中每个单位向量都满足 $\|Ax-\gamma x\|_2\le\delta$，则圆盘 $|z-\gamma|\le\delta$ 中至少有 $k$ 个特征值；$k=1$ 给出 (6.3.16) 的另一证明。
6.3.P5：$p(t)=(t-t_0)^2$ 的零点在系数扰动 $\epsilon$ 下变为 $t_0\pm\epsilon^{1/2}$：多项式零点对系数扰动的比值可以无界。
6.3.P6：与 6.3.4（正规矩阵特征值扰动有界）并不矛盾——不要通过求特征多项式的根来算特征值，这会把本来良态的问题变成病态问题。
6.3.P7：$A=J_2(0)$，$E=E_{21}$，$A+tE$ 的特征值 $\pm\sqrt t$，在 $t=0$ 连续但不可微（$A$ 的特征值不单、$A$ 不可对角化，6.3.12 与 6.3.2 都不适用）；不存在 $c$ 使 $|\lambda(t)-\lambda|\le c|||tE|||$。
6.3.P8：同 6.3.5 的论证，总存在置换 $\tau$ 使 $\sum|\hat\lambda_{\tau(i)}-\lambda_i|^2\ge\|E\|_2^2$。
6.3.P9：$[|u_{ij}|^2]$ 是双随机且酉随机（unistochastic）；$\begin{bmatrix}\frac12&\frac12&0\\\frac12&0&\frac12\\0&\frac12&\frac12\end{bmatrix}$ 是双随机但非酉随机。
6.3.P10：$A(t)=\begin{bmatrix}0&t\\t&0\end{bmatrix}$ 的特征值 $|t|$、$-|t|$ 在 $t=0$ 不可微——与 6.3.12 不矛盾，因 $t=0$ 时特征值 0 是二重的（不过按 $\pm t$ 标记则解析）。

延伸阅读：Bauer & Fike (1960)；Hoffman & Wielandt (1953)；实对称情形的初等证明见 Wilkinson (1965) pp.104–109；6.3.12 只是故事的开端，任意 Jordan 结构下的 Lidskii–Vishik–Lyusternik 扰动理论见 Moro, Burke & Overton (1997)，以及 Baumgärtel (1985)、Chatelin (1993)、Kato (1980)。

6.4 其他特征值包含集（Other eigenvalue inclusion sets）（PDF p.433–444）

Geršgorin 理论几何上很优雅，许多作者推广了其思想和方法。本节介绍其中几个。

Theorem 6.4.1（Ostrowski） 设 $\alpha\in[0,1]$，$R_i'=\sum_{j\ne i}|a_{ij}|$，$C_i'=\sum_{j\ne i}|a_{ji}|$（6.4.2）。则 $A$ 的特征值都在

\bigcup_{i=1}^n\{z:|z-a_{ii}|\le R_i'^{\,\alpha}C_i'^{\,1-\alpha}\}\tag{6.4.3}

中。它包含行版（$\alpha=1$）和列版（$\alpha=0$）Geršgorin 定理，给出在 (6.1.2) 与 (6.1.4) 之间插值的一族包含集。

证明：$\alpha=0,1$ 已证，设 $0<\alpha<1$；可设所有 $R_i'>0$（否则在该行插入小非零元，包含集变大，取极限）。由 $Ax=\lambda x$，用 Hölder 不等式（$p=1/\alpha$，$q=1/(1-\alpha)$）：

|\lambda-a_{ii}||x_i|\le\sum_{j\ne i}|a_{ij}|^\alpha(|a_{ij}|^{1-\alpha}|x_j|)\le R_i'^{\,\alpha}\Big(\sum_{j\ne i}|a_{ij}||x_j|^{1/(1-\alpha)}\Big)^{1-\alpha},\tag{6.4.4}

于是

\Big[\frac{|\lambda-a_{ii}|}{R_i'^{\,\alpha}}\Big]^{1/(1-\alpha)}|x_i|^{1/(1-\alpha)}\le\sum_{j\ne i}|a_{ij}||x_j|^{1/(1-\alpha)}.\tag{6.4.5}

对 $i$ 求和：

\sum_i\Big(\frac{|\lambda-a_{ii}|}{R_i'^{\,\alpha}}\Big)^{1/(1-\alpha)}|x_i|^{1/(1-\alpha)}\le\sum_jC_j'|x_j|^{1/(1-\alpha)}.\tag{6.4.6}

若对每个 $x_i\ne0$ 的 $i$ 都有 $(|\lambda-a_{ii}|/R_i'^{\,\alpha})^{1/(1-\alpha)}>C_i'$，(6.4.6) 不可能成立；故存在 $x_k\ne0$ 使其 $\le C_k'$，即 $|\lambda-a_{kk}|\le R_k'^{\,\alpha}C_k'^{\,1-\alpha}$。练习：$A=\begin{bmatrix}1&4\\1&6\end{bmatrix}$ 比较行、列 Geršgorin 集与 $\alpha=\frac12$ 的 Ostrowski 集，以及对谱半径的估计；写出 6.1.6 的 Ostrowski 版本。

Theorem 6.4.7（Brauer，Cassini 卵形） 设 $n\ge2$，$A$ 的特征值在 $n(n-1)/2$ 个 Cassini 卵形（ovals of Cassini）之并

\bigcup_{i\ne j}\{z:|z-a_{ii}||z-a_{jj}|\le R_i'R_j'\}\tag{6.4.8}

中，且该集合含于 Geršgorin 集 (6.1.2)。（与 Geršgorin 相同的要素，但一次取两行；证明选取特征向量模最大的两个分量。）证明：$Ax=\lambda x$，取 $|x_p|$ 最大。若其余分量全为零，则 $a_{pp}=\lambda$，在 (6.4.8) 中。否则取次大分量 $x_q\ne0$，$|x_p|\ge|x_q|\ge|x_i|$（$i\ne p$）。由第 $p$ 行

|x_p||\lambda-a_{pp}|\le\sum_{j\ne p}|a_{pj}||x_j|\le R_p'|x_q|\ \Rightarrow\ |\lambda-a_{pp}|\le R_p'\frac{|x_q|}{|x_p|};\tag{6.4.9}

由第 $q$ 行

|x_q||\lambda-a_{qq}|\le\sum_{j\ne q}|a_{qj}||x_j|\le R_q'|x_p|\ \Rightarrow\ |\lambda-a_{qq}|\le R_q'\frac{|x_p|}{|x_q|}.\tag{6.4.10}

两式相乘消去未知比值：

|\lambda-a_{pp}||\lambda-a_{qq}|\le R_p'\frac{|x_q|}{|x_p|}R_q'\frac{|x_p|}{|x_q|}=R_p'R_q',

故 $\lambda$ 在 (6.4.8) 中。包含于 Geršgorin 集：记 $C_{ij}$ 为第 $i,j$ 行的 Cassini 卵形，$G_i$ 为第 $i$ 个 Geršgorin 圆盘。若 $R_i'R_j'=0$ 显然；否则 $C_{ij}=\{z:\frac{|z-a_{ii}|}{R_i'}\frac{|z-a_{jj}|}{R_j'}\le1\}$，两个比值不能都大于 1，故 $z\in G_i$ 或 $z\in G_j$，即 $C_{ij}\subset G_i\cup G_j$。练习：写出 Brauer 定理的列和版本。

任何特征值包含集定理都蕴含（且等价于）一个非奇异性定理：只需让 $z=0$ 不在包含集中。

Corollary 6.4.11 $n\ge2$ 时以下任一条件保证 $A$ 非奇异：(a)（Ostrowski）存在 $\alpha\in[0,1]$ 使 $|a_{ii}|>R_i'^{\,\alpha}C_i'^{\,1-\alpha}$ 对所有 $i$；(b)（Brauer）$|a_{ii}||a_{jj}|>R_i'R_j'$ 对所有不同的 $i,j$。

Brauer 集比 Geršgorin 集小，因此它不具有 6.2.8 那样的边界性质。练习：

\begin{bmatrix}1&1&1\\2&4&0\\1&0&2\end{bmatrix}\tag{6.4.11a}

不可约，其特征值 $\lambda=0$ 在 Brauer 集边界上；卵形 $|z-1||z-2|=2$ 与 $|z-1||z-4|=4$ 过 $\lambda$，但 $|z-4||z-2|=2$ 不过。

更多行的乘积？ 很自然想到取 $m$ 行的去心行和之积：

\bigcup_{i_1,\dots,i_m\in\mathcal I_m}\Big\{z:\prod_{k=1}^m|z-a_{i_ki_k}|\le\prod_{k=1}^mR_{i_k}'\Big\},\tag{6.4.12}

$\mathcal I_m$ 为 $m$ 个不同下标的集合；每个 $m$ 有 $\binom nm$ 个集合，$m=1$ 为 Geršgorin 圆盘，$m=2$ 为 Brauer 卵形。但 $m\ge3$ 时 (6.4.12) 不一定是包含集：例

A=J_2\oplus I_2,\quad J_2=\begin{bmatrix}1&1\\1&1\end{bmatrix},\tag{6.4.13}

特征值 $0,1,1,2$，但 $m=3,4$ 时这些集合都退化为点 $z=1$（含零行和 $R_3'=R_4'=0$）。$A=J_2\oplus I_n\in M_{n+2}$（6.4.14）说明对所有 $m\ge3$ 都会出现。即使不可约也不行：扰动

A_\epsilon=\begin{bmatrix}1&1&\epsilon&\epsilon\\1&1&0&0\\\epsilon&0&1&0\\\epsilon&0&0&1\end{bmatrix},\quad1>\epsilon\ge0\tag{6.4.15}

$\epsilon\ne0$ 时 $\Gamma(A_\epsilon)$ 强连通，$R_1'=1+2\epsilon$，$R_2'=1$，$R_3'=R_4'=\epsilon$，特征值 $1,1,1\pm(1+2\epsilon^2)^{1/2}$；三个以上去心行和之积必含因子 $\epsilon$，$\epsilon$ 小时 $m=3,4$ 的集合不是包含集。

关键观察：上述两例的有向图有长度 1、2 的圈，但没有长度 3、4 的圈。再看不可约矩阵

B=\begin{bmatrix}-2&\frac16&-\frac18\\0&1&-\frac14\\24&0&1\end{bmatrix},\tag{6.4.15a}

$\lambda=0$ 是三重特征值，$R_1'=7/24$，$R_2'=1/4$，$R_3'=24$；$m=3$ 的集合 $\{|z+2||z-1|^2\le7/4\}$ 不含 $\lambda$。$\Gamma(B)$ 有长度 1、2、3 的圈。Brauer 定理保证 $m=2$ 的三个集合之并含 $\lambda$，但实际上只用一个集合 $\{|z+2||z-1|\le7\}$ 就包含 $B$ 的全部特征值，它恰好对应 $\Gamma(B)$ 中唯一长度为 2 的圈上的结点——这不是巧合。

弱连通与弱不可约：有向图 $\Gamma$ 称为弱连通（weakly connected），若每个结点都有到某个其他结点再回来的路径，即每个结点都属于某个非平凡圈（平凡圈即环）。$A$ 称为弱不可约（weakly irreducible），若 $\Gamma(A)$ 弱连通；等价于：对每个 $i$，第 $i$ 行至少有一个非零非对角元 $a_{ij_i}$，使存在非零元序列 $a_{k_1k_2},\dots,a_{k_{m-1}k_m}$，$k_1=j_i$，$k_m=i$。这大约是性质 SC 要求的一半。

Lemma 6.4.16 $A$ 弱不可约，当且仅当 $B=(I+|A|)^{n-1}$（或 $(I+M(A))^{n-1}$）满足：对每个 $i$ 存在 $j\ne i$ 使 $b_{ij}b_{ji}\ne0$。练习：$A$ 弱不可约 ⇔ $\Gamma((I+|A|)^{n-1})$ 的每个结点都在某个长度 2 的圈上（不可约对应的性质是任意两结点之间都有弧；后者更强）；弱不可约时所有 $R_i'>0$ 且 $C_i'>0$。

预序（preorder）：集合 $S$ 上对所有点对定义的关系 $R$，使任意 $s,t$ 满足 $sRt$ 或 $tRs$（或两者），并且自反、传递（不必对称，也可 $sRt$、$tRs$ 而 $s\ne t$）。$z\in S_0$ 是 $S_0$ 的极大元，若 $sRz$ 对所有 $s\in S_0$。练习：$zRw\iff|z|\le|w|$ 是 $\mathbf C$ 上的预序。

Lemma 6.4.17 非空有限集上的预序必有极大元（依次比较、保留较大者）。

记 $\Gamma_{\rm out}(P_i)$ 为由 $P_i$ 经一条弧可达的、异于 $P_i$ 的结点集合；$\Gamma$ 弱连通时每个 $\Gamma_{\rm out}(P_i)$ 非空。记 $C(A)$ 为 $\Gamma(A)$ 中所有非平凡圈的集合。例：(6.4.13) 只有一个圈 $P_1P_2,P_2P_1$；(6.4.15) 有三个长度为 2 的非平凡圈；(6.4.15a) 有两个，长度分别为 2 和 3。

Theorem 6.4.18（Brualdi） 设 $n\ge2$，$A$ 弱不可约。则 $A$ 的每个特征值都在

\bigcup_{\gamma\in C(A)}\Big\{z:\prod_{P_i\in\gamma}|z-a_{ii}|\le\prod_{P_i\in\gamma}R_i'\Big\}\tag{6.4.19}

中；若 $\gamma=P_{i_1}P_{i_2},\dots,P_{i_k}P_{i_{k+1}}$（$P_{i_{k+1}}=P_{i_1}$），对应集合是恰有 $k$ 个因子的乘积。

证明要点：弱不可约保证所有 $R_i'>0$，故若 $\lambda=a_{ii}$ 则 $\lambda$ 在 (6.4.19) 内部。设 $\lambda\ne a_{ii}$ 对所有 $i$，$Ax=\lambda x$。在结点上定义预序 $P_iRP_j\iff|x_i|\le|x_j|$（6.4.20）。断言存在圈 $\gamma'=P_{i_1}P_{i_2},\dots,P_{i_k}P_{i_{k+1}}$ 满足（6.4.21）：(a) 非平凡，$k\ge2$，$P_{i_{k+1}}=P_{i_1}$；(b) 每个 $P_{i_{j+1}}$ 是 $\Gamma_{\rm out}(P_{i_j})$ 中的极大结点；(c) 所有 $x_{i_j}\ne0$。若有这样的圈，则

|\lambda-a_{i_ji_j}||x_{i_j}|=\Big|\sum_{P_m\in\Gamma_{\rm out}(P_{i_j})}a_{i_jm}x_m\Big|\le\sum|a_{i_jm}||x_m|\tag{6.4.22}

\le\sum_{P_m\in\Gamma_{\rm out}(P_{i_j})}|a_{i_jm}||x_{i_{j+1}}|=R_{i_j}'|x_{i_{j+1}}|.\tag{6.4.22a}

沿圈相乘：$\prod_j|\lambda-a_{i_ji_j}||x_{i_j}|\le\prod_jR_{i_j}'|x_{i_{j+1}}|$（6.4.23）；因 $x_{i_{k+1}}=x_{i_1}$，$\prod|x_{i_j}|=\prod|x_{i_{j+1}}|\ne0$（6.4.24），相除得

\prod_{P_i\in\gamma'}|\lambda-a_{ii}|\le\prod_{P_i\in\gamma'}R_i'.\tag{6.4.25}

构造 $\gamma'$：取 $x_i\ne0$，由 $0\ne(\lambda-a_{ii})x_i=\sum_{P_j\in\Gamma_{\rm out}(P_i)}a_{ij}x_j$，$\Gamma_{\rm out}(P_i)$ 中有某 $x_j\ne0$；令 $P_{i_1}=P_i$，$P_{i_2}$ 为 $\Gamma_{\rm out}(P_{i_1})$ 中的极大结点，则 $|x_{i_2}|\ge|x_j|>0$。依次类推，每步都有 $x_{i_{j+1}}\ne0$。结点有限，最终会第一次选到之前出现过的结点 $P_{i_p}$，其间的路径就是满足 (6.4.21) 的圈。

不可约时有更强的边界形式，它是 Brauer 版本的 Taussky 定理 6.2.26 的推广：

Theorem 6.4.26（Brualdi） 设 $n\ge2$，$A$ 不可约。(6.4.19) 的边界点 $\lambda$ 只有在每个非平凡圈 $\gamma\in C(A)$ 对应的集合

\Big\{z:\prod_{P_i\in\gamma}|z-a_{ii}|\le\prod_{P_i\in\gamma}R_i'\Big\}\tag{6.4.27}

的边界都经过 $\lambda$ 时，才可能是 $A$ 的特征值。证明梗概：所有 $R_i'>0$，若 $\lambda=a_{ii}$ 则不在边界，故设 $\lambda\ne a_{ii}$。边界点满足 $\prod_{\gamma}|\lambda-a_{ii}|\ge\prod_\gamma R_i'$ 对所有圈（至少一个取等），与 (6.4.25) 比较，对 6.4.18 中构造的 $\gamma'$ 有等式（6.4.28），从而 (6.4.22)(6.4.22a) 全取等：对 $\gamma'$ 上每个结点 $P_{i_j}$ 及所有 $P_m\in\Gamma_{\rm out}(P_{i_j})$，$|x_m|=|x_{i_{j+1}}|$ 为常数。令 $K=\{P_i:$ 对所有 $P_m\in\Gamma_{\rm out}(P_i)$，$|x_m|=c_i$ 为常数$\}$，非空。若有结点不在 $K$，利用强连通性，从 $K$ 出发沿最短路径走出 $K$，再按 6.4.18 的方式依次选极大结点（有选择时优先选不在 $K$ 中的），最终得到一个满足 (6.4.21)、且至少含一个 $K$ 外结点的简单圈 $\gamma''$（必要时删去 $K$ 内的子圈）；对 $\gamma''$ 重复上述论证得其全部结点都在 $K$ 中，矛盾。于是所有结点在 $K$ 中，任意非平凡圈都满足 (6.4.21)，都可代替 $\gamma'$ 得到等式：每个集合 (6.4.27) 的边界都过 $\lambda$。

Corollary 6.4.29 $n\ge2$，以下任一条件保证 $A$ 非奇异：(a) $A$ 弱不可约且 $\prod_{P_i\in\gamma}|a_{ii}|>\prod_{P_i\in\gamma}R_i'$ 对每个非平凡圈 $\gamma\in C(A)$；(b) $A$ 不可约且 $\prod_\gamma|a_{ii}|\ge\prod_\gamma R_i'$ 对每个非平凡圈，且至少一个圈严格。

Theorem 6.4.30（Kolotilina） 设 $n\ge2$，$A$ 不可约。则每个特征值都在

\bigcup_{\substack{i\ne j\\|a_{ij}|+|a_{ji}|\ne0}}\{z:|z-a_{ii}||z-a_{jj}|\le R_i'R_j'\}\tag{6.4.31}

中，即只需要 $a_{ij}$ 或 $a_{ji}$ 非零的那些行对 $(i,j)$ 的 Cassini 卵形。对于有许多对称位置零元的稀疏不可约矩阵，这能大幅减少需考虑的卵形数目。练习：对 (6.4.11a)，可去掉哪个卵形（$a_{23}=a_{32}=0$，故去掉第 2、3 行的卵形 $|z-4||z-2|\le2$）？被去掉的卵形是否含特征值？

6.4 节习题概览：

6.4.P1：若满足 Brauer 条件 6.4.11(b)，则至多一个 $i$ 不满足 $|a_{ii}|>R_i'$——Brauer 条件只比 Levy–Desplanques（严格对角占优）稍弱；与 6.1.11 的关系。
6.4.P2：$A=\begin{bmatrix}2&3\\1&3\end{bmatrix}$：6.4.11 的两个条件都能保证非奇异，而 6.1.10(a)、6.1.11 都不能；列形式的 6.1.11 呢？
6.4.P3：$n\ge2$ 的不可约矩阵都弱不可约；举出弱不可约但可约的例子（如 $J_2\oplus J_2$）。
6.4.P4：仿 6.1.10、6.2.6 的论证证明 6.4.29。
6.4.P5：$A$ 弱不可约 ⇔ $A$ 不置换相似于某个有 $1\times1$ 对角块的分块三角矩阵。
6.4.P6：$A=\begin{bmatrix}-2&4&-3\\0&1&-\frac14\\1&0&1\end{bmatrix}$：$\lambda=0$ 是三重特征值；$m=3$ 的 (6.4.12) 为 $\{|z+2||z-1|^2\le\frac74\}$ 不含 $\lambda$；但对 $A^T$ 取 $m=3$ 的集合却含 $\lambda$；求 (6.4.19) 并验证它含 $\lambda$（Zhang & Gu 1994）。
6.4.P7：对角元全为 0 时，把去心行和排序 $R_{[1]}'\ge\dots\ge R_{[n]}'$，则 $\rho(A)\le(R_{[1]}'R_{[2]}')^{1/2}$（由 Brauer 定理）。
6.4.P8：Brauer 集的一个子集 $\bigcup_{\gamma\in C(A)}\bigcup_{P_i,P_j\in\gamma,P_i\ne P_j}\{|z-a_{ii}||z-a_{jj}|\le R_i'R_j'\}$ 有边界性质：$A$ 不可约且 $\lambda$ 是其边界上的特征值时，$\lambda$ 在每个 $\gamma$ 与每对不同结点 $P_i,P_j\in\gamma$ 的 $\{|z-a_{ii}||z-a_{jj}|=R_i'R_j'\}$ 上；该定理不排除 (6.4.11a) 的 $\lambda=0$；推出非奇异判据：每个圈每对不同结点 $|a_{ii}||a_{jj}|\ge R_i'R_j'$，且某个圈 $\gamma_0$ 上每对都严格。

延伸阅读：Brualdi (1982) 关于矩阵、特征值与有向图的综述；6.4.7 最早见 Ostrowski (1937)，Brauer (1947) 独立重新发现，故常称 Ostrowski–Brauer 定理；6.4.30 的证明见 Kolotilina (2003)；6.4.P6 的定理见 Zhang & Gu (1994)；类似 (6.4.31) 的奇异值包含集见 L. Li (1998)。

（第 6 章续见下一块：6.5 节及以后。）

第 6 章（6.0–6.4）阶段性要点

本块覆盖第 6 章前四节，章末总结写在下一块；这里先给出已覆盖部分的要点与关联，方便编写者分段使用。

Geršgorin 定理（6.1.1）：特征值在圆盘 $|z-a_{ii}|\le R_i'$ 之并中；$k$ 个圆盘的并与其余不交时恰含 $k$ 个特征值；列版本、对角相似加权版本（6.1.6）、谱半径界（6.1.5、6.1.8）。
对角占优：严格对角占优 ⇒ 非奇异（Levy–Desplanques，6.1.10）；对角元为正时特征值实部为正；Hermite 时正定。弱化：6.1.11、不可约对角占优（Taussky，6.2.27）。
图论刻画：不可约 ⇔ $(I+|A|)^{n-1}>0$ ⇔ $\Gamma(A)$ 强连通 ⇔ 性质 SC（6.2.24）；Taussky 边界定理 6.2.26。
扰动：Bauer–Fike $|\hat\lambda-\lambda|\le\kappa(S)|||E|||$（6.3.2）；正规矩阵 $\le|||E|||_2$（6.3.4）；Hermite 情形按序配对的 Weyl 界（6.3.4.1）；Hoffman–Wielandt 的 Frobenius 整体界（6.3.5、6.3.8）；单特征值导数 $y^*Ex/y^*x$（6.3.13）；残差后验界（6.3.14–6.3.16）；特征向量可能不稳定。
其他包含集：Ostrowski 插值圆盘（6.4.1）、Brauer 的 Cassini 卵形（6.4.7）、Brualdi 的圈集合（6.4.18、6.4.26）、Kolotilina 稀疏改进（6.4.30）。

与量化交易的关联（6.0–6.4）：

协方差/相关矩阵正定性的快速检验：对角元为正、严格（或不可约）对角占优的对称矩阵必正定（6.1.10(c)、6.2.27(c)）。Geršgorin 圆盘给出特征值的廉价区间估计，可用于在不做特征分解的情况下检查收缩后的协方差矩阵是否良态、估计 $\lambda_{\min}$ 的下界（$\min_i(a_{ii}-R_i')$），进而给出条件数上界。
协方差估计误差对风险特征值的影响：Weyl 型界（6.3.4.1）与 Hoffman–Wielandt（6.3.5）说明样本协方差的估计误差 $E$ 对特征值（主成分方差）的影响以 $\|E\|$ 为界，而特征向量（主成分方向/因子载荷）在特征值接近时可能剧烈变化（6.3 节特征向量不稳定的例子）——这是 PCA 因子在相邻特征值间「旋转/换位」、需要做因子对齐的原因。
单特征值灵敏度 $\partial\lambda/\partial a_{ij}=\bar y_ix_j/y^*x$（6.3.13b）：对对称矩阵 $y=x$，$\partial\lambda/\partial a_{ij}=x_ix_j$，可用于计算组合风险（最大特征值/主成分方差）对单个协方差项的敏感度。
迭代算法收敛：6.1.P1、6.1.P9 给出 Jacobi 型迭代收敛的对角占优条件；6.1.P16 说明严格对角占优矩阵做 Gauss 消元无需选主元。
网络/传染模型：6.2 节的有向图、强连通与不可约概念是 Perron–Frobenius 理论（第 8 章）的前置，对应金融网络中风险传染、投入产出与 Markov 转移矩阵的分析。
Brualdi、Kolotilina 等更精细的包含集主要具理论价值，量化实务中很少直接使用。

推荐习题（6.0–6.4）：6.1.P1（迭代法收敛条件）、6.1.P9、6.1.P16（Gauss 消元保持严格对角占优）、6.1.P17（分块 Geršgorin）、6.2.P4（$\rho(A)\le\rho(|A|)$）、6.2.P7（离散 Laplace 矩阵正定）、6.3.P1、6.3.P2（Rayleigh 商与残差圆盘）、6.3.P5–P6（不要用特征多项式求特征值）、6.3.P7（非对角化时特征值的 $\sqrt t$ 敏感性）、6.4.P7。

\(\alpha\backslash\beta\)	1	2	\(\infty\)
1	1	\(\sqrt n\)	\(n\)
2	1	1	\(\sqrt n\)
\(\infty\)	1	1	1

\(\alpha\backslash\beta\)	\(\vert\vert\vert\cdot\vert\vert\vert_1\)	\(\vert\vert\vert\cdot\vert\vert\vert_2\)	\(\vert\vert\vert\cdot\vert\vert\vert_\infty\)	\(\Vert\cdot\Vert_1\)	\(\Vert\cdot\Vert_2\)	\(n\Vert\cdot\Vert_\infty\)
\(\vert\vert\vert\cdot\vert\vert\vert_1\)	1	\(\sqrt n\)	\(n\)	1	\(\sqrt n\)	1
\(\vert\vert\vert\cdot\vert\vert\vert_2\)	\(\sqrt n\)	1	\(\sqrt n\)	1	1	1
\(\vert\vert\vert\cdot\vert\vert\vert_\infty\)	\(n\)	\(\sqrt n\)	1	1	\(\sqrt n\)	1
\(\Vert\cdot\Vert_1\)	\(n\)	\(n^{3/2}\)	\(n\)	1	\(n\)	\(n\)
\(\Vert\cdot\Vert_2\)	\(\sqrt n\)	\(\sqrt n\)	\(\sqrt n\)	1	1	1
\(n\Vert\cdot\Vert_\infty\)	\(n\)	\(n\)	\(n\)	\(n\)	\(n\)	1

第 5 章 向量与矩阵范数（Norms for vectors and matrices）