一个矩阵，怎样把圆拉成椭圆？

一个容易引起误会的名字

在线性代数这门基础学科里，“矩阵的奇异值分解”不仅名声响亮，而且用途广泛。然而，与读者熟悉的“特征值”相比，“奇异值”这个名字难免让初识者感到陌生：它究竟“奇异”在哪里？

数学里冠以“奇异”的对象往往是例外，比如奇异矩阵在同阶方阵中无处稠密、测度为零；奇异值却不同，每个矩阵都有自己的奇异值和奇异值分解。这样看来，奇异值并无什么“奇异”之处，反倒具有普遍性。

历史上，这个名字来自20世纪初的积分方程文献：1908年，英国数学家贝特曼（Harry Bateman，1882-1946）已使用 singular values 一词；1910年，法国数学家皮卡（Émile Picard，1856-1941）也在对称核的情形用过法语 valeurs singulières。这些早期用法与今天的含义并不完全相同。早在这个名称出现几十年前，矩阵情形的相应分解就已经被发现了。

名字虽有些古怪，奇异值与特征值却有着密切的关系，甚至可以互称兄弟，原因是它们俩的基因来源之一是我们在线性代数教科书中早已认识的数学家西尔维斯特（James Sylvester，1814-1897）。更加吸引人们的事实是：一个矩阵的非零奇异值，正是与之相关的一个半正定矩阵的正特征值的算术平方根。矩阵奇异值分解的理论、应用及计算，从最初提出到广泛应用，经历了近百年的发展。

实方阵的奇异值分解（singular value decomposition，通常缩写为SVD）最早是在1873年由意大利微分几何学家贝尔特拉米（Eugenio Beltrami，1835-1900）和1874年由法国代数学家若尔当（Camille Jordan，1838-1922）各自独立证明的，二人都是从双线性形式的化简入手的。1889年，英国数学家西尔维斯特在不知道前人工作的情况下，第三次独立得到了实方阵的奇异值分解，他把奇异值称为矩阵的“规范乘子”。第四位独立发现矩阵奇异值分解的人是法国工程师兼数学家奥托内（Léon César Autonne，1859-1916），他在1913年得到了复方阵的奇异值分解，1915年又讨论了它与矩阵“极分解”的关系。1936年，美国物理学家埃卡特（Carl Eckart，1902-1973）和杨（Gale J. Young，1912-1990）对行数和列数可以不相等的实矩阵证明了奇异值分解，1939年又推广到一般的复矩阵。从有限维推广而成的无穷维积分算子的奇异值分解及其谱理论主要由德国数学家施密特（Erhard Schmidt，1876-1959）和外尔（Hermann Weyl，1885-1955）分别于1907年和1912年建立。矩阵的奇异值分解在20世纪60至70年代成为数值线性代数的基石，这主要归功于计算数学家戈卢布（Gene H. Golub，1932-2007）和卡汉（William Kahan，1933-）于1965年开发的高效算法。

从正交对角化到奇异值分解

在笔者之前登在《返朴》上的合写文章《正规矩阵有哪些特色？》和《从抛物线到马鞍面，如何理解矩阵二次型？》中，被证明并应用于矩阵二次型的主要定理是：任何复正规矩阵（即，其中为的共轭转置矩阵）可以酉对角化（意指存在酉矩阵，即它满足，其中为单位矩阵，使得，其中为对角矩阵，且所有的主对角元均为的特征值）；特别地，任何实对称矩阵可以正交对角化（意指，其中为实正交矩阵，即，为实对角矩阵）。

由于推导实矩阵的奇异值分解的过程可以直接推广到复矩阵，下面先叙述复矩阵的奇异值分解定理，然后仅对实矩阵的情形进行证明。

矩阵的奇异值分解定理. 设为一行列复矩阵。则存在阶酉矩阵和阶酉矩阵，使得，其中为一行列的广义对角矩阵，即行下标与列下标不同的元素都为零，其主对角线元素（即行下标与列下标相同的元素）均为非负数，称为的奇异值，除了次序以外由唯一确定。

现在证明实矩阵的情形。这时的定理结论为：存在阶正交矩阵和阶正交矩阵，使得。读者将发现，虽然证明过程不算短，但所用的核心工具就是上文叙述过的“实对称矩阵正交对角化定理”，该定理出现在每一本线性代数的教科书中。

证明. 若，取、、即可。以下设。首先证明给定矩阵的奇异值分解的存在性。考虑阶矩阵。则从知，它是实对称矩阵。另外，对维欧几里得空间中的任意列向量，矩阵的二次型

恒为非负数，其中表示的欧几里得2-范数，等于所有分量平方和的平方根。根据定义，为一半正定矩阵。根据实对称矩阵的正交对角化定理，存在阶正交矩阵和对角矩阵使得

由初等线性代数可知，矩阵和矩阵具有相同的秩，设其为。又由于正交矩阵和均为非奇异矩阵，故对角矩阵的秩也是。换言之，的主对角线上恰有个正数，其余的个数等于零。不失一般性，可以令的前个主对角元为正数，后个主对角元为零。这样，前个数都是的正特征值，后个数都是的零特征值。将的主对角元按上下次序写成和。

由知道，的所有列向量都是的特征向量。特别地，的前列为的对应于正特征值的特征向量，后列则为的对应于零特征值的特征向量。

按上述两类特征值，将划分为分块矩阵：，其中和分别有和列。则对角矩阵相应划分为2×2的块对角矩阵，其主对角线上的第一块为阶对角矩阵，记为，第二块为阶零矩阵。对

进行分块矩阵的乘法，得

后一等式给出，因而。现在定义行列的矩阵

其中对角矩阵的个主对角元均为正数，分别是。那么

这就是说，矩阵的所有列的欧几里得2-范数都为1，并且两两正交，即它们构成了维欧几里得空间内的一个标准正交组。故可以将这个组扩充为的一个标准正交基。这意味着存在一个行列的实矩阵，使得为一阶正交矩阵。又因为以及，计算给出

终于可以构造定理中出现的广义对角矩阵了。令它为如下定义的行列广义对角矩阵：如果大于，则它由上下两块组成，上面那块就是正交对角化后的阶对角矩阵的二分之一次方，下面那块是行列的零矩阵；如果等于，则它就是；如果小于，则它由左右两块组成，左边那块就是阶对角矩阵位于其左上角的阶对角子矩阵的二分之一次方，右边那块是行列的零矩阵。矩阵左上角的个正奇异值主对角元通常用表示。

借用等式（1），通过分块矩阵乘法运算，我们得到

这就完成了矩阵的奇异值分解的存在性证明。

唯一性：从特征值看奇异值

剩下的事是证明矩阵的奇异值的唯一性。设为实矩阵的一个奇异值分解。则

对角矩阵和的非零主对角元既是阶半正定矩阵和阶半正定矩阵的正特征值，又是的正奇异值的平方，而特征值是由矩阵唯一确定的，因此的非零奇异值，作为对应矩阵（或）的正特征值的算术平方根，是由唯一确定的。所以除了主对角线上元素排列的次序外，的奇异值分解中的广义对角矩阵是唯一确定的。

如上证明用于复矩阵时，只需将矩阵转置的上标符号“”改写成共轭转置的上标符号“”，将正交矩阵相应换成酉矩阵，并把所用的实对称矩阵正交对角化定理换成上文的酉对角化定理，证明思路完全相同。至此，定理证明完毕。

证明中的等式（2）和（3）清楚地表明了一般实矩阵的奇异值分解与由此产生的两个实对称矩阵及的谱分解之间的关系：

奇异值分解中的正交矩阵的所有列是的归一化的特征向量；正交矩阵的所有列是的归一化的特征向量；这两个矩阵的正特征值都是（计重数），其余特征值为零。顺便一提，“和具有相同的非零特征值”也是著名的行列式恒等式

的直接结果；特别地，若大于或等于，则的特征多项式等于单项式乘以的特征多项式。

比较一下一般矩阵的奇异值分解与正规矩阵的酉对角化分解是颇有趣的。众所周知，并非每个方阵都可以被对角化，然而任何正规矩阵不仅可以对角化，而且使其对角化的相似变换矩阵可以选为酉矩阵。而如果将“存在一个酉矩阵”的苛刻要求放宽到“存在两个酉矩阵”，那么任何矩形矩阵都可以“被对角化”，即原先矩阵左乘一个酉矩阵及右乘另一个酉矩阵的结果是个广义对角矩阵。这种分解不再要求相似关系，但广义对角矩阵的主对角元（即奇异值）在矩阵理论和计算中所起的作用，丝毫不亚于特征值在相似对角化中的作用。

化整为零：秩1展开与四个基本子空间

有了奇异值分解式，马上就能收获不少红利。首先，它把表示成个秩为1的矩阵的线性组合，系数就是非零奇异值。将和的所有列分别记为和，它们各自构成和的标准正交基，则的另一表达式是

上式也给出了标准奇异值分解的“紧致化”形式：

其中，和即为上文中定义的和的前列构成的子矩阵，是主对角元为的非零奇异值的阶非奇异对角矩阵，按上面的记号。这两个“高个矩阵”和满足（这里将写成阶数为的单位矩阵），它们有时被叫做半正交矩阵。等式（4）被称为的紧致奇异值分解。

在矩阵理论中，围绕任意给定的行列实矩阵，有四个与之关联的基本线性子空间：（1）的列空间，即作为将映射到内的线性算子的值域；（2）的零空间，即被映射到的零向量的中的向量之集；（3）的列空间；（4）的零空间。从初等线性代数可知，的列空间的维数等于的秩，而的零空间的维数等于的列数减去的秩，即。另一方面，根据欧几里得空间中的内积定义及其诱导出的正交补空间概念，不难获得如下的正交性断言：的零空间的正交补空间是的转置矩阵的列空间，即，而的列空间的正交补空间是的转置矩阵的零空间，即。

利用这些知识，奇异值分解给出如下的四个基本结论：

（i）的前列构成的列空间的标准正交基；

（ii）的后列构成的零空间的标准正交基；

（iii）的前列构成的列空间的标准正交基；

（iv）的后列构成的零空间的标准正交基。

现在进一步检视与之间的关系。将阶单位矩阵的列写成，则由紧致奇异值分解式（4），对，

因为这些构成了的基底，同样数目的构成了的基底，并且由于建立它们之间桥梁的这些数非零，上式通过线性算子的作用给出了和之间的一一对应，这是我们此前在《返朴》文章《从线性算子的角度看广义逆矩阵》中定义基于正交概念的矩阵广义逆时引进的一个基本事实。这一对应关系也提示了奇异值分解在计算广义逆时的作用。后面我们将利用它，写出矩阵广义逆的一个漂亮而紧凑的表达式。

很显然，当时，

这一结论也来自于简单事实当且仅当（条件隐含结论是一眼可以看出的；反之若，则，因而，推出）。既然，那么；此式之前也已得出。

如果将（4）式两边取转置，则有，故与上面同样的推理得到：对，

而对，

这样，线性算子同样建立了和之间的一一对应关系。

鉴于两组等式和，两组向量和分别被称为的左奇异向量和右奇异向量。从奇异值分解定理的证明可知，它们分别是半正定矩阵和对应于特征值的特征向量。

从单位圆到椭圆：矩阵的几何作用

奇异值分解赠予我们的下一个红利是它所展现出的矩阵的几何特征。如果将视为线性算子（或称线性变换），则分解式说明它的作用实际上是由三个线性算子接力完成的。在这依次投入工作的三个线性算子中，第一个和第三个是正交变换，可由旋转、反射或二者的复合实现，第二个则代表了坐标缩放（行数与列数不同时，还要补零或舍弃一些坐标）。这样，任何行列实矩阵作用于任一维实向量，可以如下得到结果向量：先用对作正交变换；再将进行坐标缩放，得到；最后用对再作一次正交变换，这样就到达了目标向量。

我们在中学的解析几何课中学到了平面上的椭圆。它与自身两条互相垂直的对称轴有四个交点，这些点到椭圆中心的距离刻画了椭圆的扁平程度，分别叫做半长轴和半短轴的长。椭圆的几何定义是平面上与两个固定点的距离之和等于固定常数的一个动点的轨迹；这个常数大于两定点间的距离，等于所得椭圆的长轴之长。笔者半个世纪前在读高中最末学期时，有幸学到了这个定义，进厂学徒那年目睹工人师傅不会在钢板上画出大椭圆以焊接椭圆截面大油罐，便自告奋勇，请他们找来一根麻绳，由两位师傅分别按住绳子的两头，自己用粉笔绷紧麻绳，在钢板上画出了漂亮的椭圆。那一天，少年笔者真正认识到数学的极端有用！

我们用一个2阶非奇异矩阵

来说明奇异值分解在二维情形下的几何意义，以及它与椭圆的关系。计算给出

这两个正定矩阵具有同样的特征值和。故的两个奇异值是和，它们是2阶非奇异对角矩阵的主对角元。

现在计算正交矩阵和。先求出对应于特征值和的归一化特征向量，即分别解齐次方程和，得2-范数为1的解和；再通过关系式和得到

我们略去繁琐的具体数值计算，因为这涉及双重根式运算，极费人工，还是留给计算机去算或让人工智能告诉现成答案为妥。

令和，则。任给平面上的单位向量，它先被旋转或反射，然后两个新分量依的主对角元和分别被放大和缩小，最后再次被旋转或反射而抵达的位置。

结果是，当围绕坐标原点旋转一圈后，在作用下得到的向量，其端点便描出一条完整的椭圆，即欧几里得平面上的单位圆在下的像是以坐标原点为中心、由奇异值确定其长与宽的一个椭圆，它的半长轴的长等于的较大的那个奇异值，半短轴的长等于的另一个奇异值。相应地，开单位圆盘在下的像是以上述椭圆为边界的开椭圆盘。平面上的这幅椭圆图像，在三维空间中的对应物就是椭球。3阶非奇异实矩阵将三维欧几里得空间中的单位球面映射到以坐标原点为中心、以的三个奇异值为三个半轴长的一个椭球面上。

推广到阶非奇异实矩阵，它把的维闭单位球映射成以坐标原点为中心的维闭椭球体，其相互垂直的条半轴的长度就等于的个奇异值。对于最一般的行列实矩阵，中的维闭单位球在下的像是中以坐标原点为中心的一个维闭椭球体，它的条半轴的长度就是的个非零奇异值。

借助奇异值分解，写出伪逆

作为奇异值分解的另一个红利，下面给出任意矩阵的穆尔-彭罗斯广义逆表达式。这个基于正交投影的广义逆矩阵在《从线性算子的角度看广义逆矩阵》中讨论过；行列实矩阵的穆尔-彭罗斯广义逆又称为的伪逆，记为。下面简述它的定义。是和它的正交补空间的直和，是和它的正交补空间的直和：即有

据此，将双射（单射和满射）地映到上，故可用算子的语言定义的穆尔-彭罗斯广义逆：它将中的任一向量映到内的那个唯一确定的向量，后者在的作用下变成；将中的所有向量映成中的零向量；最后通过的直和分解将线性扩展到整个上。在定义域和目标空间中分别取标准基，所得的行列矩阵就是的伪逆。这个广义逆矩阵是下面的四个联立矩阵方程唯一的共同解：

在文章《从线性算子的角度看广义逆矩阵》中，我们给出了两类特殊矩阵的伪逆表达式，一类是列满秩矩阵，即的秩等于它的列数，此时的广义逆矩阵；另一类则是行满秩矩阵，即的秩等于它的行数，此时的广义逆矩阵。现在有了奇异值分解，就不必再分这两种情形了：一个统一的公式，可以处理任意矩阵。

推论. 设是实矩阵的奇异值分解。则的穆尔-彭罗斯广义逆是

其中这样构造：先将中的每一个非零奇异值换成它的倒数，再将所得矩阵转置。

证明.只需验证满足刻画穆尔-彭罗斯广义逆的四个方程（5）。利用和的正交性以及的定义，得到

所以。

读者自然会问，当为列满秩或行满秩时，用奇异值分解推导出的伪逆公式如何转化为用通常的矩阵逆表示的简化公式？现在就做这件事。先假设行列实矩阵是列满秩的。则是阶非奇异矩阵，故行列广义对角矩阵的个主对角元非零。另一方面，奇异值分解定理证明中引入的阶正交矩阵满足等式，而由、和的构造易见。用左乘等式的两边，得

再用左乘上式两端，便有。用类似方法可证，当实矩阵为行满秩时，。感兴趣的读者可以自行推导。

最小二乘：从最优解中选出最短的一个

与矩阵的伪逆概念紧密相连的是应用广泛的最小二乘问题，我们在《什么是最小二乘？》一文中已作过介绍。给定行列实矩阵和维实列向量，最小二乘问题意指下列无约束最优化问题

在最一般的情形，上述问题所寻求的最小值可在无穷多个点处达到，但在所有的最优解向量中，有且仅有一个具有最小的范数。这个特殊的最优解称为最小二乘问题的极小范数最小二乘解，常被写成。令人喜悦的是，它有一个最简洁的表达式：。又因为的广义逆可写成，故有更加具体的最优解公式

正交变换保持实向量的长度不变。因此，利用矩阵的奇异值分解，可以方便地算出对应最小二乘问题的最小值：

由于的前个主对角元为1，其余主对角元为0，维向量的前个分量恰恰就是的前个分量，而的后个分量全为0。由此可知，最小二乘问题的最优值等于向量中由后个分量组成的维子向量的2-范数。

至于极小范数最小二乘解的2-范数到底“有多小”，它的上述表达式马上给出了答案：

除了理论价值外，奇异值分解在最小二乘问题的数值算法设计中也起到关键性的作用。

奇异值分解还可直接用于总体最小二乘问题。在科学、工程和统计学的许多领域，都能看到它的踪影，例如信号处理、图像压缩和过程控制。在矩阵低秩逼近、有效秩的确定等数值代数问题中，奇异值的信息也派上了大用场。而奇异值概念的无穷维推广，则成就了希尔伯特空间之间紧算子的优美谱理论，从具体的积分方程一直延伸到抽象的泛函分析——紧算子可以看作有限维的酉空间或欧几里得空间之间线性算子的近亲。这一理论的奠基者包括希尔伯特的两位学生施密特和外尔：施密特证明了用有限秩算子作最佳逼近的定理，外尔则建立了奇异值的扰动理论。

致谢：周舒义编辑的细心审阅和修改，使得本文的论证叙述更严谨，特此感谢。

特 别 提 示

1.『返朴』提供按月检索功能。关注公众号，回复四位数组成的年份+月份，如“1903”，可获取2019年3月的内容目录，以此类推。

2. 投稿、转载、应聘、商务合作等，皆可联系：[email protected]