暴雪中的回忆，浅析生成式AI的理论基础

马年初六，纽约连绵阴雨转成鹅毛大雪，初七终于变成三十年不遇的暴雪。天地一片苍茫，世界陷入了混沌，恰好可以随手记下一些回忆。春节前后，笔者见到了很多朋友、同学和学生，回顾与他们共同见证过的历史，联想到目前身处的时代巨变之中，感慨万千。很多事情，年轻亲历时并不了解其背后的深意，多少年后再回首时，才会醍醐灌顶，幡然醒悟。

1995年，笔者初到哈佛大学便在麻省理工大学AI实验室听Berthhold Horn教授的机器视觉课程。Horn教授就是Shape from Shading的发明者，他用双曲型偏微分方程通过图像的色调恢复三维形状。课上，他提到用高斯曲率来表示表示凸曲面的方法，涉及到所谓的Minkowski问题。笔者向丘成桐先生请教，丘先生给笔者一篇他和郑绍远教授合作写于1970年代的文章【1】，他们建立了高维蒙日-安培方程（Monge-Ampere）的正则性理论，从而给出Minkowski问题的解。笔者当时并不理解如此艰深的理论，也无法理解为什么需要证明高维情形。三十年后，大家都在恐惧硅基的AI取代碳基的人类，而占据AI半壁江山的生成式模型，本质上就是在GPU、TPU硬件上求解上百万维的蒙日-安培方程。从这个角度而言，丘成桐先生等数学前辈所建立的蒙日-安培方程理论，为今日的AI奠定了理论基础。

1993年，丘先生在微分几何领域【2】提出了一百多个开放问题，其中之一就是如何数值求解蒙日-安培方程。20年后，2016年笔者团队在丘先生的带领下，发明了几何变分方法给出了Alexandrov问题的离散算法【3】，并于2019年给出了Minkowski问题的算法【4】。当时，丘先生建议我们将这些算法应用于生成式AI，提出了AE-OT模型【5,6】。期间，我们和汪徐家教授有深入交流，探讨蒙日-安培方程的正则性理论。但是当时我们并没有预见到蒙日-安培方程会通过AI重塑整个人类社会。直到2022年左右，生成模型突然爆发，每年有十数万学术论文，各种AI模型迅猛发展，各种AI公司彻底改变了学术界、工业界，乃至整个人类社会。近期爆火的Seekdance正在颠覆影视媒体行业，Claude Code正在革命整个软件工业。

在过去的数十年间，与笔者同时代的整整一代人都吃尽了计算机发展的红利。笔者的海外老同学们和学生们都集中在硅谷、西雅图和纽约，过着优渥的生活。前不久，笔者短暂停留硅谷，见到了很多故交。冬季的硅谷比其他季节更加温和湿润，行驶在高速公路上远山如黛，时而骤雨倾盆，时而艳阳高照。一天去访问一位师弟创立的激光投影硬件公司，路边山脚下一道彩虹，触手可及。周末与十多年前毕业的学生们：靳教授、曾博士和王博士共进下午茶。靳教授的家在帕洛阿托 ，院内鲜花锦簇，绿草喷泉，雪白的宠物兔，四处撒欢。一棵百年红杉，参天巍峨。树上建有双层树屋，凌空俯瞰，院落四周簇拥着翠绿的树墙，树上山茶花怒放，层叠争艳，喧闹绚烂。靳教授做了家乡的云南小锅米线，琳琅满目，味道鲜美。Meta工作的曾博士当场烤串儿，从清真巴扎买来顶级羊肉，半军用火炉升火，孜然辣椒，香味扑鼻，大家馋涎欲滴。nVidia的王博士带来了加州特有的人参果，宛若婴孩，令人眼界大开。孩子们在草坪上嬉笑游玩，大人们在灿烂的阳光下追忆往昔，讨论着AI为硅谷带来的机会与冲击。回想当年学生们读博时废寝忘食，编写程序通宵达旦，甚至受挫时在实验室深夜痛哭，看到大家现在岁月静好，快意人生，令笔者无限欣慰。曾博士的论文是用马尔可夫随机场做曲面之间的微分同胚，当时用于离散优化的马尔科夫随机场炙手可热，几乎一统计算机视觉的半壁江山，而如今AI方法早已颠覆了传统方法，他所在的meta公司出产的视觉AI模型几乎终结了这个领域。靳教授的博士论文是离散曲面里奇流，二十年后的今天，里奇流和蒙日-安培方程依然是唯二的方法能够通过曲率来构造黎曼度量。里奇流开始渗透到与几何相关的工业领域，而蒙日-安培方程早已成为生成式AI的理论基础，正在摧毁着一个又一个软件巨头。但是笔者看来，这些深刻理论的威力尚未被工业界完全发挥出来。

他们的师弟师妹们，特别是在疫情期间毕业的学生们赶上了AI的狂潮。他们用最优传输理论做生成模型，即用GPU求解蒙日-安培方程，将丘先生的理论转换成算法，刚一毕业，起薪就达到了疯狂的天价。在过去几年间，他们在AI巨头公司，利用海量的资源，促进AI的空前发展，终于到了开始反噬人类自身的地步。依随Claude Code等AI生成代码技术的成熟，软件工业迎来了巨大的危机。2025年成为历史的转折点，计算机科班的毕业生求职开始变得困难。同时各大软件公司也开始大规模裁员，各个大学的计算机专业招生也大规模下降。近几天，AI不断地摧毁一个又一个工业领域，令人担心硅基文明替代碳基文明，可谓天翻地覆，沧海桑田。

当今的AI是基于深邃的数学理论，利用整个Internet的数据和整个人类历史上积累的数据，在日益强大的计算能力加持下，取得成功的，因此硬件成功的因素必不可少。恰巧笔者近期也见到了另一位老朋友，“pixel shader”之父-彭亮博士。在冬日暖阳下，笔者和彭博士徜徉在长岛海岸。冰雪消融，波澜不惊，很多海鸥在岸边盘旋。远处天水一色，令人胸襟万里。彭博士与笔者分享了他当年发明像素渲染器的曲折历程。GPU本来是为了加速图形渲染而设计的硬件，彭博士早年研究计算机图形学领域中的硬件设计，后来加入nVidia成为框架设计师。2000年左右，他在历史关键时刻发明了像素渲染器，从而革命了GPU的体系结构。"Pixel shaders"将GPU从固定功能的硬件，发展成大规模并行处理器，从而将GPU从图形渲染专用硬件发展成广泛用途的并行计算硬件。2012年，AlexNet将卷积神经网络的训练从CPU转到了GPU，展现了无与伦比的威力，赢得了ImageNet大赛，从此之后GPU成为AI战场主力，AI的发展如虎添翼，一骑绝尘。笔者近些年的学生们都直接或者间接地受惠于祖师爷丘先生的蒙日-安培理论，和GPU的大规模并行计算能力。

春节前夕，笔者与一位30年前的哈佛老朋友、周同学见面。当年，笔者和周同学在哈佛经历了很多难以忘怀的事情，包括与挚友的生死离别。弹指一挥间，周同学的女儿也上了哈佛，目前在攻读数学专业。周同学希望笔者能够指点一下未来的发展方向。笔者觉得由于AI技术的发展，编程技能的重要性迅速下降，数学思维的重要性日益上升。在过去三十年间，笔者亲历了太多的技术浪潮，看到了太多计算机语言的诞生到消亡，太多工程技术的兴起到被遗忘，但是作为计算机算法内核的数学定理，却一直亘古不变，并且其内在威力在日益显现出来。三十年前，丘先生的蒙日-安培方程理论是阳春白雪，曲高和寡，在现在所有AI巨头都在深入研究，各种流行的生成模型都是在竭尽全力的提高质量，逼近理论最优。因此，笔者非常赞同周同学的高瞻远瞩，将孩子培养成数学家，为长远发展打下坚实的基础。笔者建议周同学的女儿多学偏微分方程、随机过程和现代几何与拓扑，迄今为止，这些学科都直接指导了AI的发展。

AI的发展使得人类研究者的价值观念发生了巨变：以前人们无法容忍AI的黑箱，一直致力于用传统理论来理解AI；目前很多学者主张崇尚AI自行发现规律，彻底抛弃人类的智慧，并且开始盲目崇拜AI大模型。很多年轻学生们也轻视学习数学理论，认为熟练掌握时髦的模型更为重要。遇到问题时，不注重理论分析，而是依赖积累数据，大量调参，或者集成多个模型来解决。大量的媒体报道也是将商业广告风格带入学术论文，各种经验性的观察和似是而非的联想被杜撰成巨大飞跃，极大地困扰了年轻学子。笔者试图理解目前比较时髦的非语言类生成模型背后的数学机制是什么，这些模型是否产生了新的数学理论（而不仅仅是用新的算法来计算老的问题），目前这些模型是否有严格的理论保证，例如解的存在型，唯一性，收敛性，计算稳定性，误差估计等等。为此，2026年春季学期，笔者和学生们组织了讨论班，力图厘清这些问题。

在生成式AI中，训练数据集合被视为某种分布，记为, 数据分布往往定义在某个低维子流形上。训练的目的是用一个神经网络来表示某个分布, 使得尽量逼近，是神经网络的参数。目前流行的各种模型都是将标准的正态分布变换成,从而逼近数据分布。训练过程就是计算从正态分布到数据分布的变换，推理就是从正态分布中随机抽取一个样本,经过变换得到数据分布中的一个样本。这正是经典的最优传输理论所研究的核心问题。历史上，很多数学家为其做出了贡献，形成了各种流派，每个流派都启发了当前不同的生成模型。

蒙日理论

Monge早在1781年提出了最优传输问题。给定源概率分布定义在度量空间上，记为，和目标分布，它们具有相同的总测度,一个映射被称为是保测度的（measure-preserving），如果对于一切可测集合,的-测度等于其原像的-测度：

保测度映射记为。保测度映射可逆，。

给定一点, , 传输代价为, 这里是一个连续函数。所谓的最优传输问题就是寻找所有保测度映射中总传输代价最小者：

最优传输映射的总代价被定义成两个测度之间的Wasserstein距离.

生成模型的目的就是寻找一个保测度映射, 将正态分布映成数据分布，

但是，绝大多数的生成模型并不追求最优性，任意一个保测度映射即可。通过选取代价函数，例如欧式距离,那么最优传输映射是唯一的，并且所有保测度的映射都与最优传输映射相差一个保勒贝格测度的的自同胚映射，这是所谓的Brenier极分解定理。因此，理论上生成模型有无穷多个解，并且所有的解相差一个李群。

假设概率密度为,保测度条件的微分表示为

这被称为是Jacobi方程。

标准化流（Normalizing Flow）就是用一个神经网络来求取可逆传输映射, 满足Jacobi方程，

由于维数诅咒，传输映射的Jacobi矩阵不可计算，实际应用中用多个同胚映射的复合来逼近,

其中每一个映射都接近恒同映射，, 如此

通过控制神经网络权重矩阵的奇异值与激活函数，使得的Lipschitz常数小于, 由Banach不动点定理，可逆。同时应用Hutchinson技巧，的行列式可以通过蒙特-卡罗方法来估计。最后模型的损失函数为对数似然函数，

损失函数的积分可以通过蒙特-卡罗方法来估计，由此打破了维数诅咒。 类似的模型有RealNVP、Glow等，它们采用特殊耦合层 (coupling layers) 设计的模型来保证映射的可逆性。

Kantorovich 理论

长达数百年间，Monge问题无人能解，直至1942年Leonid Kantorovich 将其推广并且引入了对偶形式，应用无穷维线性规格证明了解的存在性，为现代最优传输理论奠定了基础。为此，Kantorovich获得了1975年的诺贝尔经济奖。Kangtorovich将Monge的传输映射推广为传输方案，在Monge的框架下，每点处的质量不可分裂，在Kangtorovich框架下，处的质量可以分裂，如此可以用联合概率分布来表示传输方案，使得其边际分布分别等于和，即,

这就是所谓的耦合技巧（coupling）。Kantorovich问题成为

通过耦合，可以用加上条件概率表示出来,

在生成式AI中，几乎所有的条件概率分布都被假设为正态分布

这个普适的假设背后有深意，它实际上是基于这样一个理论：高斯混合分布的万有逼近。假设我们希望逼近, 任给逼近误差都存在足够小的, 使得磨光函数, 这里是卷积

是高斯分布的密度函数（高斯核）。其次令为传输映射，那么上式成为

即我们将表达为连续高斯混合，与初始分布距离小于。但是，将用的精确高斯混合来表示，等价于求传输映射。形式上，传输映射等价于条件概率。

原则上，我们将标准化流NF模型中的传输映射, 替换成条件概率和, 就得到了所谓的去噪扩散概率模型（Denoise Diffuse Probability Model）DDPM，这也是目前各大AI公司的主流生成模型。

每个数据样本被看成一个粒子，在确定性力的作用下漂移，同时在随机力的作用下扩散。确定性力的作用越来越微弱，随机力越来越加强，那么时间足够长之后，粒子的分布变成标准正态分布。粒子演化的随机过程可以由伊藤的随机微分方程来描述：

这里是标准的布朗运动。相应的Fokker-Planck方程描述了概率密度的演化，

Fokker-Planck方程的解为正态分布，对于任意时刻,

这里

我们考察所有的粒子都彼此独立地随机游走，开始时为任意的数据分布，那么在时刻, 系统整体分布为

挑选合适的, 使得接近，那么每个单粒子在时刻的概率分布为标准正态分布。这时整体系统也趋于标准正态分布。如此我们得到了一个传输映射, 将每一个粒子轨迹的初始位置映射到其终止位置。因为粒子随机游走，轨道可能彼此交叉，映射并不连续，没有保持空间的拓扑，但是将数据分布映射成标准正态分布。这一过程就是所谓的扩散过程。（即所谓的添加噪声的过程）

Ander(1982)和Haussmann-Pardoux（1986）给出了逆扩散过程的数学描述。随机微分方程为：

这里是逆时间布朗运动，是时刻边际分布的密度对数的梯度，即所谓的分数函数（score function），Fokker-Planck方程为

核心困难在于逆扩散过程的Fokker-Planck方程没有显式解，并不是正态分布，但是由贝叶斯定理

右侧都是正态分布，因此是正态分布，当足够小的时候，方差接近于, 这时我们用到Kantorovich的耦合技巧和高斯混合技巧：用卷积来逼近，再用

来逼近条件分布, 这里是传输映射，如此边际分布可以表示为

DDPM就是将上述思想离散化。时间离散化为，正向扩散中Ito随机微分方程离散化为

通过控制, 使得每个粒子最终分布为标准正态分布，所有粒子的整体分布也成为标准正态分布。逆向扩散中，用高斯核来逼近，方差被设为常数，唯一的未知函数为定义在时空上的均值函数, 由神经网络来表达,

由此可以写出的对数似然函数，再由证据下界（Evidence Lower Bound）技巧，将损失函数转化为 与KL散度之和。

类似的想法在于逆向扩散随机方程之所以无法表达成正态分布，核心在于漂移项中的分数函数, 我们用神经网络来学习它，这等价于学习逆扩散条件概率中的均值。一个关键的观察在于条件分数函数的期望等于边际分数函数

这构成了去噪分数匹配（Denoising Score Matching）DSM模型损失函数

Kantorovich 对偶理论和Brenier理论

更进一步，Kantorovich应用广义Lagrange乘子方法给出了最优传输问题的对偶形式，

这里是的c-变换，

Brenier在1980年代，基于对偶理论提出了Brenier理论，如果代价函数为欧式距离，那么最优映射由一个凸函数给出，即, 这里被称为是Brenier势能函数，满足蒙日-安培方程

同时满足第二类边界条件

奇妙的是，很多微分几何的问题也归结为蒙日-安培方程，例如经典的Alexandrov问题：给定平面图区域, 凸函数的图是一张凸曲面，点处曲面的高斯曲率为,给定曲率求曲面,其对应的蒙日-安培方程为：

在丘先生的指导下，笔者团队用几何变分法，找到了Alexandrov问题的解法，蒙日-安培方程的解对应着某种几何体的体积，也等价于Kantorovich提出的对偶能量。我们证明了解的存在性、唯一性，也证明了能量的凸性，因此优化算法具有稳定性。特别地，我们也证明了可行解的空间是凸的，这为步长控制提供了理论依据。

经典的蒙日-安培方程解的正则性理论由丘先生开始，后来很多数学家都做出了杰出贡献，例如Caffarelli教授，汪徐家教授，2018年的菲尔兹奖得主Figalli教授。经典的研究成果都集中于目标区域为 凸的情形。Figalli的工作明确指出非凸的目标区域有可能为传输映射带来奇异集合，映射在奇异集合处间断。而深度神经网络只能表达连续的映射，由此会造成生成模型的模式坍塌、以致各种幻觉。据此，我们提出了AE-OT模型来可否幻觉。AE-OT模型通过计算Brenier势能函数，计算上面的曲率，从而求出奇异集合，避免幻觉。

Benamou-Brenier理论

Benamou-Brenier用流体力学的方法来求取传输映射，其核心是设计一个时空的流场,使得密度函数依随流场变化，满足质量守恒方程：

初始密度, 目标密度为。每个粒子的轨迹记为满足常微分方程

那么总的传输代价

由Cauchy-Schwartz不等式，上面等式成立，当且仅当为常值，即每粒子都在做匀速直线运动，

与Brenier理论相一致。从物理角度而言，最优传输由最优流场给出，最优传输代价等于所有流场中总动能最小者，

由Lagrange观点，流场密度的物质导数满足方程

连续标准化流（continuous normalizing flow）CNF模型就是基于这一思想，设计一个时空的流场，将流到数据分布. 那么数据分布的密度满足

CNF的损失函数也是对数似然：

优化过程中需要频繁求解常微分方程，因此这种方法也被称为是神经常微分方程模型。为了减少内存开销，人们经常采样自动控制理论（辛几何）中的伴随方法（adjoint method）。

在DDPM中，每个数据样本在时空中随机游走 ，最终演化成正态分布, 算法花费大量的时间来模拟随机游走。由Benamou-Brenier定理，最为经济的走法应该是匀速直线运动。一个粒子的初始分布为, 可以用正态分布来逼近，这里，充分小。在时刻,粒子的分布为, 最优传输映射将映成

那么粒子的轨迹为直线，速度场为常值场。

流匹配Flow Matching（FM）模型就是基于这个观察，用确定性的粒子轨迹取代随机过程，从而提高了效率。令，，流场从流到了, 满足连续性方程 。我们任取一个粒子, 沿着最优传输的轨迹匀速直线运动，在时刻到达,其条件概率记为，那么边际概率分布为

由定义, 并且。条件概率分布和条件速度场也满足质量守恒方程：

这里条件速度场为常值场。关键的观察在于边际速度场等于条件速度场的期望

流匹配模型用一个神经网络来学习边际时空速度场，损失函数为

这里本身是未知的，我们用条件速度场的期望来替代，得到条件流匹配的损失函数

这里已知，并且上述两个能量梯度相同，因此通过优化，我们可以求出边际速度场。

比较分析

笔者经常和数学家们讨论蒙日-安培方程的数值求解问题，他们最为关心的是变分能量是否是凸函数，解是否存在，是否唯一，可行解域的几何拓扑如何，如何控制步长以避免越界，梯度下降或者牛顿法的收敛性如何，逼近误差估计如何，迭代过程中每一步的线性系统条件数如何控制，优化过程的稳定性如何？当笔者用这些常识性问题问那些在AI巨头工作的学生们，他们满脸诚恳地回答：“老师，我们做AI的不讨论这些问题。”笔者觉得我们正处在一个特殊的时代，AI飞速地发展，理论分析相对滞后。大家都在拼命抢夺时代的红利，而将这些基本问题置于脑后。我们可以用一些小实验来检验各种模型的严密程度。

为了可视化，我们用Yann LeCun的MNIST数据集进行测试，主要因为其隐空间分布为2维，并且其分布的支撑集合有多个连通分支，每个分支对应一种手写体数字，从‘0’到‘9’，每个联通分支也被成为是一个模式。支撑集合外部的白色区域，概率密度为0.我们测试了NF，DDPM，CNF，FM和OT，它们都是计算从MNIST数据隐分布到平面正方形的均匀分布的传输映射或者传输方案。各种模型测试都在同样的时间之内完成，并没有充分优化。

图1. UMap 将 MNIST映到平面隐空间（左帧）。DDPM将左帧的分布映到正方形内的均匀分布。

我们看到，DDPM映射是非连续的，因此不同的模式的像混杂在一起。如果我们从一张数字‘0’的图像开始添加噪音，然后再去除噪音，恢复清晰图像，这时得到可能是数字‘5’的图像，本质上DDPM的传输映射不可逆。

图2. NF，CNF，FM和OT的映射图像。

NF，CNF，FM和OT模型都是确定性的，但是除了OT之外，都不严格满足Jacobi方程

这里是神经网络学习的可微传输映射，是数据分布概率密度。目标概率分布密度为，可以略去。在NF映射的像中，有大量“留白”的区域，密度为0，即方程右侧为0，的Jacobi矩阵退化，这与可逆的构造方法相矛盾。同样，CNF和FM的映射像也有留白，这些模型都不满足Jacobi方程。生成过程中，如果生成样本（噪声）落在空白区域，那么通过逆传输映射无法回到数据分布上，从而产生“幻觉”。只有OT映射没有留白，其实这是由蒙日-安培方程的边界条件所保证，这里是MNIST隐空间分布的支撑集合（密度为正的区域），包括10个联通分支。更进一步，这个测试例子中的传输映射并不连续，而神经网络只能表达连续变换，因此不可避免地产生错误。OT方法可以检测到映射间断的奇异集合，对应着不同连通分支的边界，对于生成模型减少幻觉至关重要。

我们看到，今日正在颠覆世界的生成式AI其理论基础来自于古老的数学理论，同一理论的不同侧面启发了不同的生成模型，标准化流（NF）基于Jacobi方程计算传输映射；去噪扩散概率模型DDPM基于扩散随机方程、应用耦合于高斯混合技术计算条件概率分布；连续标准化流CNF基于流体的连续性方程计算流场；流匹配FM模型基于Benamou-Brenier的流体最优传输理论计算流场；我们的最优传输OT模型本质上用几何变分方法求解蒙日-安培方程。所有这些模型都是基于蒙特-卡罗方法来打破维度诅咒，从而可以处理高维数据。但是，NF，DDPM，CNF，FM模型对应能量的凸性，解的存在唯一性，可行解空间的形状，收敛误差分析等等都没有理论分析，应用中不可避免地会产生模式坍塌和各种幻觉。OT的方法理论完备，算法简单，同时统一处理连续和离散情形。

很多宣传文章将从数据分布到正态分布的传输变换简单粗暴地表述为“将图像添加噪声然后去除噪声”的过程，宣扬“去噪即智能”等等，达到了很好的宣传效果，但是有失严密。生成模型可以从很多角度来理解，这里我们从流体力学和随机过程角度来理解，也从微分几何与偏微分方程理论角度来观察，会得到很多不同的见解和启发。笔者相信，依随AI算法和硬件的进一步发展，生成式模型的理论基础会逐步严密起来，蒙日-安培方程理论的重要性会日益凸显。借助 Claude Code，深奥的数学思想得以瞬时转化为高效代码。人类的核心竞争壁垒正向高阶抽象思维迁移，积极拥抱 AI 革命已成为我们跨越时代的唯一选择。

1. Cheng, Shiu Yuen; Yau, Shing Tung Maximal space-like hypersurfaces in the Lorentz-Minkowski spaces. Ann. of Math. (2) 104 (1976), no. 3, 407--419.

2. Yau, Shing-Tung Open problems in geometry. Differential geometry: partial differential equations on manifolds (Los Angeles, CA, 1990), 1--28, Proc. Sympos. Pure Math., 54, Part 1, Amer. Math. Soc., Providence, RI, 1993.

3. Xianfeng Gu, Feng Luo, Jian Sun and Shing-Tung Yau, Variational Principles for Minkowski Type Problems, Discrete Optimal Transport, and Discrete Monge-Ampere Equations}, Vol. 20, No. 2, pp. 383-398, Asian Journal of Mathematics (AJM), April 2016.

4. Li Cui, Xin Qi, Chengfeng Wen, Na Lei, Xinyuan Li, Min Zhang, Xianfeng Gu, Spherical Optimal Transportation, Computer-Aided Design, Volume 119, Pages 181-193, 2019.

5. Na Lei, Kehua Su, Li Cui, Shing-Tung Yau, Xianfeng Gu, A Geometric View of Optimal Transportation and Generative Model, Computer Aided Geometric Design, 68(2019), 1-21.

6. Dongsheng An, Yang Guo, Na Lei, Zhongxuan Luo, Shing-Tung Yau and Xianfeng Gu, AE-OT: A New Generative Model based on Extended Semi-discrete Optimal Transport, ICLR 2000.