机器之心

直播|从统计学习出发,带你深入剖析生成模型

Image
近年来,我们见证了 AIGC 的迅猛发展,由于其出色的生成能力,已被广泛应用于各行各业中。
与之密切相关的,AIGC 背后的理论基础,生成模型(Generative Modeling),愈发得到学界的关注。很多关于生成模型的理论工作,都转化成为了在应用端表现最佳的那⼀批模型。有些生成模型已被广泛应用于生成高保真图像、合成逼真的语音和音乐片段、生成高质量的视频等等。
虽然市面上关于生成模型的研究数不胜数,但究其根本,都可以用同⼀套统计和概率的语言进行描述。
在这当中,有些应用广泛的模型之间甚至有紧密的、可以相互转换的关系,但这些关系的数学原理却很少被用⼀种直觉上的、易于理解的方式所呈现。
同时,在工业界的应用中,工程师们通常将不同生成模型看作互相平行的实现路径,并没有关注不同生成模型的联系;另一方面,部分机器学习的理论研究仅仅关注于验证实验的可靠性而非用理论指导实验的方向。
为了更好的帮助大家统一生成模型背后的原理,机器之心最新一期线上分享邀请到了加州大学圣地亚哥分校在读硕士生杨骐珲,为大家深度剖析生成模型。

Image

分享主题:从统计学习出发理解生成模型的统一视角
嘉宾简介:杨骐珲,加州大学圣地亚哥分校在读硕士生,研究兴趣为机器学习理论与音乐生成。杨骐珲 2024 年在机器学习顶级会议 ICML 和 NIPS 发表论文三篇。
个人主页:https://isaacyqh.github.io/

分享摘要

本次分享聚焦于概率和统计原理在生成模型中的应用,通过由浅入深的方式探讨统计学习框架下不同生成模型之间的联系,包括基于分数(score)和流(flow)的生成模型等。分享将从基础概念入手,确保听众理解所需数学知识,在逐步进入关键理论的过程中提供直观解释。最后,基于对现有生成模型工作的深入剖析,分享提出有助于机器学习理论研究的指导建议,旨在为参与者提供实践意义。

相关链接
  • Aapo Hyvärinen. "Estimation of non-normalized statistical models by scorematching." (2005)

    https://jmlr.org/papers/volume6/hyvarinen05a/hyvarinen05a.pdf
  • Sliced Score Matching (Song et al., 2019)

    https://arxiv.org/pdf/1905.07088

  • Denoising score matching (Vincent 2011)

    https://www.iro.umontreal.ca/~vincentp/Publications/smdae_techreport.pdf

  • Song Yang et al,. "Generative Modeling by Estimating Gradients of the Data Distribution." (2020).

    http://arxiv.org/abs/1907.05600

  • Stochastic Calculus (NYU Courant)

    https://math.nyu.edu/~goodman/teaching/StochCalc2022/StochasticCalculus.html

  • Song Yang et al,. "Score-Based Generative Modeling through Stochastic DiDerential Equations." (2021).

    http://arxiv.org/abs/1907.05600

  • Ricky T. Q. Chen et al,. "Neural Ordinary DiDerential Equations." (2018).

    http://arxiv.org/abs/1907.05600

  • Yaron Lipman et al,. "Flow Matching for Generative Modeling.(2023).

    http://arxiv.org/abs/1907.05600

  • Chen Xu et al,. “Normalizing flow neural networks by JKO scheme.” (2023)

    https://proceedings.neurips.cc/paper_files/paper/2023/file/93fce71def4e3cf418918805455d436f-Paper-Conference.pdf

直播时间:北京时间 1 月 21 日 10:00-11:30

直播预约:

本次直播设有 QA 环节,欢迎加入本次直播交流群探讨交流。

Image

机器之心 · 机动组
机动组聚焦于学术研究、工程实践与产业应用,筛选前沿、专业、实用内容,不定期组织学术研讨、技术交流与实战分享等。欢迎所有 AI 领域技术从业者关注。
点击阅读原文,直达机动组官网,查看往期回顾。