Skip to content

生成建模

这一部分收集学习“如何生成数据”的模型笔记,重点关注不同生成模型家族背后的假设、目标函数与方法权衡。

范围

  • 扩散模型
  • 自回归生成
  • 潜变量方法
  • 采样与引导

笔记

  • 扩散模型导读:梳理扩散家族的基本地图、术语,以及主要目标函数之间的联系。
  • DDPM 笔记:系统推导前向高斯加噪、后验均值、ELBO 分解与 epsilon-prediction。
  • Score Matching 笔记:系统推导 Fisher divergence、Hyvarinen 目标、denoising score matching 以及它与扩散训练的联系。
  • Flow Matching 笔记:系统推导 continuity equation、条件高斯路径、条件速度回归与 probability-flow ODE。
  • VAE 与 ELBO 笔记:系统推导变分推断、ELBO 分解、高斯重参数化与闭式 KL。

后续可补充的笔记

  • latent diffusion
  • 生成训练中的 scaling laws