微软提出AIGC新“玩法”，图灵奖得主Yoshua Bengio也来了！
来源：CSDN 2023-04-05 06:08:57
(资料图片仅供参考)
在AIGC取得举世瞩目成就的背后，基于大模型、多模态的研究范式也在不断地推陈出新。微软研究院作为这一研究领域的佼佼者，与图灵奖得主、深度学习三巨头之一的Yoshua Bengio一起提出了AIGC新范式——Regeneration Learning。这一新范式究竟会带来哪些创新变革？本文作者将带来他的深度解读。
作者 | 谭旭
AIGC（AI-Generated Content）在近年来受到了广泛关注，基于深度学习的内容生成在图像、视频、语音、音乐、文本等生成领域取得了非常瞩目的成就。不同于传统的数据理解任务通常采用表征学习（Representation Learning）范式来学习数据的抽象表征，数据生成任务需要刻画数据的整体分布而不是抽象表征，需要一个新的学习范式来指导处理数据生成的建模问题。
为此，微软研究院的研究员和深度学习/表征学习先驱Yoshua Bengio一起，通过梳理典型的数据生成任务以及建模流程，抽象出面向数据生成任务的学习范式Regeneration Learning。该学习范式适合多种数据生成任务（图像/视频/语音/音乐/文本生成等），能够为开发设计数据生成的模型方法提供新的洞见和指导。
论文：Regeneration Learning: A Learning Paradigm for Data Generation 链接： https://arxiv.org/abs/2301.08846 为什么是Regeneration Learning？ 什么是数据理解与数据生成？ 机器学习中一类典型的任务是学习一个从源数据X到目标数据Y的映射，比如在图像分类中X是图像而Y是类别标签，在文本到语音合成中X是文本而Y是语音。根据X和Y含有信息量的不同，可以将这种映射分成数据理解（Data Understanding）、数据生成（Data Generation）以及两者兼有的任务。图1显示了这三种任务以及X和Y含有的相对信息。 图1：机器学习中常见的三种任务类型以及X和Y含有的相对信息量 X和Y的信息差异导致了采用不同的方法来解决不同的任务： 对于数据理解任务，X通常比较高维、复杂并且比Y含有更多的信息，所以任务的核心是从X学习抽象表征来预测Y。因此，深度学习中非常火热的表征学习（Representation Learning，比如基于自监督学习的大规模预训练）适合处理这类任务。 对于数据生成任务，Y通常比较高维、复杂并且比X含有更多的信息，所以任务的核心是刻画Y的分布以及从X生成Y。 对于数据理解和生成兼有的任务，它们需要分别处理两者的问题。 数据生成任务面临的独特挑战 数据生成任务面临独特的挑战包括： 因为Y含有很多X不含有的信息，生成模型面临严重的一对多映射（One-to-Many Mapping）问题，增加了学习难度。比如在图像生成中，类别标签“狗”对应不同的狗的图片，如果没有合理地学习这种一对多的映射，会导致训练集上出现过拟合，在测试集上泛化性很差。 对于一些生成任务（比如文本到语音合成，语音到说话人脸生成等），X和Y的信息量相当，会有两种问题，一种是X到Y的映射不是一一对应，会面临上面提到的一对多映射问题，另一种是X和Y含有虚假关联（Spurious Correlation，比如在语音到说话人脸生成中，输入语音的音色和目标说话人脸视频中的头部姿态没有太大关联关系），会导致模型学习到虚假映射出现过拟合。 为什么需要Regeneration Learning 深度生成模型（比如对抗生成网络GAN、变分自编码器VAE、自回归模型AR、标准化流模型Flow、扩散模型Diffusion等）在数据生成任务上取得了非常大的进展，在理想情况下可以拟合任何数据分布以实现复杂的数据生成。但是，在实际情况中，由于数据映射太复杂，计算代价太大以及数据稀疏性问题等，它们不能很好地拟合复杂的数据分布以及一对多映射和虚假映射问题。类比于数据理解任务，尽管强大的模型，比如Transformer已经取得了不错的效果，但是表征学习（近年来的大规模自监督学习比如预训练）还是能大大提升性能。数据生成任务也迫切需要一个类似于表征学习的范式来指导建模。 因此，我们针对数据生成任务提出了Regeneration Learning学习范式。相比于直接从X生成Y，Regeneration Learning先从X生成一个目标数据的抽象表征Y’，然后再从Y’生成Y。 这样做有两点好处： X→Y’ 相比于X → Y的一对多映射和虚假映射问题会减轻； Y’ → Y的映射可以通过自监督学习利用大规模的无标注数据进行预训练。 Regeneration Learning的形式 Regeneration Learning的基本形式/Regeneration Learning的步骤 Regeneration Learning一般需要三步，包括： 将Y转化成抽象表征Y’。转换方法大体上可分为显式和隐式两种，如表1中Basic Formulation所示：显式转换包括数学变换（比如傅里叶变换，小波变换），模态转换（比如语音文本处理中使用的字形到音形的变换），数据分析挖掘（比如从音乐数据抽取音乐特征或者从人脸图片中抽取3D表征），下采样（比如将256*256图片下采样到64*64图片）等；隐式转换，比如通过端到端学习抽取中间表征（一些常用的方法包括变分自编码器VAE，量化自编码器VQ-VAE和VQ-GAN，基于扩散模型的自编码器Diffusion-AE）。 表1：Y→Y’转换的不同方法 步骤2：从X生成Y’。可以使用任何生成模型或者转换方法，以方便做X → Y’映射。 步骤3：从Y’生成Y。通常采用自监督学习，如果从Y转化为Y’采用的是隐式转换学习比如变分自编码器，那可以使用学习到的解码器来从Y’生成Y。 如表1中Extended Formulation所示，一些方法可以看成是Regeneration Learning的扩展版本，比如自回归模型AR，扩散模型Diffusion，以及迭代式的非自回归模型等。在自回归模型中，Y_{
