OpenAI 推出 GLIDE：可根据文字描述编辑图片的神经网络
在2021年，文本生成图像是人工智能领域最活跃、最引人注目的方向之一。2021年1月，OpenAI推出了DALL-E，这是基于其GPT-3语言模型变换器的一个版本，拥有120亿参数，能够根据文字提示生成照片级逼真的图像。
DALL-E迅速在人工智能社区获得成功，其出色的表现也引起了媒体的广泛关注。2021年11月，科技巨头英伟达（NVIDIA）发布了基于GAN的GauGAN2，其名称灵感来自法国后印象派画家保罗·高更，而DALL-E则致敬超现实主义画家萨尔瓦多·达利。
为了不落后，OpenAI的研究人员推出了GLIDE（Guided Language-to-Image Diffusion for Generation and Editing），这是一种神经网络，其参数量不到DALL-E的三分之一，却能在性能上与之相抗衡。
“最近的研究表明，扩散模型能够生成高质量的合成图像，尤其是在结合引导技术时，该技术可在多样性与准确性之间取得平衡。我们研究了用于文本条件图像合成任务的扩散模型，并比较了两种不同的引导策略：CLIP引导和无分类器引导。我们发现，无论是在照片真实感还是与文本描述的相似度方面，评估者都更青睐后者，而且它往往能生成逼真的样本”，该研究发表于arXiv上。
虽然大多数图像都比较容易用文字描述，但要根据文字输入创建图像则需要专门的技能和大量时间。借助人工智能，根据自然语言提示自动生成照片级逼真的图像，不仅让人们能够以前所未有的轻松程度创作丰富多样的视觉内容，还便于对生成的图像进行反复调整和精细控制。
近期研究显示，基于似然的扩散模型同样能够生成高质量的合成图像，尤其是在结合为平衡多样性与准确性而设计的引导技术时。2021年5月，OpenAI推出了一种引导模型，使算法能够依赖分类器的标签。
GLIDE在此基础上继续推进，将引导扩散应用于文本条件图像合成任务。研究人员训练了一个拥有35亿参数的GLIDE模型，该模型使用文本编码器来理解自然语言描述的条件，随后比较了两种引导策略：CLIP引导和无分类器引导。
CLIP是一种可扩展的方法，用于学习文本与图像的联合表示，能够评估图像与文字描述的接近程度。团队将该方法应用于自己的模型，用CLIP模型取代分类器来“引导”网络。
无分类器引导是一种引导扩散模型的方法，不需要训练单独的分类器。它具有两个吸引人的特性：
- 使模型在引导过程中能够利用自身的知识，而不是依赖独立分类模型的知识。
- 在使用分类器难以预测的信息时，简化了引导过程。
研究人员指出，人工评估者在照片真实感和与文字描述的相似度两方面，都更倾向于无分类器引导生成的图像。
在测试中，GLIDE生成的图像质量很高，具有逼真的阴影、反光和纹理。该模型还能组合多个概念（例如柯基犬、领结和节日礼帽），并为这些对象赋予颜色等属性。
除了根据文字生成图像外，GLIDE还可以用于编辑已有图像，例如插入新对象、添加阴影和反光、进行图像绘制，所有操作都通过自然语言文字提示完成。
GLIDE还能将简单的线条草图转换为照片级逼真的图像，并且该神经网络在无需采样的复杂场景生成与修复方面表现非常出色。
与DALL-E相比，即使GLIDE模型规模小得多（35亿参数对120亿参数），人工评估者仍更青睐GLIDE的输出图像。它的采样延迟更低，也无需CLIP进行重新排序。
研究团队意识到，他们的神经网络可能会让不法分子更容易制造具有说服力的虚假信息或深度伪造内容。为防范此类滥用，他们发布了一个精简版神经网络和一个在过滤数据集上训练的带噪声CLIP模型。项目源代码可在GitHub上获取。
“GLIDE能够生成照片级逼真的图像，以恰当的方式组合概念，并进行艺术化的视觉呈现。据团队评估，在87%的情况下，其结果比DALL-E的样本更受青睐”，OpenAI表示。
来自ZME Science的评论者指出，最终图片的质量往往可以媲美在Photoshop中的细致工作。该系统能够处理“把梵高的画挂在墙上”这类复杂提示，但对于“车轮是三角形的汽车”这样古怪的提示，它并不总能正确理解。
