PixelCNN++：通过离散化 logistic 混合似然及其他修改改进 PixelCNN

TL;DR

OpenAI 宣布了 PixelCNN++，这是一个改进的 PixelCNN 模型，它使用离散化 logistic 混合似然、整像素条件、下采样、快捷连接和 dropout，并在 CIFAR-10 上报告了最先进的对数似然。

Overview

PixelCNN++ 是一种用于图像的生成模型，它提供精确的似然，并于 2017 年 1 月 19 日由 OpenAI 发布。该发布包括 GitHub 上的源代码以及描述这些修改的论文。

Key Technical Modifications

PixelCNN++ 的修改同时提升了训练速度和模型性能。首先，模型将像素值上的 256 方式 softmax 替换为离散化 logistic 混合似然，从而加快训练。其次，它对整个像素进行条件，而不是单独的 R/G/B 子像素，简化了架构。第三，添加了下采样层以高效捕获多分辨率结构。第四，引入了额外的快捷连接以加速优化。第五，将 dropout 应用为正则化器。

Experimental Results

作者在 CIFAR-10 数据集上评估了 PixelCNN++，并报告其实现了最先进的对数似然，表明所提出的更改是有效的。

Implications

通过展示简单的似然更改和架构调整可以提升 PixelCNN 性能，PixelCNN++ 提供了构建更强大基于似然的图像生成器的实用方案，并鼓励对可扩展自回归模型进行进一步研究。