404 File Not Found
404 File Not Found老是等不上wwW222gan的页面了,不能显示222gancOm了怎么办_百度知道
老是等不上wwW222gan的页面了,不能显示222gancOm了怎么办
我有更好的答案
为您推荐：
其他类似问题
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。任底下加个心 念什么_百度知道
任底下加个心 念什么
我有更好的答案
恁 [ nèn ] 1.那么,那样,如此,这样:～大。～高。 2.那:～时节。 3.怎么:“却～地教甚么人在间壁吱吱地哭,搅俺兄弟们吃酒?”
nín [ nèn ]
1.那么，那样，如此，这样：～大。～高。
2.那：～时节。
3.怎么：“却～地教甚么人在间壁吱吱地哭，搅俺兄弟们吃酒？” 4.恩，念：“宜亦勤～旅力，以充厥道”。
[ nín ] 古同“您”。
本回答被网友采纳
1.那么，那样，如此，这样：～大。～高。
古同“您”。
恁nen第四声
其他1条回答
为您推荐：
其他类似问题
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。&figure&&img src=&https://pic2.zhimg.com/v2-d8a7deec498eb38add7f7c_b.jpg& data-rawwidth=&500& data-rawheight=&500& class=&origin_image zh-lightbox-thumb& width=&500& data-original=&https://pic2.zhimg.com/v2-d8a7deec498eb38add7f7c_r.jpg&&&/figure&&p&在几年前，深度神经网络的热门话题是分类问题：&/p&&blockquote&&i&&b&给定一张图 x，神经网络可以告诉你其中是什么内容，或者说属于什么类别 c。 &/b&&/i&&/blockquote&&p&而近年来，深度神经网络的热门话题是生成模型，它想做的事情相反：&/p&&blockquote&&i&&b&给定一个类别 c，神经网络就可以无穷无尽地自动生成真实而多变的此类别的图像 x。&/b&&/i&&/blockquote&&p&这无疑听上去更神奇，也更困难。这里介绍的 CVAE-GAN 方法，其论文是 &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Fine-Grained Image Generation through Asymmetric Training&/a& ，它可以在各个数据集上生成目前综合效果最好的结果：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-65abac1e12f811f62b50a_b.jpg& data-rawwidth=&1052& data-rawheight=&582& class=&origin_image zh-lightbox-thumb& width=&1052& data-original=&https://pic3.zhimg.com/v2-65abac1e12f811f62b50a_r.jpg&&&/figure&&p&&b&请注意，以上的图像都是神经网络根据少量参考图，凭空想象出来的全新图片。而且它可以无穷无尽地自动生成下去，例如包括各种角度，表情，而且会在此过程中不断进步（简直正如 AlphaGo 可以无穷无尽地左右互搏）。&/b&&/p&&p&在人脸数据集上，效果已经好得惊人，栩栩如生。而在其它数据集上，虽然看似还有瑕疵，但这可能已经只是因为参考图的数量不够多（正如最近的 &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&[] Revisiting Unreasonable Effectiveness of Data in Deep Learning Era&/a& 所述，目前的瓶颈可能已经在于数据，而非模型。文中发现，采用3亿张训练图片作预训练后，所有模型的效果都可以得到明显提升。而且看上去3亿张训练图片也没有“喂饱”神经网络，依旧会发现训练图片越多效果越好）。&/p&&p&我们将会看到，CVAE-GAN 的思想实际简单而直接。&b&它有四大组件，对应到四个神经网络，互为补充，互相促进&/b&（这是否又让我们想起 AlphaGo？是的，多个神经网络协同组合，确实会有惊人的威力。而且其实还有更多的相似之处，因为它们最终都属于博弈问题）。&/p&&p&&b&如需转载本文，请与本人联系，谢谢。&/b&&/p&&h2&&b&1. 生成模型的派别：VAE 和 GAN&/b&&/h2&&p&在最近几年，生成模型分为 VAE 和 GAN 两条路（其实还有一条值得继续的路是 PixelCNN/RNN，另外我可能还有个不一样的路子...）。十分有趣的是，它们拥有互补的长处和短处：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-71d68cfabc6c7bb30d97fa6_b.jpg& data-rawwidth=&1042& data-rawheight=&378& class=&origin_image zh-lightbox-thumb& width=&1042& data-original=&https://pic1.zhimg.com/v2-71d68cfabc6c7bb30d97fa6_r.jpg&&&/figure&&p&以上都加上了类别作为输入，所以称之为 CVAE 和 CGAN。直观地看：&/p&&ul&&li&CVAE 生成的图像很中规中矩，但是模糊。&/li&&li&CGAN 生成的图像清晰，但是喜欢乱来。&/li&&/ul&&p&所以刚好是互补。这其实来自于它们各自的构造。首先，在构造生成模型时，人们渐渐发现，最常用的是下面四个网络：&/p&&ul&&li&&b&E：编码器 Encoder。&/b&给定一张图 x，可以将其编码为隐变量 z（且希望满足高斯分布）。如果还给定了类别 c，那么生成的隐变量就会质量更高（更随机）。&/li&&li&&b&G：生成器 Generator。&/b&给定隐变量 z（如随机噪声），就可以生成像模像样的图像。如果还给定了类别 c，那么就会生成像模像样的属于类别 c 的图像。&/li&&li&&b&C：分类器 Classifier。&/b&给定一张图 x，输出所属类别 c。这是大家的老朋友。&/li&&li&&b&D：辨别器 Discriminator。&/b&给定一张图 x，判断它是真实的图片，还是“电脑乱想出来的”。这是 GAN 首先引入的网络，它可以和 G 左右互搏，互相进步。&/li&&/ul&&p&那么，CVAE 是这样的：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-9e7f57cdf2bcb49a5034_b.jpg& data-rawwidth=&270& data-rawheight=&79& class=&content_image& width=&270&&&/figure&&p&它来自于经典的自编码器 AE，其实 E 有点类似于人脑把图片变成文字描述的过程，z 就类似于文字描述，然后 G 试图按 z 的描述还原图片。VAE 的目标是， x' 接近 x，同时 z 接近高斯分布（这样我们可以很容易地构造大量 z，从而生成大量 x'）。&/p&&p&为什么 VAE 生成的图像会模糊？如图，可以真的很模糊：&/p&&figure&&img src=&https://pic2.zhimg.com/v2-4bcca28d1bb6d50205ce_b.jpg& data-rawwidth=&189& data-rawheight=&191& class=&content_image& width=&189&&&/figure&&p&&b&最重要的原因是，它不容易找到合理的判断 “x' 接近 x” 的标准，只能用 MSE 之类的粗略误差。&/b&&/p&&p&而 CGAN 是这样的：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-9cd690e38fd1903fbecb0a727ea01701_b.jpg& data-rawwidth=&259& data-rawheight=&79& class=&content_image& width=&259&&&/figure&&p&也是有个 G（其实和之前的 VAE 的 G 类似，只是由于优化的目标不同，所以生成的图像的特点不同），目标是从 z 生成尽量真实的 x'，而且我们还再做了一个网络 D，用于判断“真实度”。&/p&&p&D 的做法很暴力，就是一直认为 x 是真的，x' 是假的，并以此训练自己。而 G 的目标当然就是尽量骗过 D，做法也很暴力，直接把 D 的输入梯度信息拿出来用于训练自己，尽量生成“最能骗过 D 的图像”。其实就像之前大家构造能骗过神经网络 C 的图片一样，直接用输入的梯度。&/p&&p&随着 G 和 D 的互相斗争，最终大家达成 Nash 均衡，生成的 x' 也就比较真实了。&/p&&p&为什么 GAN 生成的图像喜欢乱来？我认为，&b&原因之一是 D 的能力不够，&/b&是因为 D 看过的样本太单调（要么是固定的原始样本，要么都是 G 生成的），所以辨别能力容易存在盲区，而 G 是发现空子就去钻，所以就容易乱来了。&/p&&p&&b&原因之二是 G 的钻空子太暴力。&/b&比如说，如果 G 学会了每次都生成一模一样的和训练集中某个图像一模一样的图？或者一个固定的特别容易骗过 D 的图？那 D 就分辨不出来了，但生成这样的图片当然也没有意义了。这其实就是个常见的问题，叫做模式的坍塌，就像下图：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-d771e6a2b61e6ec10efed9e6dee3d3e4_b.jpg& data-rawwidth=&235& data-rawheight=&234& class=&content_image& width=&235&&&/figure&&p&而之前 VAE 的 G 是不会犯这种错误，因为它必须有足够的生成能力，对于训练集中每个图片，它都需要有能力生成相似的图片。&/p&&p&其实，某种意义上，AlphaGo 的策略网络类似于 G（试图一步步生成“完美的神之棋局”），AlphaGo 的价值网络类似于 D（如果胜率在走了某步之后倒向一方，就说明棋局不够完美）。&/p&&p&&br&&/p&&h2&&b&2. 取长补短，E+G+C+D = CVAE-GAN&/b&&/h2&&p&看 CVAE-GAN 的结构图：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-454d25bf1dd43e0ca479ada_b.jpg& data-rawwidth=&399& data-rawheight=&96& class=&content_image& width=&399&&&/figure&&p&首先，之前说过了，VAE 的 G 比 GAN 的 G 更有前途，所以前面是 VAE 的结构。&/p&&p&然后，由于 VAE 的判断 x' 和 x 相似的标准不够好，所以要再加入 D 来判断。&/p&&p&最后，我们还得真的保证生成的图像是属于 c 类别，所以还要加上 C。&/p&&p&所以 G 的 Loss 其实有三大部分：&/p&&ul&&li&对于从 x 生成的 z，G 应该更还原出接近 x 的 x' （像素上的接近）。称为 L_G(img)。&/li&&li&G 生成的图像应该可以由 C 鉴别为属于 c。称为 L_G(C)。&/li&&li&G 生成的图像应该可以由 D 鉴别为属于真实图像。称为 L_G(D)。&/li&&/ul&&p&这三者都很重要。举例，原始图像 x：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-7ac32f29c4a7bb92caa5c_b.jpg& data-rawwidth=&1185& data-rawheight=&216& class=&origin_image zh-lightbox-thumb& width=&1185& data-original=&https://pic1.zhimg.com/v2-7ac32f29c4a7bb92caa5c_r.jpg&&&/figure&&p&CVAE-GAN 的复原 x'，与 x 接近，只是少了皱纹之类的噪音，这也说明 D 对于皱纹是不在意的，它认为皱纹不是判断“真实性”的标准，也许没皱纹还会更“真实”：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-eb328d8ede7e6e312e6ea764_b.jpg& data-rawwidth=&1469& data-rawheight=&262& class=&origin_image zh-lightbox-thumb& width=&1469& data-original=&https://pic1.zhimg.com/v2-eb328d8ede7e6e312e6ea764_r.jpg&&&/figure&&p&如果我们去掉 D，马上就模糊了：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-05c75c4dffba742eb836e3cb_b.jpg& data-rawwidth=&1467& data-rawheight=&256& class=&origin_image zh-lightbox-thumb& width=&1467& data-original=&https://pic1.zhimg.com/v2-05c75c4dffba742eb836e3cb_r.jpg&&&/figure&&p&如果我们去掉 C，那么 artifact 就多了：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-a65cfa685bbe1a2168be95_b.jpg& data-rawwidth=&1468& data-rawheight=&264& class=&origin_image zh-lightbox-thumb& width=&1468& data-original=&https://pic1.zhimg.com/v2-a65cfa685bbe1a2168be95_r.jpg&&&/figure&&p&如果我们去掉 img，那么就容易乱来了：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-3c335b62d3c_b.jpg& data-rawwidth=&1473& data-rawheight=&268& class=&origin_image zh-lightbox-thumb& width=&1473& data-original=&https://pic4.zhimg.com/v2-3c335b62d3c_r.jpg&&&/figure&&p&最终的隐变量 z 可以相当好地自动刻画图片：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-fa05efd78b4_b.jpg& data-rawwidth=&757& data-rawheight=&483& class=&origin_image zh-lightbox-thumb& width=&757& data-original=&https://pic1.zhimg.com/v2-fa05efd78b4_r.jpg&&&/figure&&p&编码转移，给定左边的照片，要求网络更换其中的明星，生成的是右边的图：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-7b9bad5aae293be86301a0_b.jpg& data-rawwidth=&998& data-rawheight=&661& class=&origin_image zh-lightbox-thumb& width=&998& data-original=&https://pic3.zhimg.com/v2-7b9bad5aae293be86301a0_r.jpg&&&/figure&&p&插值效果，给定左右两张图片，可以生成“中间的渐变过程”：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-44af8ddbbf8_b.jpg& data-rawwidth=&857& data-rawheight=&376& class=&origin_image zh-lightbox-thumb& width=&857& data-original=&https://pic1.zhimg.com/v2-44af8ddbbf8_r.jpg&&&/figure&&p&自动填充缺失区域的效果（左边的原始图片都是网络从来没有见过的全新图片）：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-82d1b722a90aff668f5defa_b.jpg& data-rawwidth=&1077& data-rawheight=&793& class=&origin_image zh-lightbox-thumb& width=&1077& data-original=&https://pic4.zhimg.com/v2-82d1b722a90aff668f5defa_r.jpg&&&/figure&&p&由于网络生成的样本质量很高，还可以用于增强训练样本集，使其它模型得到更好的效果：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-c2c48c0bdf2_b.jpg& data-rawwidth=&710& data-rawheight=&177& class=&origin_image zh-lightbox-thumb& width=&710& data-original=&https://pic3.zhimg.com/v2-c2c48c0bdf2_r.jpg&&&/figure&&p&最后，CVAE-GAN 的详细架构如图：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-a07b6a20ff4de63aa937f269bcec92ea_b.jpg& data-rawwidth=&750& data-rawheight=&526& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&https://pic4.zhimg.com/v2-a07b6a20ff4de63aa937f269bcec92ea_r.jpg&&&/figure&&p&CVAE-GAN 的训练算法如图，其中的每一项都是很直观的。注意里面还用了一个重要 trick，就是希望 x' 和 x 在 D 和 C 的网络的中间层的特征也相似。这有助于稳定网络：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-d4ca3046752cee_b.jpg& data-rawwidth=&622& data-rawheight=&954& class=&origin_image zh-lightbox-thumb& width=&622& data-original=&https://pic4.zhimg.com/v2-d4ca3046752cee_r.jpg&&&/figure&&p&&br&&/p&&h2&&b&3. 总结&/b&&/h2&&p&通过使用 E+G+C+D 四大网络， CVAE-GAN 实现了相当令人满意的生成模型。目前的 GAN 变种非常多，大家都是把 E G C D 到处串起来，不过一般只用到三个，很少有用到四个的。本来我想试把四个都串起来，然后发现 CVAE-GAN 已经做了，效果也确实好。&/p&&p&最近还有一篇 Triple GAN &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&arxiv.org/pdf/&/span&&span class=&invisible&&1.pdf&/span&&span class=&ellipsis&&&/span&&/a& 类似，但它没有用 VAE 作为前端，少了 E 网络，所以效果会不如。而 CycleGAN DualGAN DiscoGAN 等等把网络串起来的方式，无疑可以与 CVAE-GAN 结合，进一步提升效果。相信 U-NET PatchGAN 等等 trick 也可以进一步提升效果。&/p&&p&最后图片展示，看看目前的生成模型的发展，尤其是风格转移：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-9c85e328cd78e_b.jpg& data-rawwidth=&999& data-rawheight=&471& class=&origin_image zh-lightbox-thumb& width=&999& data-original=&https://pic4.zhimg.com/v2-9c85e328cd78e_r.jpg&&&/figure&&p&着重看一下画，右边的画都是根据左边的照片完全自动生成的，效果确实相当专业了：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-853bdcaff41b_b.jpg& data-rawwidth=&1237& data-rawheight=&869& class=&origin_image zh-lightbox-thumb& width=&1237& data-original=&https://pic3.zhimg.com/v2-853bdcaff41b_r.jpg&&&/figure&&p&然后是编码改变：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-f7a0df3a8dc05e0a788a8b636d657401_b.jpg& data-rawwidth=&450& data-rawheight=&552& class=&origin_image zh-lightbox-thumb& width=&450& data-original=&https://pic4.zhimg.com/v2-f7a0df3a8dc05e0a788a8b636d657401_r.jpg&&&/figure&&p&同样是风格转移：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-0fc716517d_b.jpg& data-rawwidth=&670& data-rawheight=&493& class=&origin_image zh-lightbox-thumb& width=&670& data-original=&https://pic1.zhimg.com/v2-0fc716517d_r.jpg&&&/figure&&p&风格转移，从手袋生成匹配的鞋设计，从鞋设计生成匹配的手袋设计：&/p&&figure&&img src=&https://pic1.zhimg.com/v2-2e14e92dd98dae590a54_b.jpg& data-rawwidth=&598& data-rawheight=&495& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&https://pic1.zhimg.com/v2-2e14e92dd98dae590a54_r.jpg&&&/figure&&p&&b&如需转载本文，请与本人联系，谢谢。&/b&&/p&&p&&b&最后，欢迎关注我的专栏： &a href=&https://zhuanlan.zhihu.com/mathNote& class=&internal&&技术备忘录 - 知乎专栏&/a&，其中有更多文章。&/b&&/p&&p&&b&欢迎关注本司产品 &a href=&https://link.zhihu.com/?target=https%3A//item.taobao.com/item.htm%3Fid%3D& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Blink Sunshine护眼无频闪97显色指数灯泡系列&/a&，提升生活品质~&/b&&/p&
在几年前，深度神经网络的热门话题是分类问题：给定一张图 x，神经网络可以告诉你其中是什么内容，或者说属于什么类别 c。 而近年来，深度神经网络的热门话题是生成模型，它想做的事情相反：给定一个类别 c，神经网络就可以无穷无尽地自动生成真实而多变的…
&h2&&b&Wasserstein GAN最新进展：从weight clipping到gradient penalty，更加先进的Lipschitz限制手法&/b&&/h2&&p&前段时间，Wasserstein
GAN以其精巧的理论分析、简单至极的算法实现、出色的实验效果，在GAN研究圈内掀起了一阵热潮（对WGAN不熟悉的读者，可以参考我之前写的介绍文章：&a href=&https://zhuanlan.zhihu.com/p/& class=&internal&&令人拍案叫绝的Wasserstein GAN - 知乎专栏&/a&）。但是很多人（包括我们实验室的同学）到了上手跑实验的时候，却发现WGAN实际上没那么完美，反而存在着训练困难、收敛速度慢等问题。其实，&a href=&//link.zhihu.com/?target=https%3A//www.reddit.com/r/MachineLearning/comments/5zd4c0/d_survey_whats_the_most_stable_regiment_for/dexfhxu/%3Futm_content%3Dpermalink%26utm_medium%3Dfront%26utm_source%3Dreddit%26utm_name%3DMachineLearning& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&WGAN的作者Martin Arjovsky不久后就在reddit上表示他也意识到了这个问题&/a&，认为关键在于原设计中Lipschitz限制的施加方式不对，并在新论文中提出了相应的改进方案：&/p&&ul&&li&论文：&a href=&//link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&[] Improved Training of Wasserstein GANs&/a&&/li&&li&Tensorflow实现：&a href=&//link.zhihu.com/?target=https%3A//github.com/igul222/improved_wgan_training& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&igul222/improved_wgan_training&/a&&/li&&/ul&&p&&b&首先回顾一下WGAN的关键部分——Lipschitz限制是什么。&/b&WGAN中，判别器D和生成器G的loss函数分别是：&/p&&p&&img src=&//www.zhihu.com/equation?tex=L%28D%29+%3D+-%5Cmathbb%7BE%7D_%7Bx%5Csim+P_r%7D%5BD%28x%29%5D+%2B+%5Cmathbb%7BE%7D_%7Bx%5Csim+P_g%7D%5BD%28x%29%5D& alt=&L(D) = -\mathbb{E}_{x\sim P_r}[D(x)] + \mathbb{E}_{x\sim P_g}[D(x)]& eeimg=&1&& （公式1）&/p&&p&&img src=&//www.zhihu.com/equation?tex=L%28G%29+%3D+-+%5Cmathbb%7BE%7D_%7Bx%5Csim+P_g%7D%5BD%28x%29%5D& alt=&L(G) = - \mathbb{E}_{x\sim P_g}[D(x)]& eeimg=&1&&
（公式2）&/p&&p&公式1表示判别器希望尽可能拉高真样本的分数，拉低假样本的分数，公式2表示生成器希望尽可能拉高假样本的分数。&/p&&p&Lipschitz限制则体现为，在整个样本空间 &img src=&//www.zhihu.com/equation?tex=%5Cmathcal%7BX%7D& alt=&\mathcal{X}& eeimg=&1&&
上，要求判别器函数D(x)梯度的Lp-norm不大于一个有限的常数K：&/p&&p&&img src=&//www.zhihu.com/equation?tex=%7C%7C+%5Cnabla+_x+D%28x%29+%7C%7C_p+%5Cleq+K+%5Ctext%7B%2C+%7D+%5Cforall+x+%5Cin+%5Cmathcal%7BX%7D& alt=&|| \nabla _x D(x) ||_p \leq K \text{, } \forall x \in \mathcal{X}& eeimg=&1&&
（公式3）&/p&&p&直观上解释，就是当输入的样本稍微变化后，判别器给出的分数不能发生太过剧烈的变化。在原来的论文中，这个限制具体是通过weight clipping的方式实现的：每当更新完一次判别器的参数之后，就检查判别器的所有参数的绝对值有没有超过一个阈值，比如0.01，有的话就把这些参数clip回 [-0.01, 0.01] 范围内。通过在训练过程中保证判别器的所有参数有界，就保证了判别器不能对两个略微不同的样本给出天差地别的分数值，从而间接实现了Lipschitz限制。&/p&&p&&b&然而weight clipping的实现方式存在两个严重问题：&/b&&/p&&p&第一，如公式1所言，判别器loss希望尽可能拉大真假样本的分数差，然而weight clipping独立地限制每一个网络参数的取值范围，在这种情况下我们可以想象，最优的策略就是尽可能让所有参数走极端，要么取最大值（如0.01）要么取最小值（如-0.01）！为了验证这一点，作者统计了经过充分训练的判别器中所有网络参数的数值分布，发现真的集中在最大和最小两个极端上：&/p&&br&&figure&&img src=&https://pic2.zhimg.com/v2-7a3aedf9fa60ce660bff9f_b.jpg& data-rawwidth=&636& data-rawheight=&541& class=&origin_image zh-lightbox-thumb& width=&636& data-original=&https://pic2.zhimg.com/v2-7a3aedf9fa60ce660bff9f_r.jpg&&&/figure&&br&&p&这样带来的结果就是，判别器会非常倾向于学习一个简单的映射函数（想想看，几乎所有参数都是正负0.01，都已经可以直接视为一个&a href=&//link.zhihu.com/?target=http%3A//synchuman.baijia.baidu.com/article/385441& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&二值神经网络&/a&了，太简单了）。而作为一个深层神经网络来说，这实在是对自身强大拟合能力的巨大浪费！判别器没能充分利用自身的模型能力，经过它回传给生成器的梯度也会跟着变差。&/p&&p&在正式介绍gradient penalty之前，我们可以先看看在它的指导下，同样充分训练判别器之后，参数的数值分布就合理得多了，判别器也能够充分利用自身模型的拟合能力：&/p&&br&&figure&&img src=&https://pic3.zhimg.com/v2-27afb895eea82f0865b96_b.jpg& data-rawwidth=&1303& data-rawheight=&543& class=&origin_image zh-lightbox-thumb& width=&1303& data-original=&https://pic3.zhimg.com/v2-27afb895eea82f0865b96_r.jpg&&&/figure&&br&&p&第二个问题，weight clipping会导致很容易一不小心就梯度消失或者梯度爆炸。原因是判别器是一个多层网络，如果我们把clipping threshold设得稍微小了一点，每经过一层网络，梯度就变小一点点，多层之后就会指数衰减；反之，如果设得稍微大了一点，每经过一层网络，梯度变大一点点，多层之后就会指数爆炸。只有设得不大不小，才能让生成器获得恰到好处的回传梯度，然而在实际应用中这个平衡区域可能很狭窄，就会给调参工作带来麻烦。相比之下，gradient penalty就可以让梯度在后向传播的过程中保持平稳。论文通过下图体现了这一点，其中横轴代表判别器从低到高第几层，纵轴代表梯度回传到这一层之后的尺度大小（注意纵轴是对数刻度），c是clipping threshold：&/p&&br&&figure&&img src=&https://pic2.zhimg.com/v2-18d606c1b5dd77f64585_b.jpg& data-rawwidth=&723& data-rawheight=&546& class=&origin_image zh-lightbox-thumb& width=&723& data-original=&https://pic2.zhimg.com/v2-18d606c1b5dd77f64585_r.jpg&&&/figure&&br&&p&&b&说了这么多，gradient penalty到底是什么？&/b&&/p&&p&前面提到，Lipschitz限制是要求判别器的梯度不超过K，那我们何不直接设置一个额外的loss项来体现这一点呢？比如说： &/p&&p&&img src=&//www.zhihu.com/equation?tex=ReLU%5B+%7C%7C+%5Cnabla_x+D%28x%29+%7C%7C_p+-+K+%5D& alt=&ReLU[ || \nabla_x D(x) ||_p - K ]& eeimg=&1&&
（公式4）&/p&&p&不过，既然判别器希望尽可能拉大真假样本的分数差距，那自然是希望梯度越大越好，变化幅度越大越好，所以判别器在充分训练之后，其梯度norm其实就会是在K附近。知道了这一点，我们可以把上面的loss改成要求梯度norm离K越近越好，效果是类似的：&/p&&p&&img src=&//www.zhihu.com/equation?tex=+%5B+%7C%7C+%5Cnabla_x+D%28x%29+%7C%7C_p+-+K+%5D%5E2& alt=& [ || \nabla_x D(x) ||_p - K ]^2& eeimg=&1&&
（公式5）&/p&&p&究竟是公式4好还是公式5好，我看不出来，可能需要实验验证，反正论文作者选的是公式5。接着我们简单地把K定为1，再跟WGAN原来的判别器loss加权合并，就得到新的判别器loss：&/p&&p&&img src=&//www.zhihu.com/equation?tex=L%28D%29+%3D+-%5Cmathbb%7BE%7D_%7Bx%5Csim+P_r%7D%5BD%28x%29%5D+%2B+%5Cmathbb%7BE%7D_%7Bx%5Csim+P_g%7D%5BD%28x%29%5D+%2B+%5Clambda+%5Cmathbb%7BE%7D_%7Bx+%5Csim+%5Cmathcal%7BX%7D%7D+%5B+%7C%7C+%5Cnabla_x+D%28x%29+%7C%7C_p+-+1+%5D%5E2& alt=&L(D) = -\mathbb{E}_{x\sim P_r}[D(x)] + \mathbb{E}_{x\sim P_g}[D(x)] + \lambda \mathbb{E}_{x \sim \mathcal{X}} [ || \nabla_x D(x) ||_p - 1 ]^2& eeimg=&1&&
（公式6）&/p&&p&这就是所谓的gradient penalty了吗？还没完。公式6有两个问题，首先是loss函数中存在梯度项，那么优化这个loss岂不是要算梯度的梯度？一些读者可能对此存在疑惑，不过这属于实现上的问题，放到后面说。&/p&&p&其次，3个loss项都是期望的形式，落到实现上肯定得变成采样的形式。前面两个期望的采样我们都熟悉，第一个期望是从真样本集里面采，第二个期望是从生成器的噪声输入分布采样后，再由生成器映射到样本空间。可是第三个分布要求我们在整个样本空间 &img src=&//www.zhihu.com/equation?tex=%5Cmathcal%7BX%7D& alt=&\mathcal{X}& eeimg=&1&& 上采样，这完全不科学！由于所谓的维度灾难问题，如果要通过采样的方式在图片或自然语言这样的高维样本空间中估计期望值，所需样本量是指数级的，实际上没法做到。&/p&&p&所以，论文作者就非常机智地提出，我们其实没必要在整个样本空间上施加Lipschitz限制，只要重点抓住生成样本集中区域、真实样本集中区域以及夹在它们中间的区域就行了。具体来说，我们先随机采一对真假样本，还有一个0-1的随机数：&/p&&p&&img src=&//www.zhihu.com/equation?tex=x_r+%5Csim+P_r%2C+x_g+%5Csim+P_g%2C+%5Cepsilon+%5Csim+Uniform%5B0%2C+1%5D& alt=&x_r \sim P_r, x_g \sim P_g, \epsilon \sim Uniform[0, 1]& eeimg=&1&& （公式7）&/p&&p&然后在 &img src=&//www.zhihu.com/equation?tex=x_r& alt=&x_r& eeimg=&1&& 和 &img src=&//www.zhihu.com/equation?tex=x_g& alt=&x_g& eeimg=&1&& 的连线上随机插值采样：&/p&&p&&img src=&//www.zhihu.com/equation?tex=%5Chat+x+%3D+%5Cepsilon+x_r+%2B+%281+-+%5Cepsilon%29+x_g& alt=&\hat x = \epsilon x_r + (1 - \epsilon) x_g& eeimg=&1&&
（公式8）&/p&&p&把按照上述流程采样得到的 &img src=&//www.zhihu.com/equation?tex=%5Chat+x& alt=&\hat x& eeimg=&1&& 所满足的分布记为 &img src=&//www.zhihu.com/equation?tex=P_%7B%5Chat+x%7D& alt=&P_{\hat x}& eeimg=&1&& ，就得到最终版本的判别器loss：&/p&&p&&img src=&//www.zhihu.com/equation?tex=L%28D%29+%3D+-%5Cmathbb%7BE%7D_%7Bx%5Csim+P_r%7D%5BD%28x%29%5D+%2B+%5Cmathbb%7BE%7D_%7Bx%5Csim+P_g%7D%5BD%28x%29%5D+%2B+%5Clambda+%5Cmathbb%7BE%7D_%7Bx+%5Csim+%5Cmathcal%7BP_%7B%5Chat+x%7D%7D%7D+%5B+%7C%7C+%5Cnabla_x+D%28x%29+%7C%7C_p+-+1+%5D%5E2& alt=&L(D) = -\mathbb{E}_{x\sim P_r}[D(x)] + \mathbb{E}_{x\sim P_g}[D(x)] + \lambda \mathbb{E}_{x \sim \mathcal{P_{\hat x}}} [ || \nabla_x D(x) ||_p - 1 ]^2& eeimg=&1&&
（公式9）&/p&&p&&b&这就是新论文所采用的gradient penalty方法，相应的新WGAN模型简称为WGAN-GP。&/b&我们可以做一个对比：&/p&&ul&&li&weight clipping是对样本空间全局生效，但因为是间接限制判别器的梯度norm，会导致一不小心就梯度消失或者梯度爆炸；&/li&&li&gradient penalty只对真假样本集中区域、及其中间的过渡地带生效，但因为是直接把判别器的梯度norm限制在1附近，所以梯度可控性非常强，容易调整到合适的尺度大小。&/li&&/ul&&p&论文还讲了一些使用gradient penalty时需要注意的配套事项，这里只提一点：由于我们是对每个样本独立地施加梯度惩罚，所以判别器的模型架构中不能使用Batch Normalization，因为它会引入同个batch中不同样本的相互依赖关系。如果需要的话，可以选择其他normalization方法，如Layer Normalization、Weight Normalization和Instance Normalization，这些方法就不会引入样本之间的依赖。论文推荐的是Layer Normalization。&/p&&p&实验表明，gradient penalty能够显著提高训练速度，解决了原始WGAN收敛缓慢的问题：&/p&&br&&figure&&img src=&https://pic4.zhimg.com/v2-5b01ef93f60a14e7fa10dbea2b620627_b.jpg& data-rawwidth=&1255& data-rawheight=&479& class=&origin_image zh-lightbox-thumb& width=&1255& data-original=&https://pic4.zhimg.com/v2-5b01ef93f60a14e7fa10dbea2b620627_r.jpg&&&/figure&&br&&p&虽然还是比不过DCGAN，但是因为WGAN不存在平衡判别器与生成器的问题，所以会比DCGAN更稳定，还是很有优势的。不过，作者凭什么能这么说？因为下面的实验体现出，在各种不同的网络架构下，其他GAN变种能不能训练好，可以说是一件相当看人品的事情，但是WGAN-GP全都能够训练好，尤其是最下面一行所对应的101层残差神经网络：&/p&&br&&figure&&img src=&https://pic2.zhimg.com/v2-e0a3d86ccfa101a4d3fee1c0cef96a81_b.jpg& data-rawwidth=&835& data-rawheight=&1279& class=&origin_image zh-lightbox-thumb& width=&835& data-original=&https://pic2.zhimg.com/v2-e0a3d86ccfa101a4d3fee1c0cef96a81_r.jpg&&&/figure&&br&&p&&b&剩下的实验结果中，比较厉害的是第一次成功做到了“纯粹的”的文本GAN训练！&/b&我们知道在图像上训练GAN是不需要额外的有监督信息的，但是之前就没有人能够像训练图像GAN一样训练好一个文本GAN，要么依赖于预训练一个语言模型，要么就是利用已有的有监督ground truth提供指导信息。而现在WGAN-GP终于在无需任何有监督信息的情况下，生成出下图所示的英文字符序列：&/p&&br&&figure&&img src=&https://pic1.zhimg.com/v2-33c3af150f9bdd3cb700_b.jpg& data-rawwidth=&1056& data-rawheight=&769& class=&origin_image zh-lightbox-thumb& width=&1056& data-original=&https://pic1.zhimg.com/v2-33c3af150f9bdd3cb700_r.jpg&&&/figure&&br&&p&它是怎么做到的呢？我认为关键之处是对样本形式的更改。&b&以前我们一般会把文本这样的离散序列样本表示为sequence of index，但是它把文本表示成sequence of probability vector。&/b&对于生成样本来说，我们可以取网络softmax层输出的词典概率分布向量，作为序列中每一个位置的内容；而对于真实样本来说，每个probability vector实际上就蜕化为我们熟悉的onehot vector。&/p&&p&但是如果按照传统GAN的思路来分析，这不是作死吗？一边是hard onehot vector，另一边是soft probability vector，判别器一下子就能够区分它们，生成器还怎么学习？没关系，对于WGAN来说，真假样本好不好区分并不是问题，WGAN只是拉近两个分布之间的Wasserstein距离，就算是一边是hard onehot另一边是soft probability也可以拉近，在训练过程中，概率向量中的有些项可能会慢慢变成0.8、0.9到接近1，整个向量也会接近onehot，最后我们要真正输出sequence of index形式的样本时，只需要对这些概率向量取argmax得到最大概率的index就行了。&/p&&p&新的样本表示形式+WGAN的分布拉近能力是一个“黄金组合”，但除此之外，还有其他因素帮助论文作者跑出上图的效果，包括：&/p&&ul&&li&文本粒度为英文字符，而非英文单词，所以字典大小才二三十，大大减小了搜索空间&/li&&li&文本长度也才32&/li&&li&生成器用的不是常见的LSTM架构，而是多层反卷积网络，输入一个高斯噪声向量，直接一次性转换出所有32个字符&/li&&/ul&&p&上面第三点非常有趣，因为它让我联想到前段时间挺火的语言学科幻电影《降临》：&/p&&br&&figure&&img src=&https://pic4.zhimg.com/v2-be3b9c574b9c1b1ac05d0d462a04acd7_b.jpg& data-rawwidth=&1280& data-rawheight=&1998& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&https://pic4.zhimg.com/v2-be3b9c574b9c1b1ac05d0d462a04acd7_r.jpg&&&/figure&&br&&p&里面的外星人“七肢怪”所使用的语言跟人类不同，人类使用的是线性的、串行的语言，而“七肢怪”使用的是非线性的、并行的语言。“七肢怪”在跟主角交流的时候，都是一次性同时给出所有的语义单元的，所以说它们其实是一些多层反卷积网络进化出来的人工智能生命吗？&/p&&br&&figure&&img src=&https://pic3.zhimg.com/v2-f45cc71ad650dba_b.png& data-rawwidth=&2000& data-rawheight=&838& class=&origin_image zh-lightbox-thumb& width=&2000& data-original=&https://pic3.zhimg.com/v2-f45cc71ad650dba_r.png&&&/figure&&br&&figure&&img src=&https://pic1.zhimg.com/v2-1ff948ae23ed8c19bfb4bedf6f466744_b.jpg& data-rawwidth=&1622& data-rawheight=&690& class=&origin_image zh-lightbox-thumb& width=&1622& data-original=&https://pic1.zhimg.com/v2-1ff948ae23ed8c19bfb4bedf6f466744_r.jpg&&&/figure&&br&&p&开完脑洞，我们回过头看，不得不承认这个实验的setup实在过于简化了，能否扩展到更加实际的复杂场景，也会是一个问题。但是不管怎样，生成出来的结果仍然是突破性的。&/p&&p&&b&最后说回gradient penalty的实现问题。&/b&loss中本身包含梯度，优化loss就需要求梯度的梯度，这个功能并不是现在所有深度学习框架的标配功能，不过好在Tensorflow就有提供这个接口——tf.gradients。开头链接的GitHub源码中就是这么写的：&/p&&div class=&highlight&&&pre&&code class=&language-text&&# interpolates就是随机插值采样得到的图像，gradients就是loss中的梯度惩罚项
gradients = tf.gradients(Discriminator(interpolates), [interpolates])[0]
&/code&&/pre&&/div&&p&对于我这样的PyTorch党就非常不幸了，高阶梯度的功能还在开发，感兴趣的PyTorch党可以订阅这个GitHub的pull request：&a href=&//link.zhihu.com/?target=https%3A//github.com/pytorch/pytorch/pull/1016& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Autograd refactor&/a&，如果它被merged了话就可以在最新版中使用高阶梯度的功能实现gradient penalty了。
但是除了等待我们就没有别的办法了吗？&b&其实可能是有的，我想到了一种近似方法来实现gradient penalty，只需要把微分换成差分：&/b&&/p&&p&&img src=&//www.zhihu.com/equation?tex=L%28D%29+%3D+-%5Cmathbb%7BE%7D_%7Bx%5Csim+P_r%7D%5BD%28x%29%5D+%2B+%5Cmathbb%7BE%7D_%7Bx%5Csim+P_g%7D%5BD%28x%29%5D+%2B+%5Clambda+%5Cmathbb%7BE%7D_%7Bx_1+%5Csim+%5Cmathcal%7BP_%7B%5Chat+x%7D%7D%2C+%5C+x_2+%5Csim+%5Cmathcal%7BP_%7B%5Chat+x%7D%7D%7D+%5B+%5Cfrac%7B%7CD%28x_1%29+-D%28x_2%29%7C%7D%7B+%7C%7C+x_1+-+x_2+%7C%7C_p+%7D+-+1%5D%5E2& alt=&L(D) = -\mathbb{E}_{x\sim P_r}[D(x)] + \mathbb{E}_{x\sim P_g}[D(x)] + \lambda \mathbb{E}_{x_1 \sim \mathcal{P_{\hat x}}, \ x_2 \sim \mathcal{P_{\hat x}}} [ \frac{|D(x_1) -D(x_2)|}{ || x_1 - x_2 ||_p } - 1]^2& eeimg=&1&&
（公式10）&/p&&p&也就是说，我们仍然是在分布 &img src=&//www.zhihu.com/equation?tex=P_%7B%5Chat+x%7D& alt=&P_{\hat x}& eeimg=&1&& 上随机采样，但是一次采两个，然后要求它们的连线斜率要接近1，这样理论上也可以起到跟公式9一样的效果，我自己在MNIST+MLP上简单验证过有作用，PyTorch党甚至Tensorflow党都可以尝试用一下。&/p&
Wasserstein GAN最新进展：从weight clipping到gradient penalty，更加先进的Lipschitz限制手法前段时间，Wasserstein GAN以其精巧的理论分析、简单至极的算法实现、出色的实验效果，在GAN研究圈内掀起了一阵热潮（对WGAN不熟悉的读者，可以参考我之前写的…
&p&最近做了一个从传统GAN到improved WGAN的报告，把PPT贴上来吧，有需要的小伙伴可以参考一下。&/p&&p&论文主要涉及到17年的三篇文章：
&/p&&p&Arjovsky M, Bottou L. Towards Principled Methods for Training Generative Adversarial Networks[J]. 2017.&/p&&p&Arjovsky M, Chintala S, Bottou L. Wasserstein GAN[J]. 2017.&/p&&p&Gulrajani I, Ahmed F, Arjovsky M, et al. Improved Training of Wasserstein GANs[J]. 2017.&/p&&br&&figure&&img src=&https://pic1.zhimg.com/v2-616e3fbfbb9af31cf5c87c_b.png& data-rawwidth=&1145& data-rawheight=&645& class=&origin_image zh-lightbox-thumb& width=&1145& data-original=&https://pic1.zhimg.com/v2-616e3fbfbb9af31cf5c87c_r.png&&&/figure&&br&&figure&&img src=&https://pic2.zhimg.com/v2-afccd0b95c32b2c78aa9de5_b.png& data-rawwidth=&1145& data-rawheight=&640& class=&origin_image zh-lightbox-thumb& width=&1145& data-original=&https://pic2.zhimg.com/v2-afccd0b95c32b2c78aa9de5_r.png&&&/figure&&br&&figure&&img src=&https://pic1.zhimg.com/v2-2da6df559e9a62b01b1afd4_b.png& data-rawwidth=&1146& data-rawheight=&643& class=&origin_image zh-lightbox-thumb& width=&1146& data-original=&https://pic1.zhimg.com/v2-2da6df559e9a62b01b1afd4_r.png&&&/figure&&br&&figure&&img src=&https://pic1.zhimg.com/v2-649e4b17f0c9da69b13dff_b.png& data-rawwidth=&1144& data-rawheight=&640& class=&origin_image zh-lightbox-thumb& width=&1144& data-original=&https://pic1.zhimg.com/v2-649e4b17f0c9da69b13dff_r.png&&&/figure&&br&&figure&&img src=&https://pic1.zhimg.com/v2-efb9c226460_b.png& data-rawwidth=&1144& data-rawheight=&643& class=&origin_image zh-lightbox-thumb& width=&1144& data-original=&https://pic1.zhimg.com/v2-efb9c226460_r.png&&&/figure&&br&&figure&&img src=&https://pic2.zhimg.com/v2-29e96b3e4e1a28ca6cdecd8dd5669f65_b.png& data-rawwidth=&1141& data-rawheight=&640& class=&origin_image zh-lightbox-thumb& width=&1141& data-original=&https://pic2.zhimg.com/v2-29e96b3e4e1a28ca6cdecd8dd5669f65_r.png&&&/figure&&br&&figure&&img src=&https://pic3.zhimg.com/v2-55a01e38a2d_b.png& data-rawwidth=&1145& data-rawheight=&640& class=&origin_image zh-lightbox-thumb& width=&1145& data-original=&https://pic3.zhimg.com/v2-55a01e38a2d_r.png&&&/figure&&br&&figure&&img src=&https://pic1.zhimg.com/v2-3ecbfaf9dade0_b.png& data-rawwidth=&1144& data-rawheight=&642& class=&origin_image zh-lightbox-thumb& width=&1144& data-original=&https://pic1.zhimg.com/v2-3ecbfaf9dade0_r.png&&&/figure&&br&&figure&&img src=&https://pic1.zhimg.com/v2-46c9d1f110dd15f7f9dd0_b.png& data-rawwidth=&1141& data-rawheight=&640& class=&origin_image zh-lightbox-thumb& width=&1141& data-original=&https://pic1.zhimg.com/v2-46c9d1f110dd15f7f9dd0_r.png&&&/figure&&br&&figure&&img src=&https://pic4.zhimg.com/v2-c38f3e9347_b.png& data-rawwidth=&1146& data-rawheight=&645& class=&origin_image zh-lightbox-thumb& width=&1146& data-original=&https://pic4.zhimg.com/v2-c38f3e9347_r.png&&&/figure&&br&&figure&&img src=&https://pic1.zhimg.com/v2-02dfa6d6a5f2ed75af68_b.png& data-rawwidth=&1143& data-rawheight=&644& class=&origin_image zh-lightbox-thumb& width=&1143& data-original=&https://pic1.zhimg.com/v2-02dfa6d6a5f2ed75af68_r.png&&&/figure&&br&&figure&&img src=&https://pic1.zhimg.com/v2-49c26d029e2bd97b509dfe8_b.png& data-rawwidth=&1142& data-rawheight=&641& class=&origin_image zh-lightbox-thumb& width=&1142& data-original=&https://pic1.zhimg.com/v2-49c26d029e2bd97b509dfe8_r.png&&&/figure&&br&&figure&&img src=&https://pic4.zhimg.com/v2-09a5b9fadc913fdde17d7_b.png& data-rawwidth=&1145& data-rawheight=&643& class=&origin_image zh-lightbox-thumb& width=&1145& data-original=&https://pic4.zhimg.com/v2-09a5b9fadc913fdde17d7_r.png&&&/figure&&br&&figure&&img src=&https://pic4.zhimg.com/v2-8f4eefdea95bc1671383b_b.png& data-rawwidth=&1146& data-rawheight=&642& class=&origin_image zh-lightbox-thumb& width=&1146& data-original=&https://pic4.zhimg.com/v2-8f4eefdea95bc1671383b_r.png&&&/figure&&br&&figure&&img src=&https://pic3.zhimg.com/v2-1c4d5dc23d6_b.png& data-rawwidth=&1144& data-rawheight=&642& class=&origin_image zh-lightbox-thumb& width=&1144& data-original=&https://pic3.zhimg.com/v2-1c4d5dc23d6_r.png&&&/figure&&br&&figure&&img src=&https://pic4.zhimg.com/v2-97f4f4b83a577dd7a19eb_b.png& data-rawwidth=&1144& data-rawheight=&640& class=&origin_image zh-lightbox-thumb& width=&1144& data-original=&https://pic4.zhimg.com/v2-97f4f4b83a577dd7a19eb_r.png&&&/figure&&br&&figure&&img src=&https://pic3.zhimg.com/v2-f13aed78e90bf8f8bc78aa_b.png& data-rawwidth=&1146& data-rawheight=&641& class=&origin_image zh-lightbox-thumb& width=&1146& data-original=&https://pic3.zhimg.com/v2-f13aed78e90bf8f8bc78aa_r.png&&&/figure&&br&&figure&&img src=&https://pic3.zhimg.com/v2-df09e9f07b34d1cf2c69b66_b.png& data-rawwidth=&1144& data-rawheight=&644& class=&origin_image zh-lightbox-thumb& width=&1144& data-original=&https://pic3.zhimg.com/v2-df09e9f07b34d1cf2c69b66_r.png&&&/figure&&br&&figure&&img src=&https://pic4.zhimg.com/v2-8e5c2ffc9ca83e611c0a7f_b.png& data-rawwidth=&1143& data-rawheight=&643& class=&origin_image zh-lightbox-thumb& width=&1143& data-original=&https://pic4.zhimg.com/v2-8e5c2ffc9ca83e611c0a7f_r.png&&&/figure&&br&&figure&&img src=&https://pic2.zhimg.com/v2-653fd485c1d8e16a2be3c37d_b.png& data-rawwidth=&1143& data-rawheight=&646& class=&origin_image zh-lightbox-thumb& width=&1143& data-original=&https://pic2.zhimg.com/v2-653fd485c1d8e16a2be3c37d_r.png&&&/figure&&br&&figure&&img src=&https://pic2.zhimg.com/v2-2dc6ef50e5efe1c0c63eef1dc27f9621_b.png& data-rawwidth=&1144& data-rawheight=&640& class=&origin_image zh-lightbox-thumb& width=&1144& data-original=&https://pic2.zhimg.com/v2-2dc6ef50e5efe1c0c63eef1dc27f9621_r.png&&&/figure&&br&&figure&&img src=&https://pic2.zhimg.com/v2-3c443d5a2d0a2ae97cfcea_b.png& data-rawwidth=&1145& data-rawheight=&646& class=&origin_image zh-lightbox-thumb& width=&1145& data-original=&https://pic2.zhimg.com/v2-3c443d5a2d0a2ae97cfcea_r.png&&&/figure&&br&&figure&&img src=&https://pic2.zhimg.com/v2-ad1223a5bda2fa78d04e7c33d32016f1_b.png& data-rawwidth=&1145& data-rawheight=&643& class=&origin_image zh-lightbox-thumb& width=&1145& data-original=&https://pic2.zhimg.com/v2-ad1223a5bda2fa78d04e7c33d32016f1_r.png&&&/figure&&br&&figure&&img src=&https://pic4.zhimg.com/v2-d7b53eb222a8abf424f203_b.png& data-rawwidth=&1145& data-rawheight=&642& class=&origin_image zh-lightbox-thumb& width=&1145& data-original=&https://pic4.zhimg.com/v2-d7b53eb222a8abf424f203_r.png&&&/figure&&br&&figure&&img src=&https://pic4.zhimg.com/v2-f594ffc9b3a32d63b4c8f_b.png& data-rawwidth=&1141& data-rawheight=&644& class=&origin_image zh-lightbox-thumb& width=&1141& data-original=&https://pic4.zhimg.com/v2-f594ffc9b3a32d63b4c8f_r.png&&&/figure&&br&&figure&&img src=&https://pic1.zhimg.com/v2-8ade8eef389e412acdec8_b.png& data-rawwidth=&1149& data-rawheight=&645& class=&origin_image zh-lightbox-thumb& width=&1149& data-original=&https://pic1.zhimg.com/v2-8ade8eef389e412acdec8_r.png&&&/figure&&p&在做报告的过程中，有参考网上的一些博客，特别是中山大学的郑华滨的博文给了很大的帮助。&/p&
最近做了一个从传统GAN到improved WGAN的报告，把PPT贴上来吧，有需要的小伙伴可以参考一下。论文主要涉及到17年的三篇文章： Arjovsky M, Bottou L. Towards Principled Methods for Training Generative Adversarial Networks[J]. 2017.Arjovsky M, Chint…
&figure&&img src=&https://pic3.zhimg.com/v2-1f39f47bde0b74cee1de2b_b.jpg& data-rawwidth=&900& data-rawheight=&495& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&https://pic3.zhimg.com/v2-1f39f47bde0b74cee1de2b_r.jpg&&&/figure&自从Goodfellow2014年提出这个想法之后，生成对抗网络（GAN）就成了深度学习领域内最火的一个概念，包括LeCun在内的许多学者都认为，GAN的出现将会大大推进AI向无监督学习发展的进程。&br&&br&于是，研究GAN就成了学术圈里的一股风潮，几乎每周，都有关于GAN的全新论文发表。而学者们不仅热衷于研究GAN，还热衷于给自己研究的GAN起名，比如什么3D-GAN、BEGAN、iGAN、S?GAN……千奇百怪、应有尽有。今天，量子位决定带大家逛逛GANs的动物园，看看目前世界上到底存活着多少GAN。&p&以下搬运自GAN Zoo：&a href=&https://link.zhihu.com/?target=https%3A//github.com/hindupuravinash/the-gan-zoo& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hindupuravinash/the-gan-zoo&/a&&br&&/p&&ul&&li&GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Generative Adversarial Networks&/a&&/li&&li&3D-GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling&/a&&/li&&li&AdaGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&AdaGAN: Boosting Generative Models&/a&&/li&&li&AffGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Amortised MAP Inference for Image Super-resolution&/a&&/li&&li&ALI — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Adversarially Learned Inference&/a&&/li&&li&AMGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Generative Adversarial Nets with Labeled Data by Activation Maximization&/a&&/li&&li&AnoGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery&/a&&/li&&li&ArtGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ArtGAN: Artwork Synthesis with Conditional Categorial GANs&/a&&/li&&li&b-GAN — &a href=&https://link.zhihu.com/?target=https%3A//openreview.net/pdf%3Fid%3DS1JG13oee& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&b-GAN: Unified Framework of Generative Adversarial Networks&/a&&/li&&li&Bayesian GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep and Hierarchical Implicit Models&/a&&/li&&li&BEGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&BEGAN: Boundary Equilibrium Generative Adversarial Networks&/a&&/li&&li&BiGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v7& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Adversarial Feature Learning&/a&&/li&&li&BS-GAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Boundary-Seeking Generative Adversarial Networks&/a&&/li&&li&CGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Towards Diverse and Natural Image Descriptions via a Conditional GAN&/a&&/li&&li&CCGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Semi-Supervised Learning with Context-Conditional Generative Adversarial Networks&/a&&/li&&li&CatGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks&/a&&/li&&li&CoGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Coupled Generative Adversarial Networks&/a&&/li&&li&Context-RNN-GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Contextual RNN-GANs for Abstract Reasoning Diagram Generation&/a&&/li&&li&C-RNN-GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&C-RNN-GAN: Continuous recurrent neural networks with adversarial training&/a&&/li&&li&CVAE-GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CVAE-GAN: Fine-Grained Image Generation through Asymmetric Training&/a&&/li&&li&CycleGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks&/a&&/li&&li&DTN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Unsupervised Cross-Domain Image Generation&/a&&/li&&li&DCGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks&/a&&/li&&li&DiscoGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Learning to Discover Cross-Domain Relations with Generative Adversarial Networks&/a&&/li&&li&DualGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&DualGAN: Unsupervised Dual Learning for Image-to-Image Translation&/a&&/li&&li&EBGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v4& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Energy-based Generative Adversarial Network&/a&&/li&&li&f-GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization&/a&&/li&&li&GoGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Gang of GANs: Generative Adversarial Networks with Maximum Margin Ranking&/a&&/li&&li&GP-GAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&GP-GAN: Towards Realistic High-Resolution Image Blending&/a&&/li&&li&IAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Neural Photo Editing with Introspective Adversarial Networks&/a&&/li&&li&iGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/v2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Generative Visual Manipulation on the Natural Image Manifold&/a&&/li&&li&IcGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Invertible Conditional GANs for image editing&/a&&/li&&li&ID-CGAN- &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v3& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Image De-raining Using a Conditional Generative Adversarial Network&/a&&/li&&li&Improved GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Improved Techniques for Training GANs&/a&&/li&&li&InfoGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets&/a&&/li&&li&LR-GAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&LR-GAN: Layered Recursive Generative Adversarial Networks for Image Generation&/a&&/li&&li&LSGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v3& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Least Squares Generative Adversarial Networks&/a&&/li&&li&LS-GAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v5& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Loss-Sensitive Generative Adversarial Networks on Lipschitz Densities&/a&&/li&&li&MGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks&/a&&/li&&li&MAGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&MAGAN: Margin Adaptation for Generative Adversarial Networks&/a&&/li&&li&MalGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN&/a&&/li&&li&MARTA-GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Unsupervised Representation Learning for Remote Sensing Images&/a&&/li&&li&McGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&McGan: Mean and Covariance Feature Matching GAN&/a&&/li&&li&MedGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Generating Multi-label Discrete Electronic Health Records using Generative Adversarial Networks&/a&&/li&&li&MIX+GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/v3& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Generalization and Equilibrium in Generative Adversarial Nets (GANs)&/a&&/li&&li&MPM-GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Message Passing Multi-Agent GANs&/a&&/li&&li&MV-BiGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Multi-view Generative Adversarial Networks&/a&&/li&&li&pix2pix — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Image-to-Image Translation with Conditional Adversarial Networks&/a&&/li&&li&PPGN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space&/a&&/li&&li&PrGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&3D Shape Induction from 2D Views of Multiple Objects&/a&&/li&&li&RenderGAN — &a href=&https://link.zhihu.com/?target=https%3A//github.com/hindupuravinash/the-gan-zoo/blob/master& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&RenderGAN: Generating Realistic Labeled Data&/a&&/li&&li&RTT-GAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Recurrent Topic-Transition GAN for Visual Paragraph Generation&/a&&/li&&li&SGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v4& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Stacked Generative Adversarial Networks&/a&&/li&&li&SGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Texture Synthesis with Spatial Generative Adversarial Networks&/a&&/li&&li&SAD-GAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SAD-GAN: Synthetic Autonomous Driving using Generative Adversarial Networks&/a&&/li&&li&SalGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SalGAN: Visual Saliency Prediction with Generative Adversarial Networks&/a&&/li&&li&SEGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SEGAN: Speech Enhancement Generative Adversarial Network&/a&&/li&&li&SeqGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v5& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient&/a&&/li&&li&SketchGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Adversarial Training For Sketch Retrieval&/a&&/li&&li&SL-GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Semi-Latent GAN: Learning to generate and modify facial images from attributes&/a&&/li&&li&SRGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v3& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network&/a&&/li&&li&S?GAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Generative Image Modeling using Style and Structure Adversarial Networks&/a&&/li&&li&SSL-GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Semi-Supervised Learning with Context-Conditional Generative Adversarial Networks&/a&&/li&&li&StackGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks&/a&&/li&&li&TGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Temporal Generative Adversarial Nets&/a&&/li&&li&TAC-GAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&TAC-GAN — Text Conditioned Auxiliary Classifier Generative Adversarial Network&/a&&/li&&li&TP-GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis&/a&&/li&&li&Triple-GAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Triple Generative Adversarial Nets&/a&&/li&&li&VGAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Generative Adversarial Networks as Variational Training of Energy Based Models&/a&&/li&&li&VAE-GAN — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Autoencoding beyond pixels using a learned similarity metric&/a&&/li&&li&ViGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Image Generation and Editing with Variational Info Generative AdversarialNetworks&/a&&/li&&li&WGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Wasserstein GAN&/a&&/li&&li&WGAN-GP — &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Improved Training of Wasserstein GANs&/a&&/li&&li&WaterGAN — &a href=&https://link.zhihu.com/?target=http%3A//arxiv.org/abs/v1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&WaterGAN: Unsupervised Generative Network to Enable Real-time Color Correction of Monocular Underwater Images&/a&&/li&&/ul&&p&量子位更新：&/p&&ul&&li&Geometric GAN - &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&[] Geometric GAN&/a&&br&&/li&&li&CaloGAN(高能物理也用上GAN了)- &a href=&https://link.zhihu.com/?target=https%3A//github.com/hep-lbdl/CaloGAN& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hep-lbdl/CaloGAN&/a&&br&&/li&&li&α-GAN - &a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&arxiv.org/pdf/&/span&&span class=&invisible&&7.pdf&/span&&span class=&ellipsis&&&/span&&/a&（DeepMind的大神们吐槽说，GAN太多拉丁字母不够用了）&/li&&/ul&&br&&p&==========&br&&/p&&p&欢迎关注我们的微信公众号：量子位（QbitAI）。&/p&&p&再说两件小事&/p&&p&&b&1. 我们在招聘&/b&&/p&&p&我们正在招募编辑记者、运营等岗位，工作地点在北京中关村，期待你的到来，一起体验人工智能的风起云涌。&/p&&p&相关细节，请在公众号对话界面，回复：“招聘”两个字。&/p&&p&&b&2. 我们有个群，欢迎加入&/b&&/p&&p&我们有一个为机器学习入门者准备的群，欢迎加小助手的微信：qbitbot，注明“加入门群”并做个自我介绍，合适的小助手会拉你进群。&/p&
自从Goodfellow2014年提出这个想法之后，生成对抗网络（GAN）就成了深度学习领域内最火的一个概念，包括LeCun在内的许多学者都认为，GAN的出现将会大大推进AI向无监督学习发展的进程。 于是，研究GAN就成了学术圈里的一股风潮，几乎每周，都有关于GAN的全新…
本篇文章是集智学园小仙女所写的干货，主要介绍了有关GAN的基础知识以及GAN的一些基础应用。下面是正文部分。&br&&br&GAN全称是Generative Adversarial Nets，中文叫做“生成对抗网络”。自首次提出以来，GAN在深度学习领域一直备受关注，Facebook的AI领头人Yann LeCun更是表示GAN是近十年来机器学习领域最有趣的想法。那么GAN究竟有多强大哪？它是否真正值得我们学习嘞？别着急，且看本文为你细细道来～&br&&br&&h2&&b&GAN能干啥？&/b&&/h2&&br&话不多说，先让我们看看GAN到底能干啥。&br&GAN能把油画变为现实。对，如果你已经厌倦了像Prisma那样的风格转换APP，那么可以来看看GAN能实现什么吧。相比于Prisma，GAN反其道而行之，可以将古代油画中的场景转化为“现实”，让你亲眼见到100年前莫奈所面对的场景。&br&&figure&&img src=&https://pic1.zhimg.com/v2-3d99f7a44c091c69d938a0_b.jpg& data-rawwidth=&881& data-rawheight=&704& class=&origin_image zh-lightbox-thumb& width=&881& data-original=&https://pic1.zhimg.com/v2-3d99f7a44c091c69d938a0_r.jpg&&&/figure&&br&GAN可以把白天变为黑夜。它可以根据白天的照片，生成同一场景晚间的照片。&br&&figure&&img src=&https://pic1.zhimg.com/v2-75d04eb3bb2e_b.jpg& data-rawwidth=&1065& data-rawheight=&759& class=&origin_image zh-lightbox-thumb& width=&1065& data-original=&https://pic1.zhimg.com/v2-75d04eb3bb2e_r.jpg&&&/figure&&br&GAN还可以把夏天变为冬天。&br&&figure&&img src=&https://pic2.zhimg.com/v2-6dbe3a19eaca21d6bab2d19cbdf28935_b.jpg& data-rawwidth=&964& data-rawheight=&655& class=&origin_image zh-lightbox-thumb& width=&964& data-original=&https://pic2.zhimg.com/v2-6dbe3a19eaca21d6bab2d19cbdf28935_r.jpg&&&/figure&&br&GAN还可以把涂鸦变为实物。以后你的女朋友不用再说“老公～我想买个包”了，只需要说“老公，我画个包你帮我买好不好”。&br&&figure&&img src=&https://pic2.zhimg.com/v2-547d29f7aa5cccf827889_b.jpg& data-rawwidth=&970& data-rawheight=&447& class=&origin_image zh-lightbox-thumb& width=&970& data-original=&https://pic2.zhimg.com/v2-547d29f7aa5cccf827889_r.jpg&&&/figure&&br&&br&好吧，如果你并没有女朋友，那就用GAN生成一个二次元女朋友吧！她可以随意变成你想要的样子哦！&br&&figure&&img src=&https://pic4.zhimg.com/v2-e842efdf98e279e3c40b_b.jpg& data-rawwidth=&725& data-rawheight=&583& class=&origin_image zh-lightbox-thumb& width=&725& data-original=&https://pic4.zhimg.com/v2-e842efdf98e279e3c40b_r.jpg&&&/figure&&br&&br&你已经被GAN感动的泪流满面了不是？快擦干眼泪笑一个～你不笑，GAN也会让你笑。&br&&figure&&img src=&https://pic1.zhimg.com/v2-5a908dfb9bc47c9dd298138_b.jpg& data-rawwidth=&920& data-rawheight=&1041& class=&origin_image zh-lightbox-thumb& width=&920& data-original=&https://pic1.zhimg.com/v2-5a908dfb9bc47c9dd298138_r.jpg&&&/figure&&br&笑一笑十年少，经常微笑可以让我们保持年轻，但是如果你好奇自己年老时的样子，GAN也可以满足你。&br&&figure&&img src=&https://pic1.zhimg.com/v2-24a06b944c890cb380dd34_b.jpg& data-rawwidth=&619& data-rawheight=&396& class=&origin_image zh-lightbox-thumb& width=&619& data-original=&https://pic1.zhimg.com/v2-24a06b944c890cb380dd34_r.jpg&&&/figure&&br&怎么样，有没有被GAN的强悍能力震慑到，快！吃个苹果压压惊。啥？GAN连苹果都没有放过？把苹果转都换成了橙子！&br&&figure&&img src=&https://pic3.zhimg.com/v2-e5d6736ace4dc8c8cda2_b.jpg& data-rawwidth=&583& data-rawheight=&472& class=&origin_image zh-lightbox-thumb& width=&583& data-original=&https://pic3.zhimg.com/v2-e5d6736ace4dc8c8cda2_r.jpg&&&/figure&&br&好吧，橙子和苹果我都不吃了。&br&话说回来，写文案真是累，尤其是要在网上搜集各种图片，要是有个工具，能直接通过我的描述，自动生成我想要的图片就好了。啥？GAN已经实现了！？&br&&figure&&img src=&https://pic1.zhimg.com/v2-7df1cc8ff6e87a32a69e44_b.jpg& data-rawwidth=&1006& data-rawheight=&262& class=&origin_image zh-lightbox-thumb& width=&1006& data-original=&https://pic1.zhimg.com/v2-7df1cc8ff6e87a32a69e44_r.jpg&&&/figure&&br&好吧……GAN你赢了，我给您跪了。&br&&figure&&img src=&https://pic1.zhimg.com/v2-ab1edcd3f64_b.jpg& data-rawwidth=&687& data-rawheight=&685& class=&origin_image zh-lightbox-thumb& width=&687& data-original=&https://pic1.zhimg.com/v2-ab1edcd3f64_r.jpg&&&/figure&&br&那么，为啥子要学GAN？&br&&figure&&img src=&https://pic1.zhimg.com/v2-f0de96ac60dd0edfdd0e8_b.png& data-rawwidth=&1920& data-rawheight=&618& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&https://pic1.zhimg.com/v2-f0de96ac60dd0edfdd0e8_r.jpg&&&/figure&&br&&i&因为AI大神说：要有GAN！&/i&&br&&i&所以我们一！定！要！学！习！GAN！&/i&&br&那么……&br&&h2&GAN到底是个啥？&/h2&&br&简单的讲GAN其实就是两个神经网络的组合，其中一个负责“造假”，另一个负责“鉴别”。造假者根据需求生成图片（比如“二次元妹子图片“），鉴别者鉴别图片是真的（本来就存在的，比如动漫里的妹子图片）还是造假者生成的（”这图片扭曲了，根本不像妹子，一定是造假者生成的“），两者在对抗中学习，都会变的更强，最终达到造假者可以强大到生成”近似真实的图片“，以蒙骗强大的鉴别者（”这图片好萌啊，一定是真的“），从而满足生成需求的效果。&br&&br&下面我们借用网友网小鱼的学习笔记（点击阅读原文），来详细说明GAN的工作原理。&br&GAN全称是Generative Adversarial Nets，中文叫做“生成对抗网络”。&br&在GAN中有2个网络，一个网络用于生成数据，叫做“生成器”。另一个网络用于判别生成数据是否接近于真实，叫做“判别器”。 &br&下图展示了最简单的GAN的结构以及工作原理。&br&&figure&&img src=&https://pic1.zhimg.com/v2-ea04bff766d8cd225e5dc_b.png& data-rawwidth=&1730& data-rawheight=&774& class=&origin_image zh-lightbox-thumb& width=&1730& data-original=&https://pic1.zhimg.com/v2-ea04bff766d8cd225e5dc_r.jpg&&&/figure&&br&&figure&&img src=&https://pic4.zhimg.com/v2-baffac0a57673a0aad6ecebda7e5d437_b.png& data-rawwidth=&1730& data-rawheight=&773& class=&origin_image zh-lightbox-thumb& width=&1730& data-original=&https://pic4.zhimg.com/v2-baffac0a57673a0aad6ecebda7e5d437_r.jpg&&&/figure&&figure&&img src=&https://pic2.zhimg.com/v2-cd10cfb30b072a1d6c61a3cb6a3dd695_b.png& data-rawwidth=&1730& data-rawheight=&791& class=&origin_image zh-lightbox-thumb& width=&1730& data-original=&https://pic2.zhimg.com/v2-cd10cfb30b072a1d6c61a3cb6a3dd695_r.jpg&&&/figure&&figure&&img src=&https://pic3.zhimg.com/v2-2cac9a27ce33bfc7032716_b.png& data-rawwidth=&1730& data-rawheight=&723& class=&origin_image zh-lightbox-thumb& width=&1730& data-original=&https://pic3.zhimg.com/v2-2cac9a27ce33bfc7032716_r.jpg&&&/figure&&figure&&img src=&https://pic2.zhimg.com/v2-ad18d3d913ac67fa4faea6d_b.png& data-rawwidth=&1730& data-rawheight=&615& class=&origin_image zh-lightbox-thumb& width=&1730& data-original=&https://pic2.zhimg.com/v2-ad18d3d913ac67fa4faea6d_r.jpg&&&/figure&&br&&br&&br&&br&读到这里，恭喜你！你已经掌握了GAN的基础原理了。但是注意哦！只是了解基础GAN的原理是远远不够的，在近两年的发展中，GAN已经得到了各种改进，其中有DCGAN，WGAN，DualGAN，Co-GAN，Conditional GAN，CycleGAN等等各种变种GAN，更强大！更有趣！&br&如果你不想在AI时代只做一个旁观者，如果你不想让自己止步于对GAN的粗浅了解，那么你必须继续学习GAN！&br&那要到哪里去学习GAN嘞？&br&&a href=&http://link.zhihu.com/?target=http%3A//campus.swarma.org/gpac%3D8%23src%3D2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&集智AI学园《深入浅出GAN》系列课程&/a&全面更新，深入浅出，让你循序渐进的掌握GAN的前沿技术！
本篇文章是集智学园小仙女所写的干货，主要介绍了有关GAN的基础知识以及GAN的一些基础应用。下面是正文部分。 GAN全称是Generative Adversarial Nets，中文叫做“生成对抗网络”。自首次提出以来，GAN在深度学习领域一直备受关注，Facebook的AI领头人Yann L…
&figure&&img src=&https://pic2.zhimg.com/v2-516e6fdb03_b.jpg& data-rawwidth=&1920& data-rawheight=&618& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&https://pic2.zhimg.com/v2-516e6fdb03_r.jpg&&&/figure&&h2&1 前言&/h2&&p&GAN的火爆想必大家都很清楚了，各种GAN像雨后春笋一样冒出来，大家也都可以名正言顺的说脏话了[微笑脸]。虽然目前GAN的酷炫应用还集中在图像生成上，但是GAN也已经拓展到NLP，Robot Learning上了。与此同时，在与NLP的结合过程中，我们很惊讶的发现，GAN和增强学习的Actor-Critic有曲艺同工之妙呀！Deepmind 的大神Oriol Vinyals也特地写了篇文章&a href=&http://link.zhihu.com/?target=https%3A//arxiv.org/pdf/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Connecting Generative Adversarial Networks and Actor-Critic Methods&/a& 来倡议大家研究一下两者的结合。这大大引起了我对GAN的兴趣，感觉条条大路通AI呀。GAN和RL有点像当年的量子力学和相对论，那么是不是会有一个GAN和RL的统一场论呢？这显然值得期待。&/p&&p&因此，好好从头分析一下GAN还是很有必要的。&/p&&h2&2 Generative Adversarial Nets&/h2&&p&既然是从头开始GAN，那么要说的第一篇文章必须是GAN的开篇，也就是2014年Ian Goodfellow的这篇开山之作。&/p&&p&在这篇paper，我们发现其实Ian Goodfellow仅用一段话就说完了GAN：&/p&&p&&br&&/p&&figure&&img src=&https://pic3.zhimg.com/v2-ab5be1fb26c59ea3df24ba_b.jpg& data-rawwidth=&1616& data-rawheight=&471& class=&origin_image zh-lightbox-thumb& width=&1616& data-original=&https://pic3.zhimg.com/v2-ab5be1fb26c59ea3df24ba_r.jpg&&&/figure&&p&简单的说GAN就是以下三点：&/p&&p&（1）构建两个网络，一个G生成网络，一个D区分网络。两个网络的网络结构随意就好.&/p&&p&（2）训练方式。G网络的loss是&img src=&http://www.zhihu.com/equation?tex=log%281-D%28G%28z%29%29& alt=&log(1-D(G(z))& eeimg=&1&&，而D的loss是&img src=&http://www.zhihu.com/equation?tex=-%28log%28D%28x%29%29+%2B+log%281-D%28G%28z%29%29%29& alt=&-(log(D(x)) + log(1-D(G(z)))& eeimg=&1&& 注意这里并不是Cross Entropy。&/p&&p&（3）数据输入。G网络的输入是noise。而D的输入则混合G的输出数据及样本数据。&/p&&p&那么我们来分析一下这样的训练会产生什么情况？G网络的训练是希望&img src=&http://www.zhihu.com/equation?tex=D%28G%28z%29%29& alt=&D(G(z))& eeimg=&1&&趋近于1，这样G的loss就会最小。而D网络的训练就是一个2分类，目标是分清楚真实数据和生成数据，也就是希望真实数据的D输出趋近于1，而生成数据的输出即&img src=&http://www.zhihu.com/equation?tex=D%28G%28z%29%29& alt=&D(G(z))& eeimg=&1&&趋近于0。OK，这就是GAN两个网络相互对抗的本质。&/p&&p&那么，这样相互对抗会产生怎样的效果呢？Ian Goodfellow用一个简单的图来描述：&/p&&figure&&img src=&https://pic3.zhimg.com/v2-aab535a56ee0fabaa3d52998d1baf616_b.png& data-rawwidth=&1628& data-rawh