生成对抗网络（GANs）：从基础到前沿架构
1. 训练GANs的难点
在GAN的训练过程中，生成器和判别器处于一场零和博弈中，不断试图胜过对方。随着训练的推进，这场博弈可能会达到博弈论中的纳什均衡状态。在纳什均衡下，假设其他玩家策略不变，任何一个玩家改变自己的策略都不会获得更好的结果。例如，当所有人都靠道路左侧行驶时就达到了一种纳什均衡，因为此时没有司机会因为单独改变行驶方向而受益。当然，所有人都靠右侧行驶也是一种纳什均衡。不同的初始状态和动态过程可能导致不同的均衡结果。
对于GAN而言，理论上只有一种纳什均衡状态，即生成器生成出完全逼真的图像，判别器只能随机猜测（50%为真，50%为假）。然而，实际中并不能保证一定能达到这种均衡。
GAN训练中最大的难题之一是模式崩溃，即生成器的输出多样性逐渐降低。例如，若生成器在生成鞋子图像方面表现出色，它会更多地生成鞋子图像来欺骗判别器，逐渐就会忘记如何生成其他类别的图像。同时，判别器看到的假图像只有鞋子，也会忘记如何判别其他类别的假图像。最终当判别器能够区分真假鞋子时，生成器又会转向另一个类别。如此循环，GAN可能在几个类别之间不断切换，却无法在任何一个类别上表现出色。
此外，由于生成器和判别器相互对抗，它们的参数可能会出现振荡，导致训练不稳定。训练可能一开始正常，但突然就会毫无征兆地发散。而且，GAN对超参数非常敏感，需要进行大量的调优工作。
为解决这些问题，研究人员提出了一些方法：
-经验回放：将生成器每次迭代产生的图像存储在回放缓冲区中（逐渐丢弃旧的生成图像），使用真实图像和从缓冲区中抽取的假图像来训练判别器，这样可以降低判别器对最新生成器输
