深度强化学习在游戏中的应用与挑战
1. 引言
在当今游戏开发领域，深度学习（DL）和深度强化学习（DRL）正逐渐崭露头角。我们不禁要问，这些技术是已经准备好应用于主流商业游戏，还是仅仅只是新奇的概念？几年后，我们是否会看到DRL智能体在所有可想象的游戏中击败人类玩家？目前来看，情况还不明朗，且变化迅速。但核心问题是：DL是否适合你的游戏？接下来，我们将深入探讨这个问题。
2. Unity障碍塔挑战
2019年2月推出的Unity障碍塔挑战，是一个离散视觉学习问题，这对于游戏、机器人技术和其他模拟领域而言是一个关键挑战。该挑战要求参与者从头编写自己的Python代码来控制游戏，而不是依赖于ML - Agents。在开发时，使用的ML - Agents版本为0.6。
在视觉学习环境中，使用离散动作空间时，会遇到梯度消失或爆炸的问题。这会导致智能体几乎学不到任何东西，只能执行随机动作，而且往往需要几十万次迭代才能观察到这种情况。不过，在使用向量观测的较小状态空间环境中，这个问题并不明显。所以，就目前而言，Unity代码在处理离散动作的视觉学习方面表现不佳。
当前，Google DeepMind的Rainbow算法在这个挑战中处于领先地位。Rainbow算法是多种不同DRL算法和技术的融合，能更好地学习离散动作视觉学习空间。
要参与这个挑战，可以按照以下步骤操作：
1. 从 https://github.com/Unity - Technolog
