世界模型和VLA学习记录-小白（探索学习中并会持续更新，VLA未开始学）

前言：作为智能驾驶领域的感知测试人员目前只接触到了感知评测，方案是传统的感知-预测-规划-控制模式。现在随着AI大模型的发展，个人认为智驾未来的发展方向是端到端大模型，并且我对世界模型和VLA比较感兴趣，因此写这篇笔记去记录学习过程。

世界模型

1. 了解发展过程

世界模型 (World Models) 必读论文_世界模型论文-CSDN博客

1.1 阅读RNN规划的奠基性论文

Jürgen Schmidhuber在1990年发表的技术报告《Making the World Differentiable: On Using Self-Supervised Fully Recurrent Neural Networks for Dynamic Reinforcement Learning and Planning in Non-Stationary Environments》（简称FKI-126-90报告）

1.2 阅读Sutton (1990) - Dyna架构

论文笔记：Dyna, an Integrated Architecture for Learning, Planning, and Reacting_dyna论文详解-CSDN博客

1.3 阅读《World Models》 (Ha & Schmidhuber, 2018）

论文阅读_世界模型_world model论文-CSDN博客

1.4 阅读PlaNet (Hafner et al., 2018)

强化学习论文(5): Learning Latent Dynamics for Planning from Pixels-CSDN博客

【论文笔记】Learning Latent Dynamics for Planning from Pixels-CSDN博客

1.5 阅读Dreamer系列

Mastering diverse control tasks through world models（论文精读）-CSDN博客

1.6 阅读MuZero (DeepMind, 2020)

‌《Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model》

https://zhuanlan.zhihu.com/p/22069559018

1.7 阅读LeCun的白皮书 (2022)

A Path Towards Autonomous Machine Intelligence Version（文章精读）-CSDN博客

1.8 阅读V-JEPA (Meta, 2024)

JEPA-VLA：视频预测嵌入如何革新机器人视觉-语言-动作模型_vla-jepa模型论文-CSDN博客

V-JEPA1论文下载链接：[2404.08471] Revisiting Feature Prediction for Learning Visual Representations from Video

V-JEPA2论文下载链接：https://ai.meta.com/research/publications/v-jepa-2-self-supervised-video-models-enable-understanding-prediction-and-planning/