复旦贾萧松:VLA、WAM新架构层出不穷,但真正的瓶颈不在模型架构 | 世界模型50人
严骏驰一通电话,贾萧松五年几次转向。 作者:李秋悦 编辑:吴彤
两年前,贾萧松在交大致远学院读大三,参加了加州大学伯克利分校的一个暑研项目,在控制理论学者富塚城义(Masayoshi Tomizuka)团队做研究,从车辆交互与轨迹预测入门自动驾驶领域。贾萧松想继续做老本行的打算,本无可厚非。
但严骏驰建议贾萧松换一条路,理由是预测夹在感知与决策之间,上下游都受限制,不如做端到端。
彼时的贾萧松也意识到了轨迹预测研究的尴尬之处,能改进的空间很有限,更多的是小修小补。于是,他在严骏驰和上海人工智能实验室OpenDriveLab创始人李弘扬的指导下,开始研究端到端自动驾驶。
三年后,贾萧松和合作者们研究的Think2Drive在ECCV上一经发表,就引人瞩目。
当时,强化学习在复杂驾驶环境中往往需要极其昂贵的交互成本。Think2Drive让模型在低维潜在空间里模拟交互,大幅降低了策略训练成本。他们在一张NVIDIA A6000 GPU上,用三天左右的时间,就训练出能够完成CARLA Leaderboard 2.0复杂驾驶任务的策略。
从传统模块化到端到端,从模仿学习到强化学习,再到世界模型,贾萧松的研究经历恰好穿过了自动驾驶过去几年几次重要的技术路线变化。这些研究并非由他一个人推动,也不是整个行业在同一时间完成的线性转向。 但他的亲历提供了一个观察技术演进的视角:每一次转向发生时,旧方法究竟遇到了什么问题,又为什么需要下一种解法?
如今,贾萧松在复旦大学可信具身智能研究院担任助理教授,研究灵巧手与Ego数据。而自动驾驶过去几年遇到的问题,正在具身智能领域以不同形式重新出现。
左林右狸频道:怎么理解当时严骏驰老师关于“研究轨迹预测会受到上下游限制”的判断?
左林右狸频道:2021年,端到端还不是行业普遍采用的方案。严骏驰和李弘扬为什么看好这条路线?你不担心做不出来吗?
左林右狸频道:传统模块化系统的感知、预测和决策都在不断进步,为什么把几个优秀的模块组合起来,整体效果却不一定好?
左林右狸频道:但你们2022年做TCP时,仍然保留了轨迹和控制两个分支。这是否意味着,端到端也不能完全抛弃中间任务?
左林右狸频道:你刚才提到,端到端并不意味着完全取消中间任务。那在实际落地时,神经网络的决策还需要人工规则来约束吗?
左林右狸频道:2022年前后,你做完ThinkTwice,开始认为模仿学习存在上限。是什么实验让你改变了判断?
左林右狸频道:但这真的能说明是模仿学习的问题吗?有没有可能只是数据质量不够好,或者模型还不够大?
左林右狸频道:模仿学习存在这些局限,为什么你认为强化学习可能让模型获得更好的驾驶能力?
左林右狸频道:2023年,你为什么想到把世界模型引入自动驾驶强化学习?当时最想解决什么问题?
左林右狸频道:Think2Drive没有生成真实的驾驶视频,而是选择了隐空间世界模型。不生成真实画面,怎么判断它学到的世界规律是正确的?
左林右狸频道:后来你们做交互式生成仿真Bench2Drive-R,为什么强调交互式视频生成?
左林右狸频道:Bench2Drive-R,为什么还要把行为世界模型和渲染世界模型分开?
左林右狸频道:从Think2Drive到Bench2Drive-R,你对世界模型的理解发生了什么变化?
左林右狸频道:现在自动驾驶又出现了VLA、WAM等新的模型架构。你却认为神经网络结构可能已经不是最重要的瓶颈,为什么?
左林右狸频道:但具身智能现在仍然在大量采集示范数据、Scaling模仿学习。这是不是意味着,它也会遇到自动驾驶曾经的瓶颈?
左林右狸频道:如果模仿学习最终都会遇到瓶颈,那自动驾驶和具身智能在强化学习上,又面临哪些相似的问题?
左林右狸频道:具身智能当前还缺乏足够的真实操作数据。但人类视频终究不是机器人自己的操作经验。机器人未来真正的数据来源,会不会是它进入现实世界之后产生的交互数据?
左林右狸频道:既然如此,自动驾驶已经探索过的强化学习和世界模型方法,能不能迁移到具身领域?
我们欢迎所有能为左林右狸提供新观点新角度新信息的群友,加入我们的实名制社群,与左林右狸一路同行。管理员微信号: leiphonelinli ,备注公司-职位-称呼通过更快。
Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人
美团发布2022年一季度财报:营收同比增长25%至463亿 ...
比亚迪被曝校招等级划分明显:普通高校年薪8万、C9院 ...
SeeAct AI穆尧:具身智能终局,一定是从“被训练”走向“自我进化”|物理AI50人
复旦贾萧松:VLA、WAM新架构层出不穷,但真正的瓶颈不在模型架构 | 世界模型50人
上海AI实验室“书生-S2”大模型进入前沿数学研究流程:助力三维Ghys猜想证明并通过形式化验证
实测 Seedance 2.5 vs 可灵 3.0,谁能让我们无痛当上视频导演?
具身智能不只在地上跑:给无人机装上机械臂,它们要去天上「拧螺栓」了 | IROS 2026
从三维视觉到世界模型:空间智能为何成为 AI 走向物理世界的共同主线?| ECCV 2026复盘
计算机视觉的下一个十年:从「看懂世界」到「教会人类」| ECCV 2026
NVIDIA 李柏依:机器人只会「看」还不够,它还得学会「听」| ECCV 2026