前华为小艺大模型负责人创业,押注“主动式物理AI”
程浅 发自 凹非寺 量子位 | 公众号QbitAI
让机器有“眼力见儿”,主动发现人之所需,这是唐都钰提出“主动式物理AI”这个概念时的设想。
于是机器人走得更稳了、抓得更准了、能规划得更久了……但,这一切都发生在人类的指令之后。
华为前AI首席专家、小艺大模型前负责人唐都钰,在做了多年大模型与终端AI之后,盯上了这个方向。
主动式物理AI,主动在哪?
在唐都钰看来,这些物理AI是“被动式”的,即,整个任务的起点来自人类明确提出的指令。
在这里,AI主要解决的是如何完成任务(How),而不是自主判断需要做什么(What)以及何时行动(When)。
它需要持续接收来自现实环境的信息,理解其中正在发生的事件,并判断某种变化是否已经形成了需要。
在这样一套流式判断(StreamingJev)后,系统才会决定要不要介入、以什么方式介入、调用何种设备介入,以及应当在什么时候介入。
从这个角度看,“主动式物理AI”其实是向前补齐了一次完整行动链路,而非仅做链路后半部分的执行。
1998年,微软研究院就做过一个叫LookOut的原型。你打开一封邮件,读到对方约你周五下午见面,它会判断你是否需要查日历或者填写日程。
次年,微软研究员还系统讨论了这种「主动式交互」,希望使人和机器都可以根据情境接过主动权。
到了2000年,微软研究院对主动交互的研究也来到了现实世界:他们让摄像头追踪人的位置,当人走向一块屏幕,正在使用的电脑界面也可以随之切换过去。
另一方面,“主动”这件事本身也非常难……提醒得早一步,很容易变成打扰和责备,出手得晚一步,帮助又没了意义。
毕竟在物理环境中,同一个动作可能有完全不同的含义:一个人突然倒坐在地,可能只是随性休息,也可能是突然昏厥;孩子伸手靠近水杯,可能只是主动观察,也可能是无意识将其碰倒。
尽管随着大模型能力提升,机器能够更准确地识别画面,更好地描述正在发生的事情, 但唐都钰认为,“主动做事”的能力并不会随着智能增长而涌现。
因为这还涉及到风险判断、职责边界以及行动时机,是一个需要单独去研究攻克的复杂问题。
据他判断,届时人类身边将会出现非常多的智能终端,而如果每台设备都需要等待用户逐一发出命令:
唐都钰,从多模态大模型走进物理世界
一方面,从0到1开发一个小艺大模型,并落地到数亿台终端上,意味着不仅要做模型训练,还要打通数据工程、推理部署、端云协同与终端适配的整条链路。
这些经验同样也是物理AI所要求的:把模型能力落到具体硬件,在真实环境与用户反馈中持续迭代。
彼时,唐都钰还在哈尔滨工业大学攻读博士学位,师从哈工大SCIR研究中心主任、中国中文信息学会情感计算专委会主任秦兵教授,研究的正是如何让机器理解人类情感。
而唐都钰所在的哈工大社会计算与信息检索研究中心(SCIR),也是国内自然语言处理(NLP)领域的重要研究力量。这里培养出了一批活跃于学术界和工业界的AI研究人才。
在这里,他将研究领域进一步拓展至代码智能, 主导了CodeBERT、CodeGPT等相关研究。
其中,就包括后来成为DeepSeek-V3、DeepSeek-R1核心贡献者之一的 郭达雅。
目前,唐都钰的论文累计引用已超过3万次,并入选全球前2%顶尖科学家榜单的终身科学影响力名单。
不过,如今物理AI世界群雄并起,从VLA到世界模型,再到WAM各有拥趸,远未像LLM那般收敛。
当被问到,在一个远未收敛的领域里搞创新是否过于冒险时,唐都钰说:“我先把我认为最难、最有意义的事情做好就行了。”
技术上,主动式物理AI没有成熟的数据体系,也缺少统一的模型架构和评测标准。这意味着需要从需求定义开始,重新建立训练数据、决策模型与硬件之间的关系。
最近,唐都钰刚多了一个新身份—— 中关村学院的老师,更具体一点,是这里的“AI模型杰出技术专家” 。
这是一所2024年刚刚成立的国家级高等教育科研机构,它的特别之处在于,这里不仅关注学术,也鼓励科研人员将技术带出实验室,尝试创业。
唐都钰希望之后,一边在产业一线做出有价值的产品,一边继续探索前沿问题并培养年轻研究者。
如何让模型学点“眼力见儿”?
主动式物理AI,虽然不至于“读空气”般察言观色,但是必须做到“心里有谱,眼里有活”。
其中,第一部分的StreamingJev负责持续读取现实环境中的事件流,进行轻量化判断,给出“是否需要介入”的讯号,如同哨兵。
相较之下,第二部分的Response Model更像指挥员。当StreamingJev识别出需求,Response Model会进一步判断事件的性质,规划回应方式,并决定调用何种设备。
如果让一个大模型持续处理环境中的所有信息,不仅推理成本高,反应速度也将大幅变慢。
通过轻量模型完成前置判断,再让Response Model处理真正需要介入的事件,系统可以把更多计算资源留给关键时刻。
显而易见,普通的互联网视频通常只记录发生内容,不会标注合适的、AI需要介入的时点。
观行数智的解法是建立一套自动化数据流程,从公开视频中提取场景变化,并将其转化为 带有推理过程的决策序列。
这些序列中,既包含应该提醒或行动的正向样本,也包含应该继续观察的监督信号。团队希望借此让模型学会区分“出现了变化”与“形成了需要”。
据透露,目前观行数智已与具身公司合作,让系统真正进入具体设备,从而补充推理过程、动作空间与执行反馈——真正在现实世界解决问题,让数据闭环。
训练之外,观行数智还重新建立了一套评测体系 ProactiveXBench ,希望评估AI从发现需求到完成介入的完整轨迹。
其中,Timing关注反应时机,Progress观察介入时长和任务状态,Outcome关注最终结果。
根据团队给出的测试结果,在介入时效等特定指标上,其ProAgent模型已优于GPT-6等通用模型。
目前,团队也将这套能力首先放在了Reachy Mini机器人上,在60个案例中验证导引、警示与互动。
One More Thing
实际上,目前的人机关系尚不平衡,大部分时间,这种关系都建立在人的命令与AI的执行之上,关于“主体性”的争夺从未调和。
人不必完整表达每一项需求,机器能够从共同环境的变化中察觉问题,在约定的职责与权限内作出判断,并在适当的时候承担一部分责任。
就像《钢铁侠》中的Jarvis。它知道用户此刻正在做什么,也知道自己应该在何时主动出击。
白天务农晚上码农,这个斐济农民跨越一万公里来拼多多取经 2026-09-18
Kimi突发K2.8:性能逼近K3,百万上下文全员开放 2026-09-12
180万刀,连亚马逊都烧不起Claude了 2026-08-09
相关阅读
全球首次!机器人迎战网球运动员,极限救球,摔倒光速弹起
SIGGRAPH时间检验奖揭晓:这项研究,提前十年押中了物理AI
具身数据底座开卖,首发5100元:机器人训练数据有了新解法
2026没过完,已有480亿美元投进了物理AI
3万台无人车之后,这家公司盯上了城市级物理AI
热门文章
智谱新模型,490 tokens/s!
DeepSeek服务器全球宕机!神秘Harness账号同时现身
DeepSeek Bot来了!民间版,DSH装个插件就能用
超清双2亿,掌中电影机,荣耀Magic9 系列正式发布,售价4499元起
TRAE终于把Code和Work合并了
量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1