hiw3c 日报精选
雷峰网·AI 科技评论 中文 网页快照

字节发现 DeepSeek 的周期性弱点,我们实测了 V4.1,结果不太一样

同一段代码,前面只增加无关Token,DeepSeek会改变答案吗? 作者丨李娜 编辑丨岑峰 01 DeepSeek为何有时答对、有时答错? 同一道代码补全题,前面只增加几个无关Token,DeepSeek就可能改变答案。 ( 详情可见: 字节发现 DeepSeek 隐藏 Bug,加点空格,模型翻车 ) 这是字节Seed在9月底一项研究中发现的现象。研究人员观察到,DeepSeek-V4-Flas

来源:雷峰网·AI 科技评论 · www.leiphone.com

字节发现 DeepSeek 的周期性弱点,我们实测了 V4.1,结果不太一样

DeepSeek为何有时答对、有时答错?

字节找到了DeepSeek的周期性弱点

CSA(压缩稀疏注意力),将8个Token组成一个压缩窗口,每隔4个Token生成一条压缩记录,再从中筛选与当前问题最相关的信息。

HCA(重度压缩注意力),压缩得更加激进,每128个Token只保留一条压缩记录,但会读取全部历史压缩记录。

我们实测了DeepSeek V4.1:

答案没翻转,概率出现波动

DeepSeek把缓存做得更小,

位置弱点反而减轻了

平均分为什么可能掩盖新架构的局部弱点?

结尾:一场尚未结束的架构竞赛

微软向6万员工发出自愿离职邀请,补偿至少N+2;身家 ...

iPhone Duo被曝屏幕亮线开裂!苹果客服回应:非硬件 ...

大肥鱼遇劲敌:MiniMax M3.1 Flash 拿下 Agent 任务第一,我们实测了

字节发现 DeepSeek 的周期性弱点,我们实测了 V4.1,结果不太一样

实测 Grok Bot:变身「云端AI团队」同题硬刚两款国产Agent

实测丨GPT 6.1 Sol 硬刚 Sonnet 5.5:一个太老实,另一个精得很

实测 Grok Bot:变身「云端AI团队」同题硬刚两款国产Agent

REA「逆向一切」实测:Gemini 4 Argon和GLM 5.3 复刻故宫名画记,细节决定还原度