字节发现 DeepSeek 的周期性弱点,我们实测了 V4.1,结果不太一样
DeepSeek为何有时答对、有时答错?
字节找到了DeepSeek的周期性弱点
CSA(压缩稀疏注意力),将8个Token组成一个压缩窗口,每隔4个Token生成一条压缩记录,再从中筛选与当前问题最相关的信息。
HCA(重度压缩注意力),压缩得更加激进,每128个Token只保留一条压缩记录,但会读取全部历史压缩记录。
我们实测了DeepSeek V4.1:
答案没翻转,概率出现波动
DeepSeek把缓存做得更小,
位置弱点反而减轻了
平均分为什么可能掩盖新架构的局部弱点?
结尾:一场尚未结束的架构竞赛
微软向6万员工发出自愿离职邀请,补偿至少N+2;身家 ...
iPhone Duo被曝屏幕亮线开裂!苹果客服回应:非硬件 ...
大肥鱼遇劲敌:MiniMax M3.1 Flash 拿下 Agent 任务第一,我们实测了
字节发现 DeepSeek 的周期性弱点,我们实测了 V4.1,结果不太一样
实测 Grok Bot:变身「云端AI团队」同题硬刚两款国产Agent
实测丨GPT 6.1 Sol 硬刚 Sonnet 5.5:一个太老实,另一个精得很
实测 Grok Bot:变身「云端AI团队」同题硬刚两款国产Agent
REA「逆向一切」实测:Gemini 4 Argon和GLM 5.3 复刻故宫名画记,细节决定还原度