hiw3c 日报精选
BestBlogs·AI 高分精选 中文 网页快照

通过纯整数运算消除 LLM 推理中的非确定性

📌 One-Sentence Summary 本文介绍了 DetLLM:该系统通过纯整数运算执行所有操作,消除 LLM 推理中的非确定性,在不同硬件平台上实现位级完全一致的输出,同时保持相近的困惑度,并通过内核优化大幅提升解码速度。 📝 Summary Nathan Barry 探讨了 LLM 推理中的非确定性问题:由于浮点加法不满足结合律,同一提示词在不同运行或硬件上会产生不同输出。他提出了 D

来源:BestBlogs·AI 高分精选 · www.bestblogs.dev

Eliminating Nondeterminism in LLM Inference with Integer-Only Arithmetic

This article presents DetLLM, a system that eliminates nondeterminism in LLM inference by performing all operations using integer-only arithmetic, achieving bit-identical outputs across different hardware platforms while maintaining comparable perplexity and dramatically improving decode speed through kernel optimizations.