水星3:大规模扩散现象
HN ⭐ 218 · 84条评论
HN ⭐ 218 · 84条评论
把记忆原生焊进Transformer
谷歌和Meta将TorchTPU开源了,这是一个专为Cloud TPU设计的原生PyTorch后端。该后端默认采用Eager模式运行,可以通过torch.compile和XLA进行编译,能够替代传统的PyTorch/XLA在新型工作负载中的使用。这篇文章题为“谷歌开源TorchTPU,一种专为Cloud TPU设计的原生PyTorch后端”,最初发表于Mar
Voxtral 3:Mistral的语音代理SDK,支持实时语音处理,可处理50多种语言。具备精确的文本转写功能、能够模拟情感化的语音输出,还支持复杂的工具使用功能。该软件可以部署在欧盟境内,也可以自行部署使用。
vLLM的预填充解码分离技术能够将LLM的推理任务分配到不同的引擎实例上执行,但同时还需要在这些实例之间传输键值缓存数据。这篇帖子介绍了一种基于推送方式的NIXL连接器,该连接器可以将数据传输协调工作从核心路径上分离出来,从而在使用AWS EFA的Amazon EC2 P5en实例进行的基准测试中,实现高达3倍的TTFT性能提升,以及30%的TPOT性能提升
微软希望企业能够密切关注员工所使用的这些代理程序,因为它们运行的是那些不受OpenAI和Anthropic等人工智能实验室控制的系统。