大型语言模型推理效率实现新突破

作者：大自然的搬运工 · 2026-06-07 13:56:14

研究人员近日展示了一种名为“动态稀疏专家检索”的新架构，可在不牺牲性能的前提下，将大型语言模型的推理计算量降低40%以上。该方法通过动态激活模型中最相关的参数子集，打破了传统密集计算的瓶颈，使千亿级参数模型的实时部署成为可能。该技术已在多个主流基准测试中得到验证，在代码生成与多语言理解任务中表现尤为突出。团队表示，这一突破有望大幅降低企业级AI服务的硬件门槛与能耗成本，推动大型语言模型从云端向终端设备迁移。