「轻量化推理」共找到 2328 篇相关文章
北大开源统一世界模型框架：多类合成推理任务一套搞定
世界模型研究中，不同任务存在接口不统一等问题。北大DCAI课题组联合多方推出OpenWorldLib推理框架，整合多模态能力，构建标准化接口体系，在多任务上评估效果良好，降低研发门槛。
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
谷歌推出全新底层架构Mixture-of-Recursions（MoR），推理速度提高2倍、KV内存减半，首次在单一框架实现多任务处理与动态分配计算资源，研究人员通过实验验证其性能超Transformer。
重塑AI记忆边界：MemOS开源！时序推理较OpenAI提升159%
近日，记忆张量等多家团队发布面向大模型的工业级记忆操作系统MemOS。它借鉴传统操作系统架构，实现AI记忆结构化管理，性能超OpenAI等方案，未来将成立社区、推进应用及持续迭代。
登顶多模态推理榜MMMU！UCSD新方法超越GPT-5、Gemini
加州大学圣地亚哥分校团队开发的DreamPRM-1.5在MMMU测评榜夺冠，超越GPT-5、Gemini 2.5 Pro Deep-Think。它细化加权粒度到样本，有Instance Table和Instance Net架构，采用双层优化与生成式奖励模型。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
开源SOTA！商汤原生多模态一个大脑完成看图、推理、作画
商汤开源日日新SenseNova U1，用NEO - unify架构让像素和文字自由协作，多项指标达开源SOTA，适配10家国产芯片。它能完成看图、推理、作画等多任务，虽有局限，但后续优化值得期待。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
快手提出强化学习创新框架RLEP，突破大模型推理瓶颈
OpenAI等模型用强化学习提升推理能力，但面临训练不稳定等挑战。快手Klear团队提出RLEP框架，引入经验回放技术，分经验收集和回放训练两阶段，还采用优化策略，提升大模型训练效率和性能。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。
轻量高效，即插即用：Video-RAG为长视频理解带来新范式
现有视觉语言模型处理长视频面临诸多难题，厦门大学等联合提出轻量高效、无需微调的 Video-RAG 框架，采用多模态辅助文本检索增强生成，解决长视频理解问题，适用于多场景。