「大模型推理加速」共找到 8385 篇相关文章
DeepSeek开源大模型记忆模块！梁文锋署名新论文，下一代稀疏模型提前剧透
DeepSeek最新论文给Transformer加上“条件记忆”，补上原生知识查找机制。梁文锋署名，与北大团队合作。提出全新范式及Engram模块，解决传统N - gram问题，研究稀疏性分配，验证推理能力提升，兼顾工程优化。
不堆参数堆架构，这个8B开源模型把图像理解和生成统一了
商汤开源全新架构的理解生成统一模型SenseNova-U1，虽小尺寸版仅8B参数，却能复刻GPT - Image - 2的不少绝活，在多项指标上登顶开源模型榜首，推理速度逼近主流商用闭源模型。它具备连续性图文创作等能力，底层是NEO - unify架构。
AI生成视频总不符合物理规律？匹兹堡大学团队新作PhyT2V：不重训练模型也能让物理真实度狂飙2.3倍！
匹兹堡大学团队提出 PhyT2V 框架，论文已被 CVPR 2025 接收。该框架不依赖重训练或大量外部数据，通过链式推理与迭代修正机制，增强主流 T2V 模型物理场景泛化与生成能力，应用前景广。
万亿思考模型新速度！蚂蚁开源Ring-2.5-1T：IMO金牌水平，强；混合线性架构，快！
蚂蚁集团发布全球首个开源混合线性架构万亿参数模型Ring - 2.5 - 1T，打破深度思考牺牲推理速度和显存的‘不可能三角’。还同期发布扩散语言模型LLaDA2.1和全模态大模型Ming - flash - omni - 2.0，想做成可复用底座。
冲击自回归，扩散模型正在改写下一代通用模型范式
Google I/O 2025 开发者大会上，Gemini Diffusion 引发关注，它是采用扩散模型的语言模型。此前已有团队探索扩散式 LLM，如斯坦福、上海 AI 实验室等。蚂蚁集团和人大推出 LLaDA，后发展出多模态模型，国内团队跻身前列。
华为昇腾推理对决：开源vLLM vs 官方MindIE，数据说话「Qwen与DeepSeek推理实测」
文章围绕华为昇腾推理，对比开源vLLM与官方MindIE。借助GPUStack平台测试Qwen与DeepSeek模型，分析不同场景性能。指出vLLM和MindIE各有优势，还强调构建国产AI推理生态需多要素，鼓励开源协作。
OpenAI和Anthropic罕见互评模型：Claude幻觉明显要低
OpenAI和Anthropic罕见合作，互相授予API权限评估模型安全与对齐情况并发布报告。双方派出多模型参与，从指令层次、越狱、幻觉、欺骗策略等方面评测，呈现各模型优缺点。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
美国模型长期霸榜的LMArena，出现了一个国产模型
2025 年底，中美 AI 阵营发展路径有区分，美国多是强模型加工具链，中国在多方面发力。12 月 23 日 LMArena 更新文本榜，百度文心新模型 ERNIE - 5.0 - Preview - 1203 以 1451 分登上榜单，成中国第一且是前 20 名里唯一非美国模型。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。