「推理性能优化」共找到 4157 篇相关文章
梁文锋署名！DeepSeek再发炸裂论文：提出“条件记忆”新范式，彻底打破GPU推理显存墙
来自DeepSeek的新论文提出“条件记忆（Conditional Memory）”新范式，推出Engram模块，实现可扩展知识查找。研究揭示U形缩放定律，构建的Engram模型性能超越纯MoE基线，还打破了GPU显存瓶颈。
性能翻番背后：讯飞与昇腾，如何用国产算力炼就大模型？｜甲子光年
在全球AI竞争激烈背景下，科大讯飞与华为昇腾深度合作意义重大。双方合作历经四阶段，实现性能提升与技术突破，还通过软硬件协同构建AI自主发展竞争力，加速大模型行业落地。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
DPad: 扩散大语言模型的中庸之道，杜克大学陈怡然团队免训推理加速61倍
扩散大语言模型（dLLMs）有全局规划能力，但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”，提出免训练方法DPad，结合现有技术，能在几乎无损精度下实现高达61.4倍推理加速。
AI-Infra-Auto-Driven-SKILLS v0.1.0：给 Codex / Claude Code 的推理框架工作流
AI-Infra-Auto-Driven-SKILLS v0.1.0 版本整理可用 AI Infra SKILLS 并补充说明，沉淀推理框架开发流程约束，适用于 Codex 和 Claude Code，包含核心技能、SOTA loop、OpenAI 目标和提示等内容。
一段 signature，不仅撬开了 Opus 的隐藏推理，还让 Kimi、GLM 露出了"熟悉感"
研究者发现，将 Opus 等强模型返回的加密推理块交给同家族弱模型，弱模型可能转写出隐藏内容。如用 Haiku 读取 Opus 的加密信息。此外，公开的 Agent 轨迹存在隐私泄露风险，部分开源模型易受 Opus 风格影响。
叫板英伟达RTX 5090！GPU初创公司做出13倍路径追踪性能的怪兽显卡
芯片初创公司Bolt Graphics首款GPU模组Zeus 4C，路径追踪性能达RTX 5090的13倍。但它不适合游戏场景，更擅长低功耗高精度图形渲染，不过测试、应用、价格目前都是未知数。
性能不减，吞吐量提升6.4倍！英伟达用混合算子和架构定义小模型新标准
NVIDIA研究团队通过Nemotron - Flash系列模型，打破对‘深而瘦’架构迷信，修正缩放定律，用进化算法搜索混合算子、改进训练策略。该模型在性能、延迟和吞吐量上表现出色，远超同类产品。
以小博大，仅1.7B媲美gemini2.5-pro，达到SOTA文档解析性能
dots.ocr是多语言开源文档解析器，把布局检测和内容识别统一在视觉语言模型中，虽LLM仅1.7B参数，却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。
AI x 大前端性能稳定性：快手亿级 DAU 下的智能诊断实践
本文整理自快手移动端稳定性负责人李锐在 2025 年 QCon 大会的分享。介绍快手大前端性能稳定性挑战，阐述借助「柯南 AI」赋能排障的实践，含根因排障和应急处置案例，还谈了开发中思维切换等认知。