「推理缓存优化」共找到 3053 篇相关文章
别只用AI写脚本了，现在AI打广告可真是城会玩了！
如今广告玩法新颖，AI能识别短剧画面插入广告，还能生成贴合IP的番外短片。巨量引擎升级的品星云AI营销，打通“洞察 - 创作 - 投放 - 复盘”全流程，重构AI营销玩法，让决策回归简单。
对抗KV Cache压缩的脆弱性：两行代码以最坏风险控制防御底层假设崩塌
中科大团队在 ICLR 2026 论文中指出 KV Cache 压缩领域底层假设存在缺陷，主流方法基于的稳定性假设在真实场景中脆弱。团队提出防御性聚合策略，仅两行代码修改，显著提升 KV Cache 压缩性能。
北航，清华，北大联合发布： 异构智能体协同强化学习！
北航、清华、北大联合发布异构智能体协同强化学习论文。提出 HACRL 新范式，实现异构智能体双向互学与独立部署统一；还有 HACPO 算法弥合智能体差异。实验显示性能提升且成本降低，为多智能体协同学习指明方向。
将注意力旋转 90 度！今天，Kimi 的「注意力残差」火了
Kimi团队发布技术报告Attention Residuals，用依赖输入的注意力机制取代标准深度递归，解决传统残差连接的信息稀释和隐藏状态爆炸问题。实验显示其有计算优势，下游任务表现佳。
以「图」破局，HyperOffload定义超节点存储管理新范式
随着生成式AI进入万亿参数时代，大语言模型面临“显存墙”挑战。上海交大与华为MindSpore团队发布技术报告《HyperOffload》，其核心技术集成于MindSpore 2.8，能提升超节点异构资源协同效率，已在多项目落地。
华为升级行业Agent算法架构！MindScale自己写prompt和工作流，KV Cache减少5.7倍token
华为诺亚方舟实验室更新面向行业应用的算法包MindScale，融合算法创新与业务实践经验。它梳理了Agent时代技术挑战，给出技术论文与昇腾代码，应对工作流维护等难题，还提升训推效率、适配国产硬件。
OpenAI深夜悄悄甩出GPT-5.1，称更热情，更智能！网友狂吐槽：我不想和它聊天，我想用它工作
OpenAI发布GPT - 5.1，含Instant和Thinking两版本，称更智能、对话更愉快，还增加“个性/语气”选项。但网友质疑“强化个性”方向，想要高效工具。业内认为拟人化是为提升用户体验和拓展应用场景。
Manus：3大核心策略，破解AI Agent上下文膨胀难题
当AI Agent调用工具结果大量涌入上下文窗口，LLM性能会下滑。Manus联合创始人拆解其上下文工程逻辑，给出‘减少、卸载、隔离’三大策略及模型选择等方法，还提炼出6条实践启示。
从Transformer到GPT-5，听听OpenAI科学家 Lukasz 的“大模型第一性思考”
2017年《Attention Is All You Need》提出Transformer架构，重塑AI版图。其作者“Transformer八子”中，Lukasz Kaiser加入OpenAI，参与GPT-4、GPT-5等研发。他10月将出席大会分享见解，曾预言多模态等趋势已渐成现实。
GPT-5 最强大的，是编程
据报道，OpenAI的GPT - 5即将到来且早期反馈积极。它在编程领域表现突出，尤其在实际编程任务上有提升，不过其具体形式存疑，改进或多来自后训练阶段的强化学习。