「推理缓存优化」共找到 3053 篇相关文章
如何科学地“设计”SFT 数据？一次关于 ODA 的完整平台级验证
大模型后训练阶段，SFT数据构建常依赖‘直觉’或‘试错’。上海人工智能实验室OpenDataLab团队发布报告，基于OpenDataArena提出新范式，将数据集构建从‘随机艺术’变为‘确定性工程’，并进行平台级验证。
The Batch: 898 | Copilot 用户需求随时间变化
微软研究表明，人们在深夜用手机和工作日白天用笔记本电脑时，对Copilot使用方式不同。研究分析3750万次对话，发现主题和意图因设备、时间、年份而异，AI社群或需重新考虑聊天机器人设计。
把RoPE扔掉，AI更能看懂长上下文！Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。
刚刚，DeepSeek 突发梁文峰署名新论文：V4 新架构提前曝光？
今天凌晨，DeepSeek在其GitHub官方仓库开源了新论文与模块Engram。该论文提出“查—算分离”机制，通过引入可扩展的查找记忆结构，在等参数、等算力条件下提升模型表现，代码与论文全文均已开源。
前谷歌研究员发文：算力崇拜时代该结束了
前谷歌大脑研究员 Sara Hooker 发文指出，过去十年 AI 创新依赖算力，但如今持续扩展训练计算资源效率极低，收益递减。她探讨了影响算力回报率的因素，批判 Scaling Law，并提出未来创新方向。
谷歌智能体发力：增强版Gemini Deep Research和专属API都来了
OpenAI强势更新，谷歌也没闲着。正式发布增强版的Gemini Deep Research，配套推出DeepSearchQA基准测试集，还发布了Interactions API，这不仅是Deep Research升级，还是Gemini生态的大升级。
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
Soul APP开源了一款高保真播客生成框架，90 分钟对话零崩盘！
Soul APP背后的Soul AI Lab发布开源项目SoulX - Podcast，是高保真推理框架，能生成90分钟以上连贯对话，有多方言切换等功能，或重塑语音内容产业生产方式。
清华、快手提出AttnRL：让大模型用「注意力」探索
清华和快手团队提出新框架AttnRL，引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题，实验显示在多基准测试中表现优异。
全国首部AI智能体应用评估标准，现公开征集起草单位和个人！
2025年是AI智能体元年，市场规模将达113亿美元，但企业部署面临‘效能黑箱’，缺乏评估规范。智合标准中心发起《企业级AI智能体应用效能评估规范》团体标准起草，现征集起草单位和个人。