「推理缓存优化」共找到 3061 篇相关文章
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
GPT-5.4发布：OpenAI首个大一统模型，简直是龙虾原生
OpenAI发布GPT - 5.4，这是其首个大一统模型，将推理、编程等能力融合，且单项性能领先。它在知识工作、计算机使用、编程调试等能力提升，定位AI数字员工，虽单价高但有省钱机制。
字节豆包2.0重磅发布！成本暴降一个数量级，Seed团队揭秘视频Agent竞争关键
今日字节发布豆包大模型2.0系列，围绕大规模生产环境需求优化，有Pro、Lite、Mini和Code四款模型。其Token单价低一个数量级，多模态理解能力升级，未来将围绕长链路智能系统构建发展。
国产模型编程能力卷到这个程度了？MiniMax-M2.5 深度实测
文章深度实测MiniMax-M2.5编程能力，用其开发多款游戏和点名工具，结果出色。还分析其底层技术，如原生Agent RL框架、过程奖励机制等，指出它性价比高，虽有不足但值得关注。
BigQuery 新功能：SQL 直调 17 万 + AI 模型，3800 万行数据处理成本仅 2 美元
Google为BigQuery推出面向开源模型的第三方生成式AI推理功能，允许数据团队用SQL语句部署运行Hugging Face或Vertex AI Model Garden的模型，消除对独立ML基础设施的需求，解决数据团队痛点。
不训练，解锁Agentic智能！微软：只需给LLM一台电脑
人大、MSR、清华的LLM - in - Sandbox开启「通用代理智能」新范式，把大模型放进“虚拟机”，让其在6大任务上成绩全线暴涨，零额外训练解锁“通用代理智能”，还介绍了相关实验、优化及效率情况。
0.005%参数量超越SOTA！提升模型能力无需庞大奖励模型
上海交通大学等校联合团队提出轻量级奖励模型SWIFT，利用大模型隐藏状态线性特征，仅训练极小线性层，在推理任务中超越主流奖励模型，实现计算效率与准确率双提升，且在多领域表现出色。
大模型微调评测入门：看懂这些指标，才知道模型好不好
文章指出大模型微调中很多新手重“调”轻“评”，评测是决定模型落地的关键。介绍分类和生成任务评测指标，给出实操步骤，还说明如何综合判断模型好坏，最后展望评测技术朝自动化等方向发展。
飞猪搭建系统演进：从人工运营到多Agent协同搭投生产
飞猪移动端页面搭建体系从初代寄生于阿里集团平台，发展成“搭投”体系。但传统人工选搭投模式待优化，为此启动AI智能搭投升级专项，构建新范式，还介绍产品结构、技术实现及后续规划。
Meta&UIUC大发现：无需标注，Agent复杂的工具使用和搜索能力，是可以“无中生有”的
Meta和UIUC研究发现，无需标注，Agent复杂工具使用和搜索能力可“无中生有”。论文Dr. Zero让大模型自我博弈成搜索专家，用HRPO提效，设计难度导向奖励，实验表现佳，但也存在局限。