「训练 - 推理不匹配」共找到 3626 篇相关文章
多模态扩散模型开始爆发，这次是高速可控还能学习推理的LaViDa
近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。
英伟达下一代GPU登场，Rubin CPX一次推理数百万Token，网友：这是头野兽
在周二的AI基础设施峰会上，英伟达宣布推出专为超100万token长上下文推理设计的Rubin CPX GPU。它将与其他产品组成新平台，性能卓越，还能复用现有平台，预计2026年底上市。
思维锚点：破解LLM Reasoning黑箱的关键句
文章提出思维锚点概念，指推理轨迹中影响后续步骤和答案的关键句。开发三种归因方法，系统论证高级组织句影响力更大，锚点主导错误修正。研究为理解LLM推理机制开辟新途径，开源工具支持可视化分析。
我用 AI 翻译的三个阶段：提示词时代 → 推理模型时代 → Agent 时代
作者分享近 2 年 AI 翻译经验，将其分为提示词、推理模型、Agent 三个时代，介绍 Agent 翻译与提示词翻译区别，还阐述 Skill 创建迭代、三种翻译模式由来等，给出解决一致性问题等方法。
智元首发SOP系统：打破离线训练瓶颈，让具身智能在“干中学”
2025年VLA让机器人有通用性，但真实部署存问题。智元机器人具身研究中心提出SOP在线后训练系统，融合在线学习等，使机器人在真实环境持续进化，实验显示其能提升性能、效率，突破VLA瓶颈。
首个长程Doc2Repo训练集！代码Agent不止修bug，开始造仓库
中国人民大学高瓴人工智能学院发布DeNovoSWE数据集，专注长程软件工程任务。它通过特定机制构造高质量数据，为代码智能体长程能力训练提供支持，实验显示能显著提升模型仓库生成能力。
SGLang × RoleBasedGroup（RBG）：打通大模型推理PD分离架构规模化落地的“最后一公里”
PD分离架构对大模型推理部署意义重大，SGLang支持该架构且性能佳。但从测试到生产落地难，存在部署、资源、可靠性等问题。SGLang开源RBG项目，结合二者为PD分离架构生产化落地提供方案。
d-Matrix用3D堆叠技术终结"内存墙"，AI推理迎来光速时代
2025年9月Hot Chips上，d - Matrix展示3D堆叠数字内存计算技术，直击AI“内存墙”难题。其产品Corsair带宽强大，新Pavehawk架构更有性能跃升，为AI推理开辟新赛道，虽面临挑战但前景可期。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。
网易游戏 Tmax 平台实践：基于 Fluid 的云原生 AI 大模型推理加速架构
网易游戏打造 Tmax AI 机器学习平台，但大模型推理业务规模爆发带来资源弹性等挑战。经评估，选用 Fluid + AlluxioRuntime 构建三层架构，有自动预热等配置，带来性能、成本等多方面收益。