搜索：概念蒸馏训练策略

「概念蒸馏训练策略」共找到 2511 篇相关文章

伦理防线不可靠！分布偏移诱导，大模型进入暗黑模式

香港理工大学与西北工业大学联合研究指出，当前大语言模型对齐机制仅实现表层合规，预训练时内化的有害知识仍潜藏。遇数据分布偏移，模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效，凸显现有范式缺陷。

阶跃星辰发布最强模型 Step 3.5 Flash，参数强大，性能与前沿顶级大模型并驾齐驱。其架构平衡算力与智力，有独特注意力布局；基础设施保障训练稳定；强化学习激发智能体潜能；评测数据显示战斗力强，未来还将持续优化。

伊利诺伊大学香槟分校团队提出 RM - R1 框架，将奖励建模定义为推理任务。它引入推理奖励模型和链式评估准则机制，经两阶段训练，在多基准测试中表现超大规模模型，验证了推理能力对奖励模型的重要性。

近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。

Cursor本周发布自研编程模型Composer 2，只攻代码生成。其得分提升，超Claude Opus 4.6，接近GPT - 5.4 Thinking。训练基于代码数据，处理复杂编程任务准确度高，价格远低于竞品。这是Cursor全栈布局，欲掌握AI编程主动权。

美团首个开源大模型Longcat-Flash-Chat发布即引发热议。它在部分benchmark上超DeepSeek-V3.1等，编程能力也出色。技术报告透露美团对大模型的理解，还有新发现，且性能好、训练效率高。

2026年7月27日，Moonshot AI开源全球首个3万亿参数级模型Kimi K3。它不仅参数量大，还在多领域表现出色，能与顶尖闭源模型媲美。其架构创新、训练独特、推理成本低，有望改变全球大模型格局。

浪潮信息董事长彭震在人工智能+生态大会上提出，AI转型最大门槛是人而非技术。他指出组织力不足影响业务效果，提出Humagent概念。浪潮信息还从文化、组织、流程层面推动转型，愿做客户同行者。

企业接入通用大模型到业务系统，却发现它难以执行任务。九章云极在发布会上推出‘AI工厂’战略，通过训练工厂和Token工厂填平执行鸿沟，前者用强化学习造专业模型，后者让专业智能规模化流通。

Google AI Studio负责人Logan认为，大模型一年内将吞噬Harness，90%的Agent中间件公司最多存活12个月。创业公司应深耕垂直领域，Google用Anti - Gravity平台串联产品，推动智能体发展，且模型后训练潜力巨大。