「小模型性能」共找到 8697 篇相关文章
刚刚，Thinking Machines Lab博客提出在策略蒸馏，Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客，提出在策略蒸馏可结合强化学习纠错与SFT奖励密度，成本低且能让小模型有强大性能。该成果受Qwen团队启发，大量用Qwen3模型。还对比了不同训练方法。
LeCun出手，造出视频世界模型，挑战英伟达COSMOS
训练有效世界模型面临数据、任务难度、算力消耗和评估等难题。Meta研究者提出通用视频世界模型DINO - world，可预测未来帧，在多方面有优势，实验显示其性能显著，能降低对标注数据需求。
大模型竞赛转向：决胜关键为何是“后训练”？
大模型价值主战场正向后训练转移。xAI发布的Grok 4通过后训练取得强大性能，在多项测试中领先。后训练可解决通用模型产业落地难题，不同公司探索新方法，且后训练有五大关键要素，阿里云提供一体化支撑。
AI“压力面”，DeepSeek性能暴跌近30% | 清华&上海AI Lab
上海人工智能实验室等团队设计REST框架，在一个prompt里抛多问题模拟复杂推理场景。结果显示，DeepSeek - R1等模型高压下性能大幅缩水，REST能拉开不同模型差距，还揭示评测方法局限。
国产大模型新SOTA：蚂蚁万亿级旗舰模型赶超GPT-5
蚂蚁集团开源万亿参数旗舰大模型Ling-1T，属Ling 2.0家族。它激活比例低降低运算成本，训练有“Ling缩放定律”等方法，多项测试超主流模型，不过处理超长上下文成本较高。
o3崛起，但推理模型离「撞墙」只剩一年？
OpenAI的o3推理模型诞生不到一年能力突飞猛进，算力暴增10倍。但Epoch AI等警告，最多一年推理模型或撞上算力资源极限。还从其他模型和业内人士看法分析推理算力，指出算力与性能有关联，也有发展瓶颈。
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。
MIT新研究：大模型加噪声就能替代GRPO/PPO调参
MIT新论文提出，预训练模型周围存在大量“专家模型”，只需添加高斯噪声并集成，性能就能比肩甚至超越GRPO/PPO等调参算法。由此启发了RandOpt算法，经测试准确率不错，但也有依赖预训练等缺点。
少说‘Wait’，多做题：NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词，触发冗余验证循环，拖慢速度、增加算力消耗。NoWait方法零训练成本，通过抓关键词、扩展变体、实时屏蔽，让模型跳过废话，在多任务中表现出色，且颠覆对推理的认知。
GUI 精准定位新 SoTA：LASER 让模型从“看全图”走向“锁重点”
多模态大模型在高分辨率、元素密集的 GUI 场景易误判。苏州大学 OpenNLG 团队提出 LASER 方法，让模型学会主动推理，通过关键区域聚焦等提升定位精度，在基准测试中表现出色。