搜索：小模型推理能力

「小模型推理能力」共找到 9209 篇相关文章

Qwen&清华团队颠覆常识：大模型强化学习仅用20%关键token，比用全部token训练还好

Qwen与清华LeapLab团队研究发现，大模型强化学习训练推理能力时，仅20%高熵token就能撑起效果，甚至超全部token训练。团队用此在Qwen3-32B创造新SOTA记录，还探讨了强化学习的相关特性。

华为泰勒实验室等团队提出 SHAPE，给推理链装「里程碑 + 推理税」机制。它分三步，能统一势能增益度量、阶段难度感知和 token 效率约束。实验显示，它提升准确率、降低 token 消耗，还解决了推理坍缩等问题。

大型语言模型（LLMs）的思维链（CoT）推理能力被视为突破性进展，但论文揭示CoT可能只是数据分布内的模式匹配幻象，通过实验证明其在分布偏移时表现急剧退化，挑战主流认知。

文章指出推理阶段扩展（TTS）能提升推理大模型解决复杂问题的能力，但会产生大量冗余计算。为此提出首个面向TTS的投机解码加速综合基准，评测显示N - gram方法在特定场景加速潜力大，混合策略性能更优。

大模型时代，金融智能投顾落地是技术与业务安全的双重挑战。北银金科高级算法专家尹辰轩表示采用“大小模型协同”架构，能在性能、准确性与合规间找平衡，还阐述了架构亮点、问题解决办法等。

本文是对阿里通义千问Qwen多语言负责人杨宝嵩的专访。他透露Qwen一开始就将国际化视作核心战略，团队建立文化标注体系确保内容安全合规。还谈到多语言推理难题及应对策略，认为扩大模型规模和数据量仍重要，合成数据是延续Scaling Law的关键。

过去通用视觉模型（VGM）是研究热点，想实现‘视觉模型大一统’。但大语言模型发展使研究热点转移，视觉‘独立性’被重新定义。清华鲁继文团队综述梳理其进展，探讨现状、挑战与应用潜力。

大语言模型幻觉问题待解，成本与算力需求攀升。清华孙茂松团队联合深言科技提出FaithLens模型，把幻觉检测提升为整体评估，以解释作为训练信号，8B模型在多任务上超闭源大模型。

春节前字节发布豆包大模型 2.0，其在 Text 领域进入榜单前十，视觉能力全球第四且成本低。它定位多模态 Agent 模型，有多种能力升级，文中用多个案例展示其强大，还强调字节重原生能力非简单蒸馏。

豆包大模型团队与北京交通大学联合提出视觉世界模型 “VideoWorld 2”，无需依赖语言模型，仅靠视觉信息让机器掌握复杂能力。它能完成复杂手工任务，成功率远超主流模型，代码与模型已开源。