「小模型性能」共找到 8697 篇相关文章
苹果提出原生多模态Scaling Law！早融合+MoE，性能飙升秘密武器
如今打造强大多模态模型是AI重要目标，常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究，对比早融合与后融合，探讨多种因素对模型性能影响，发现早融合、多模态MoE优势，为后续研究指明方向。
升级版Qwen3开源模型深夜来袭，超越Kimi-K2、DeepSeek-V3
深夜阿里千问推出 Qwen3-235B-A22B-Instruct-2507-FP8 版本。新模型通用能力显著提升，在多测评中表现出色，超 Kimi-K2 等模型。还增强多语言知识覆盖等性能，已在魔搭和 HuggingFace 开源。
单卡即可微调大模型！内存占用仅1/8，性能依然拉满 | ICML 2025
基础大模型应用于下游任务时微调成本高，低秩适应（LoRA）方法虽降低成本，但性能不及全量微调。华中科技大学和香港中文大学团队提出GOAT框架，在25个多领域任务验证效果好，内存占用仅1/8。
Meta 143亿挖角后的首个作品：Alexandr Wang 推出闭源模型，杨立坤点赞
沉寂9个月后，Alexandr Wang带队的Meta发布新一代模型Muse Spark。它是原生多模态推理模型，性能媲美Gemini Pro和GPT 5.4，在多领域有应用潜力。不过闭源引争议，且在部分领域有短板。
Jeff Dean最新访谈：基础模型越来越强，小团队如何与谷歌等巨头竞争？
Jeff Dean 在 Y Combinator 活动中与 Diana Hu 对谈，探讨 AI 创业者面临的问题。他指出推理成新瓶颈，预计有更多推理硬件；Agent 执行复杂任务进步快；小团队可找 1%成功率问题；还提及稀缺能力及创业建议。
10行代码，AIME24/25提高15%！揭秘大模型强化学习熵机制
来自多机构的研究者揭示大模型强化学习中熵变化机制。发现策略熵在训练中急剧下降致性能停滞，提出 Clip - Cov 与 KL - Cov 两种正则化技术调控高协方差标记，遏制熵塌缩，在部分数据集上性能提升显著。
英伟达发现RL Scaling！创造力暴涨，做基座模型做不了的事！
过去学界争论强化学习（RL）对语言模型的作用，此前研究认为其效果有限。本文发现问题出在训练时间短，提出ProRL，让训练突破2000步以上，结果惊人，小模型也能有出色表现。
上交大 × 华为小艺推出LoPA：7B扩散语言模型单样例1000+ tokens/s！
上海交通大学DENG Lab联合华为小艺团队提出无需训练的解码算法LoPA，配合自研的LoPA - Dist分布式推理系统，显著提升扩散大语言模型（dLLMs）的推理并行度和吞吐量，将推理效率推向新高度。
POF|清华大学张宇飞团队：采用数据驱动湍流模型的三维增升装置模拟
传统RANS方法预测分离流动有挑战，数据驱动湍流模型泛化性能有局限。清华大学张宇飞团队研究其在复杂三维增升装置应用，验证SST - CND模型泛化能力及修正项迁移能力，证明其可用于真实工程流动问题。
Mistral 3发布，14B多模态小模型表现优异
Mistral AI第三代模型发布，含三个小型密集模型和稀疏混合专家模型Mistral Large 3，全用Apache 2.0许可。有多项技术亮点，Ollama等支持部署微调，还给出实用配置建议。