「小语言模型」共找到 8278 篇相关文章
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
4B模型幻觉抑制能力超越GPT-5，CMU等提出行为校准强化学习新方法
大语言模型幻觉问题是部署难题，CMU等研究人员提出行为校准强化学习新方法，重新设计奖励函数。经训练，40亿参数模型幻觉抑制力超GPT - 5，实验证明该方法效果显著，还带来理论洞察。
以小博大，仅1.7B媲美gemini2.5-pro，达到SOTA文档解析性能
dots.ocr是多语言开源文档解析器，把布局检测和内容识别统一在视觉语言模型中，虽LLM仅1.7B参数，却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。
从最优传输角度训练奖励模型：让 RLHF 学会「忽略错误偏好」丨ICML 2026
浙江大学、小红书、北京大学等团队提出SelectiveRM，基于最优传输训练奖励模型。它重构训练目标，通过选择性分布对齐排除噪声偏好，解决了奖励模型训练中监督信号不可靠的问题，实验验证其有效且泛化能力好。
「一只手有几根手指」，你的GPT-5答对了吗？
CMU博士生Tairan He测试发现GPT - 5答错‘一只手有几根手指’问题，指出语言难满足视觉与机器人领域需求，需VLM和VLA模型。编辑部测试发现顶尖大模型面对常识问题也会‘翻车’，还探讨了应对方法。
腾讯与中科院联合提出R-4B，一个能自动决定是否思考的多模态大模型
多模态大语言模型“始终思考”模式有缺陷，腾讯混元团队与中科院自动化所联合提出R - 4B，通过双模式退火训练和双模式策略优化实现自动思考，在多评测中达SoTA，省资源且效果好。
ICML 2025 Spotlight | 多模态大模型暴露短板？EMMA基准深度揭秘多模态推理能力
最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。
ICML 2026 | 将多教师冲突转化为动态约束，破解多模态大模型推理对齐难题
在多模态大模型发展中，多教师知识蒸馏成提升性能关键，但教师模型存在“概念漂移”问题。悉尼科技大学团队提出 APO 框架，将模型间“漂移”转化为动态负约束，解决多模态大模型多师蒸馏概念对齐难题，工作被 ICML 2026 接收。
百川开源医疗增强大模型 Baichuan-M2：更符合中国临床诊疗场景，可 4090 单卡部署
百川智能发布并开源医疗增强大模型 Baichuan-M2，以更小尺寸反超 OpenAI 新模型。它可 4090 单卡部署，成本低，在 HealthBench 评测表现佳，免费开源，更适配中国临床诊疗场景。
苹果港大终结自回归时代？7B扩散模型发布，AI写代码逻辑彻底颠覆！
苹果联合港大开源扩散大语言模型DiffuCoder，用扩散模型+强化学习策略，性能提升4.4%。研究还提出耦合梯度奖励策略优化方法，建立原生RL训练框架，探究了dLLM的生成机制等问题。