搜索：语言模型微调

「语言模型微调」共找到 7893 篇相关文章

华人团队终结Token危机：扩散模型数据潜力超自回归三倍

最新研究发现，token数量受限下，扩散语言模型数据潜力超自回归模型三倍多。一个1B参数的扩散模型用1B tokens训练，在基准测试取得不错准确率，且未现性能饱和。

瑞典隆德大学与Google DeepMind团队研究大模型微调省参方案。发现低数据场景下，微调Value投影中的b(v)比b(q)或b(k)性能更好。该研究已被ACL 2026接收，集成进Hugging Face - PEFT库。

Inception Labs推出基于扩散技术的大语言模型Mercury，它突破自回归模型限制，生成速度快，还解决了难以回头调整的问题。实测显示其代码生成速度比传统工具最多快10倍，且有强大纠错能力，但面临与当前CI能力不匹配问题。

本文深入解读“世界模型”，虽无明确定义，但从目的出发分为表征和生成两类。前者含生物大脑、视觉和语言中心预测；后者有基于规则模拟和数据驱动生成。还探讨LLM是否为世界模型，指出各类模型相辅相成。

星海图在2025WRC展示G0模型，可让机器人自主完成铺床任务。其发布端到端双系统全身智能VLA模型G0，结合真机数据集与架构，还构建开放数据集，评测结果优于π0模型，即将开源。

深度学习之父Hinton在上海演讲《数字智能是否会取代生物智能》，指出人类可能是大语言模型，也会有幻觉，但大语言模型优于人类大脑，知识传递高效。他呼吁建立国际社群，培养不夺权的好AI。

近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。

大语言模型参数膨胀，端侧部署难，量化成主流轻量化方案。开源工具库EdgeRazor由南京大学和微软联合推出，采用MPQAD打破极低比特大语言模型“能力塌陷”，在性能、效率、易用性等方面表现出色，打通AI全生态链路。

Hugging Face开源全新视觉语言模型框架nanoVLM，仅750行代码就能从零训练高效能VLM模型。它在单张H100 GPU训练6小时后，在MMStar数据集准确率达35.3%，且能在免费Google Colab跑。

论文评估20余个开源推理模型在多领域表现，发现多数模型数学成功难迁移。揭示微调方法（RL vs SFT）决定能力泛化，SFT像‘填鸭’，RL似‘思维健身’，为构建通用推理智能体提供新路径。