算法论文8
0.01%参数,大模型低数据微调新方案
量子位
AI 摘要
瑞典隆德大学与Google DeepMind团队:低数据场景下,大模型微调中直接调Value投影里的b(v),比调b(q)或b(k)下游性能更好,可大幅省参,且提出关键设计原则。
阅读原文 · 量子位
0.01%参数就能接近全量微调!低数据微调极致省参方案来了 | ACL'26
瑞典隆德大学与Google DeepMind团队研究大模型微调省参方案。发现低数据场景下,微调Value投影中的b(v)比b(q)或b(k)性能更好。该研究已被ACL 2026接收,集成进Hugging Face - PEFT库。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
OpenAI自研芯片「墨西哥辣椒」跑赢英伟达
OpenAI公布自研推理芯片Jalapeño(墨西哥辣椒)测试结果,它专为大语言模型推理设计,能同时提升吞吐量和降低延迟,在多模型测试中超NVIDIA系统。该芯片与Cerebras合作,计划2026年底部署。
机器之心
算法论文8
15家机构:图工程尽头是本体工程
15家机构联合发布图工程系统性综述,指出此前“XX工程”范式多优化单个智能体,而图工程能将智能提升到系统层面。论文还指出图工程语义局限,认为本体工程可作下一代系统智能语义地基。
PaperAgent
推荐文章7
中国AI突破,Agent接管芯片设计全流程
RSI成人工智能前沿方向,芯片设计因有确定性验证体系,成其率先落地赛道。NovaSilicon完成融资,探索出芯片设计智能系统,发表论文介绍构建运行方法,将重塑行业。
新智元
新闻资讯8
英伟达首测Vera Rubin,Agent时代格局重写
英伟达公布下一代旗舰级机柜Vera Rubin NVL72片上实测数据,用DeepSeek - V4 - Pro跑任务,每兆瓦吞吐量最高升30倍、Token成本最高降35倍。还宣布Groq 3 LPX量产,推出Agent专属Vera CPU,被SpaceXAI采用。
新智元