「层级权重共享」共找到 373 篇相关文章
微软 SkillOpt:不动模型权重,只训练那份「技能说明书」
微软研究院 Yifan Yang 等人推出 SkillOpt,思路反直觉,不动模型权重,把「技能文档」当可训练参数。它在 52 个组合中表现最优,技能可迁移,代码已开源,还支持多操作。
阿里Qwen悄悄放出6个开源权重,国庆卷疯了~
国庆期间,阿里通义千问悄悄放出6个开源模型权重,Qwen3-VL是通义千问系列最强大的视觉 - 语言模型。其30B版本多模态表现媲美GPT - 5 - Mini等,功能与架构均有升级。
Vercel发布skills 1.1.1:让Skills跨平台共享
Vercel发布skills 1.1.1命令行工具,解决AI助手技能发现和管理标准化问题。它打破技能孤岛,让技能跨27种AI助手共享。更新有交互式发现等功能,项目开源,使用方便,欲建开放标准。
狂涨 10.3k star!共享虚拟浏览器,太酷了!
今天分享项目`Neko`,是基于Docker的虚拟浏览器,用WebRTC技术服务。能在安全隔离环境上网、浏览、运行程序,适合和人共享页面,可一起观影、购物、协同工作,目前在Github获10.3K star。
CVPR 2026 | ReFTA:打破张量化PEFT的「权重重建」瓶颈
随着大模型发展,全参数微调成本高,参数高效微调(PEFT)成主流。常见基于矩阵低秩分解的PEFT方法有局限,张量化PEFT虽有优势但存在权重重建问题。本文提出ReFTA方法解决该问题,有工程和理论优势。
「重要性采样」并不「重要」?快手清华ASPO攻克重要性采样权重错配
快手与清华合作团队发现大语言模型结果监督强化学习中,重要性采样机制“失灵”,存在权重错配现象。为此提出算法ASPO,在多基准测试中展现优势,训练更稳定。
The Batch: 954 | Kimi K2.6 挑战开源权重模型领先者
Moonshot AI升级后的Kimi K2.6是1万亿参数的视觉 - 语言模型,专为代码生成设计,性能与Qwen3.6 Max Preview等相当,略逊顶级闭源模型。其功能多,幻觉率低,模型权重可免费下载。
冻结模型权重,Agent还能持续进化:ModularRSI探索Harness自我改进
IQuest Research联合北京航空航天大学、曼彻斯特大学等机构发布ModularRSI研究,探索在基础模型权重冻结的条件下,通过演化Agent外围运行机制Harness,实现可泛化的Agent自我改进,性能提升可跨任务、领域、模型迁移。
0.01%参数定生死!苹果揭秘LLM「超级权重」,删掉就会胡说八道
苹果研究人员发现大模型中极少量的「超级权重」,即便占比仅0.01%,对模型能力影响巨大。这一发现为大模型「科学瘦身」提供思路,还提出定位方法,助力模型量化和未来研究。
DeepSeek-GRPO重要性权重设计错误?详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定,因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法,从序列维度计算梯度,解决了MoE模型RL训练的稳定性问题,在Qwen3上效率更高。