算法论文8
关键表征微调:0.016%参数撬18%性能
深度学习自然语言处理
AI 摘要
大语言模型推理任务有瓶颈,传统PEFT和ReFT各有局限。作者提出CRFT,仅用0.016%参数量就提升性能,在多任务、少样本场景优势明显,未来可探索更多优化空间。
阅读原文 · 深度学习自然语言处理
0.016%参数撬动18%性能:关键表征微调破解LLM推理瓶颈
大语言模型在推理任务依赖思维链技术,传统PEFT方法需修改大量参数,新兴ReFT虽只需调整少量参数,但存在不足。本文提出CRFT,仅用0.016%参数量就提升性能,为轻量化推理增强开辟新路径。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
开源动态8
REA三天12万星 闭源神话动摇
GitHub开源项目REA上线三天狂揽12万星,它让AI Agent串联传统逆向工具,可无需源码分析各类软件并生成相似功能代码,动摇了闭源软件“源码不公开”的价值基础,引发行业对软件商业模式的广泛讨论。
InfoQ
新闻资讯8
字节发现DeepSeek弱点 实测V4.1结果不同
本文报道字节Seed团队发现DeepSeek V4基础模型因分块KV压缩存在周期性相位敏感性弱点,作者复刻实验实测现役DeepSeek V4.1-Flash,讨论了长上下文评测的盲区,新版本弱点已明显减轻。
AI科技评论
新闻资讯9
GPT-6 Astra证明57年摆圆难题
本文报道了数学爱好者nor借助GPT-6 Astra,完成了搁置57年的“圆内摆圆”问题中N≤20剩余5种情况的严格最优性证明,展现了AI在数学研究领域的新应用。
量子位
新闻资讯9
字节Seed实习生曝DeepSeek-V4技术缺陷
本文报道字节跳动Seed团队联合多校研究者,发现DeepSeek-V4因分块KV缓存压缩设计存在长文本检索周期性盲区,深入拆解缺陷根源,曝光传统大模型长文本评测的盲区。
InfoQ