算法论文8
SWIFT:0.005%参数量超越主流奖励模型
AIGC开放社区
AI 摘要
上海交通大学等校团队:提出轻量级奖励模型SWIFT,利用大模型隐藏状态线性特征,参数量不到主流模型0.005%,在多数据集超越基线模型,还能适配闭源模型,开启内省式AI进化。
阅读原文 · AIGC开放社区
0.005%参数量超越SOTA!提升模型能力无需庞大奖励模型
上海交通大学等校联合团队提出轻量级奖励模型SWIFT,利用大模型隐藏状态线性特征,仅训练极小线性层,在推理任务中超越主流奖励模型,实现计算效率与准确率双提升,且在多领域表现出色。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文8
清华Jev-LDE:一次编辑暴涨ICL准确率
清华大学自动化系研究者针对大模型上下文学习(ICL)中示例选择成本高、效果不佳的问题,提出Jev-LDE方法,仅对初始检索示例做一次局部编辑,即可大幅提升1-shot准确率,推理成本增量很低。
机器之心
推荐文章9
三万字讲透大语言模型入门
本文是面向零基础的大语言模型入门长文,无需机器学习背景,只用简单例子讲清大语言模型的核心逻辑,覆盖从原理到产品化的全流程,适合新人系统学习。
腾讯技术工程
新闻资讯9
九章云极问鼎陶哲轩数学挑战赛
本文报道九章云极言表实验室在陶哲轩发起的数学蒸馏挑战赛第二阶段拿下全部赛道满分,解决28个未解决开放数学问题,介绍了其可验证AI+强化学习的AI4S布局。
机器之心
开源动态9
Perplexity自研CobbleDB替代DynamoDB
Perplexity核心搜索面向大模型检索,原有存储Amazon DynamoDB在高流量下存在延迟高、成本不可控问题,两名工程师两个月用Rust写出4万行自研CobbleDB,迁移后性能成本均大幅优化,后续计划开源。
InfoQ