算法论文8
Meta:TinyLoRA小参数激发大模型推理力
AIGC开放社区
AI 摘要
Meta等团队提出TinyLoRA技术,配合强化学习,用极少参数显著提升大模型数学推理能力。如Qwen2.5-7B用13个参数,准确率从76%升至91%,但在创意等领域效果待探索。
阅读原文 · AIGC开放社区
逆天!Mata用13个参数26字节让模型正确率从76%飙升至91%
Meta等机构研究人员发布TinyLoRA极致微调技术,配合强化学习,能在几乎不改变大模型原有结构下,用极少数参数激发其推理能力。该技术在数学推理上表现出色,还探索了参数共享策略和存储精度问题。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文8
清华Jev-LDE:一次编辑暴涨ICL准确率
清华大学自动化系研究者针对大模型上下文学习(ICL)中示例选择成本高、效果不佳的问题,提出Jev-LDE方法,仅对初始检索示例做一次局部编辑,即可大幅提升1-shot准确率,推理成本增量很低。
机器之心
推荐文章9
三万字讲透大语言模型入门
本文是面向零基础的大语言模型入门长文,无需机器学习背景,只用简单例子讲清大语言模型的核心逻辑,覆盖从原理到产品化的全流程,适合新人系统学习。
腾讯技术工程
新闻资讯8
传英伟达拟收购Reflection AI
本文是InfoQ编译的科技播客访谈,Reflection AI由前Google DeepMind Gemini团队成员创立,近期发布了5010亿参数的开放大模型Beam,主打编程、推理和智能体任务,发布一周后传出英伟达拟收购该公司的消息,访谈中分享了对开放模型诸多问题的观点。
InfoQ
新闻资讯9
九章云极问鼎陶哲轩数学挑战赛
本文报道九章云极言表实验室在陶哲轩发起的数学蒸馏挑战赛第二阶段拿下全部赛道满分,解决28个未解决开放数学问题,介绍了其可验证AI+强化学习的AI4S布局。
机器之心