算法论文8
ReFTA打破张量化PEFT权重重建瓶颈
机器之心
AI 摘要
大模型全参数微调成本高,PEFT成主流但有局限。张量化PEFT遇权重重建难题,ReFTA通过交换运算避免重建,有更小量化误差、单一rank配置,还有泛化界理论保证,为高效模型构建提供新思路。
阅读原文 · 机器之心
CVPR 2026 | ReFTA:打破张量化PEFT的「权重重建」瓶颈
随着大模型发展,全参数微调成本高,参数高效微调(PEFT)成主流。常见基于矩阵低秩分解的PEFT方法有局限,张量化PEFT虽有优势但存在权重重建问题。本文提出ReFTA方法解决该问题,有工程和理论优势。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用9
阶跃发布首款Agent手机STEPX Neo
本文作者实测体验阶跃终端推出的首款大模型原生Agent手机STEPX Neo,介绍了产品设计、原生Agent系统能力、创客开发生态与系统级安全方案,公布了产品定价与用户福利。
量子位
新闻资讯8
Kimi K3 DeepRSI夺国产第一
本文报道Jeff Dean投资的AI初创公司推出DeepRSI新基准,测试大模型递归自我改进能力,设置48小时无网络自主科研挑战,最终Kimi K3拿下国产第一、开源第一,成果引发行业关注。
量子位
算法论文8
Token压缩率飙升60% 大模型分词革新
当前大模型效率优化多聚焦降低单位Token计算存储开销,本文解读arXiv新预印论文,针对传统BPE分词的固有局限,提出CNF-MCE分词框架,可大幅提升Token压缩率,开辟大模型效率优化新路径。
InfoQ
新闻资讯8
Anthropic封禁1140万个账号
本文爆料Anthropic风控动态,上半年封禁1140万疑似数据蒸馏账号,申诉胜诉率仅10%,大量正常用户被误杀,同时对比了中外大模型的使用体验差距。
探索AGI