算法论文8

ReFTA打破张量化PEFT权重重建瓶颈

机器之心2026-03-27

AI 摘要

大模型全参数微调成本高，PEFT成主流但有局限。张量化PEFT遇权重重建难题，ReFTA通过交换运算避免重建，有更小量化误差、单一rank配置，还有泛化界理论保证，为高效模型构建提供新思路。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

阿里Qwen3.8-Flash发布，性价比惊人！

8月大模型厂商多上调API价格或收缩免费额度，因推理需求增长跑赢算力供给。阿里发布Qwen3.8-Flash并开源，成绩亮眼且价格低。它是Qwen4架构预演，有四大技术创新，提升了模型效率。

8月25日，OpenAI公布自研推理芯片Jalapeño性能测试结果，首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟，性能超英伟达芯片，B0版已进入制造阶段。

当下大模型能力多靠人为框架，能力上限受限。文章提出“启发学习”，将其集成到推理侧成Isaac框架，通过Prompt与网络层注入复用旧经验，实验显示能大幅提升大模型任务性能。

当多数模型公司还在争论是否开放权重时，斯坦福大学的Marin项目启动535B-A23B模型训练，并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设，引发关注。