算法论文8

GOAT框架：单卡微调大模型

量子位2025-05-28

AI 摘要

华中科技大学和香港中文大学团队：提出GOAT框架解决大模型微调成本高难题，在25个数据集验证优越性，内存占用降8倍，单卡可训练，未来有望挖掘AI潜能。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

0.01%参数，大模型低数据微调新方案

瑞典隆德大学与Google DeepMind团队研究大模型微调省参方案。发现低数据场景下，微调Value投影中的b(v)比b(q)或b(k)性能更好。该研究已被ACL 2026接收，集成进Hugging Face - PEFT库。

2026年6月智谱开源GLM - 5.2，心洲科技前沿实验室Mind Lab开源Macaron - V1，基座升级至GLM - 5.2。它押注持续学习与群体智能，成绩优于基座，相关理念和工程路径获验证。

7 月，TML 发布 Inkling 模型，Mind Lab 发布 Macaron V1，二者均针对持续学习场景。持续学习走「参数空间的迭代」路线，让模型用得越多越好用。硅谷已有不少新尝试，产业链正在形成。

哈萨克斯坦团队论文对比CNN和用LoRA微调的VLM在乳腺癌病理分类上的表现。指出VLM微调后接近CNN水平，但CNN仍是王者。还介绍LoRA原理、实验设计、结果，给出实战代码及对从业者和研究者的启示。