「LoRA训练方法」共找到 3284 篇相关文章
苹果推出 Ferret-UI Lite：一款用于查看和控制 UI 的端侧 AI 模型
苹果推出 30 亿参数的 Ferret-UI Lite 端侧 AI 模型，可解析屏幕图像、与应用交互。现有 GUI 智能体方法存在建模复杂等问题，Ferret-UI Lite 性能有竞争力，训练采用两阶段流程，还给出应用建议。
南洋理工、北大、上海AI实验室开源长记忆世界模型
目前世界模型模拟方法在维持长期一致性上有挑战，南洋理工大学、北京大学王选计算机技术研究所、上海人工智能实验室联合开源长记忆世界模型WORLDMEM，介绍了其记忆机制、基础架构、训练技术及检索策略等。
推理快30%，性能超过千亿参数模型，15B模型Apriel-1.6重新定义端侧推理
ServiceNow人工智能团队发布的Apriel-1.6-15b-Thinker，以150亿参数体量，多模态推理能力强，推理Token消耗降超30%。它在AI分析指数成绩佳，优化计算成本，还介绍了训练策略与多维度性能实测情况。
Hugging Face 推出 GOLD：让不同模型家族也能做知识蒸馏
Hugging Face研究团队提出GOLD方法，解决了知识蒸馏中老师和学生模型需用同一套分词器的痛点，让不同模型家族间也能做知识蒸馏。它通过三步解决跨分词器蒸馏，实验效果良好，已集成到TRL库。
ICML 2026｜告别「单线程」思维，智能体进化出了原生的并行推理大脑
北京通用人工智能研究院语言交互实验室提出原生并行推理器NPR，它有「自蒸馏 + 并行强化学习」三阶段训练范式，配套并行推理引擎，让并行推理成模型原生认知能力，还介绍了其具体实现、实验结论等。
当SFT遇上RL：基于样本学习阶段的动态策略优化机制
在大模型推理能力增强研究中，SFT和RL两种后训练范式难有效融合。研究团队提出DYPO动态策略优化方法，先判断样本学习阶段再匹配优化路径，在多场景实验中表现出色，不过有实验边界。
Transformer学不会多位数乘法？MIT和哈佛的研究指出了一个简单漏洞
MIT、哈佛和谷歌DeepMind团队实验发现，Transformer做4位数乘法有软肋。用‘隐式思维链’（ICoT）训练的模型准确率达100%，传统方法仅1%。研究揭示了问题根源，还给出修复方案，但也引发诸多质疑。
国产大模型新SOTA：蚂蚁万亿级旗舰模型赶超GPT-5
蚂蚁集团开源万亿参数旗舰大模型Ling-1T，属Ling 2.0家族。它激活比例低降低运算成本，训练有“Ling缩放定律”等方法，多项测试超主流模型，不过处理超长上下文成本较高。
更多thinking≠更好结果，精准thinking可砍掉一半长度
当前大模型如GPT - 4、DeepSeek推理又长又啰嗦，论文发现其在简单题目上过度推理。作者提出‘无效思考’概念，还给出解决原则，用LC - R1方法训练，效果显著，揭示精准思考才是王道。
单卡即可微调大模型！内存占用仅1/8，性能依然拉满 | ICML 2025
基础大模型应用于下游任务时微调成本高，低秩适应（LoRA）方法虽降低成本，但性能不及全量微调。华中科技大学和香港中文大学团队提出GOAT框架，在25个多领域任务验证效果好，内存占用仅1/8。