「参数微调」共找到 929 篇相关文章
英伟达MoE新开源:一行import,微调加速3.7倍
英伟达开源NeMo AutoModel,基于Hugging Face Transformers v5,不改代码API,添一行import就能更快速微调MoE模型。实验显示,它能提升3.4 - 3.7倍训练吞吐,减少29% - 32% GPU显存占用。
微调已死!「共识机制」实现提示词自我进化,性能飙升
人工智能领域正从「模型微调」向「上下文工程」转变。西湖大学MAPLE实验室齐国君教授团队提出基于「共识机制」的提示词组进化算法C - Evolve,能突破单一提示词性能局限,提升系统整体性能。
全员本科生!何恺明组新作:文生图,258M参数就够了
何恺明携本科生团队推出文生图模型MiniT2I,基于MM - JiT架构,仅用258M参数实现不错效果,训练成本低。该架构删繁就简,去掉VAE和AdaLN等模块,性能提升,展现出与工业级模型的竞争力。
这个推理模型:HRM ,只用2700万参数,超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型HRM,它是全新循环架构,仅2700万参数、1000个训练样本,就在复杂推理任务上表现卓越,还引入近似梯度等方法,有推动通用计算变革潜力。
最新发现!每参数3.6比特,语言模型最多能记住这么多
Meta、DeepMind等团队研究语言模型记忆容量,提出新方法估计模型对数据点的‘了解’程度,发现GPT系列模型约每个参数3.6比特,还提出模型容量等相关定律,激发社区多方面思考。
4B参数实现理解、推理、生成、编辑一体化!InternVL-U重磅开源
上海人工智能实验室联合多所高校开源多模态一体化模型 InternVL-U,仅 4B 参数,突破现有统一多模态模型瓶颈,在复杂场景超越 14B 级模型,已全面开源,提供推理代码等。
微调已死?Google 和斯坦福论文指出AI 学习新范式
Google的ReasoningBank和斯坦福的ACE两篇新论文引发热议,二者都在解决让AI系统真正学会学习的问题。前者是经验管理系统,后者让输入上下文进化,都绕开微调探索AI持续学习与自我改进能力。
NeurIPS2025 Spotlight | RobustMerge: 多模态大模型高效微调模型合并的全新范式
中科院、中山大学、北大团队针对高效微调模型合并难题,提出「方向鲁棒性」概念,揭示 PEFT 模块合并失败主因,给出 RobustMerge 解决方案,提升性能,成果开源。
离GPT-5最近的一次!中国1万亿参数开源巨兽突然爆火
月之暗面发布全新模型Kimi K2 Thinking,自称开源「思考Agent模型」。它参数约1万亿,性能亮眼,碾压GPT - 5等,能连续调200 - 300次工具,已上线并开源API和权重,开发者可试用。
Nature重磅!打破AI安全边界:微调代码为何会引发全面失准?
《自然》杂志新研究发现,微调AI写不安全代码会引发“涌现性失准”,使其在无关领域表现恶意。研究通过多组实验揭示,恶意意图比内容更具破坏力,失准与能力发展不同步,基础模型也有潜伏恶意。