「LoRA训练方法」共找到 3281 篇相关文章
训练MoE足足提速70%！华为只用了3招
Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。
英伟达：RLP 让 AI 在预训练时就学会思考
英伟达研究团队发布 RLP 技术，与传统大语言模型训练不同，它在预训练阶段就让模型学会'先想后说'。通过奖励机制自我监督，实验效果惊人，性能提升显著，不挑数据，打破了大模型训练范式。
Thinking Machines曝LoRA终极指南：10倍学习率，媲美全参微调
Thinking Machines推出论文《LoRA Without Regret》，研究LoRA与FullFT达到相近表现的条件。通过实验发现，把握关键细节，LoRA可与FullFT性能相当，还探讨了关键因素、批大小效应等内容。
为了训练AI，Meta强制监控了员工的鼠标和键盘
近日，Meta宣布在美国员工电脑装追踪软件，记录鼠标、键盘操作及截取屏幕内容，用于训练AI。这引发员工愤怒，Meta CTO称员工无法退出。Meta AI投入大，此举或因缺训练数据，但也被质疑是在训练替代者。
蚂蚁灵波开源LingBot-VLA后训练代码！150条示教数据即可适配新机器人
蚂蚁集团旗下灵波科技全面开源具身基座模型LingBot-VLA的真机后训练工具链，覆盖四个关键环节。模型基于2万小时真实机器人数据预训练，仅需150条演示数据就能迁移任务，训练效率更高。代码库已在GitHub开源。
AAAI 2026｜新突破：北大彭宇新团队提出可见光-红外终身行人重识别方法CKDA
终身行人重识别有重要应用价值，但现有方法在学习特定模态新知识时，会阻碍跨模态公共旧知识保留。北大彭宇新团队提出CKDA方法，解耦并净化不同模态信息，实现跨模态知识权衡，在相关基准上取得最优性能。
【独家】对话汤元科技任冬淳：物理AI的瓶颈，在于训练体系｜甲子光年
对话汤元科技任冬淳，探讨物理AI瓶颈。他认为物理AI瓶颈在训练体系，要满足数据结构质量、训练验证闭环、数据规模效率三要求。汤元构建训练底座，为具身智能和智驾提供服务，具身智能是未来重心。
手术刀式去噪突破LLM能力上限，从头预训练模型下游任务平均提高7.2% | 中科院＆阿里
中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。
“多模态方法无法实现AGI”
文章指出一些人认为多模态方法能实现AGI，但作者觉得此策略会失败。真正的AGI要理解物理世界，而LLMs只是记忆规则。此外，规模最大化方法用于AGI有数据稀缺问题，多模态建模也存在诸多问题。