「训练优化」共找到 3104 篇相关文章
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
因果发现大模型迎来「理论破局」： DAG-FM 破解异质机制下的因果图识别与涌现难题 | GAIR Paper 116
浙大、清华与稳准智能联合发布因果发现大模型DAG - FM，解决了现有模型缺乏理论基础、易产生非法环路和显存爆炸问题。它在理论上证明因果图可识别，架构上避免环路，处理数据能力强，还将推进特定领域预训练。
赌自己会失业！田渊栋八人天团狂揽44亿元，杀入「递归进化」赛道
Recursive Superintelligence由八位顶尖AI研究员创立，获GV、英伟达等投资6.5亿美元。他们要让AI自我训练，实现递归自我进化，若成功或使AI研究员岗位消失。此前已有相关成果，产品端Anthropic也在推进AI主动性。
所有环节都上最强模型，这可能是做 AI 智能体最贵的错误
开源项目 AgentOpt 指出，很多团队做 AI 智能体默认把最强模型塞进各环节，既贵效果也未必好。真正决定智能体效果和成本的是将合适模型放合适位置，智能体需要能找最优解的模型优化器。
来了，DeepSeek又悄悄开源LPLB项目
DeepSeek 悄悄开源 LPLB 项目，该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上，将‘冗余专家’看成带容量边的图，每批解一次线性规划，实现 token 重新路由，单节点 100µs 级求解。
刚刚，Figure 03人形机器人登场，能感知一枚回形针重量
Figure 03是初创公司Figure发布的第三代人形机器人，能做家务、胜任服务类工作，指尖可感知3克力。它配备新传感器和手部系统，为家庭设计，实现无线自主运行，也为量产和商业应用做了诸多优化。
大模型热度退潮，真正的技术创新者开始被「看见」
过去两年中国大模型投资多是商业模式驱动，而技术投资注重创新。DeepSeek 出圈后，独立创新成主流。今年国内大模型吸金热度下降，但智谱 AI、面壁智能仍获融资。面壁智能发布 MiniCPM 4.0，在多方面优化，展现端侧优势。
引入小目标注意力模块改进YOLO12用于无人机视角下的岸边人员玩水检测
文章介绍用小目标注意力模块改进YOLO12，用于无人机视角下岸边人员玩水检测。先介绍YOLO12特点与结构，再说明小目标注意力模块CBAM优势、流程及代码，接着阐述改进方法、数据集情况，最后给出训练和测试模型的代码与结果。
复旦硬核青年：破解核材料百年难题，为人造太阳锻造不灭铠甲
张宏亮童年时便渴望稳定电力，考入复旦后历经行业寒冬。他深耕核材料研究，取得多项成果，能用新技术降低成本、能耗，揭示材料新机制，回国后又搭建研究系统、优化工艺等，还看重产学研结合和跨界融合。