搜索：合成引导预训练

「合成引导预训练」共找到 2321 篇相关文章

3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化

阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。

浙大、清华与稳准智能联合发布因果发现大模型DAG - FM，解决了现有模型缺乏理论基础、易产生非法环路和显存爆炸问题。它在理论上证明因果图可识别，架构上避免环路，处理数据能力强，还将推进特定领域预训练。

Recursive Superintelligence由八位顶尖AI研究员创立，获GV、英伟达等投资6.5亿美元。他们要让AI自我训练，实现递归自我进化，若成功或使AI研究员岗位消失。此前已有相关成果，产品端Anthropic也在推进AI主动性。

DeepSeek 悄悄开源 LPLB 项目，该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上，将‘冗余专家’看成带容量边的图，每批解一次线性规划，实现 token 重新路由，单节点 100µs 级求解。

雷峰网举办具身智能数据线上论坛，三位嘉宾探讨其从数据采集到闭环学习全过程。指出具身智能数据挑战严峻，分享真机数据稀缺解决方案，认为仿真合成数据是必经之路，还谈及产学协同、数据服务等内容。

文章介绍用小目标注意力模块改进YOLO12，用于无人机视角下岸边人员玩水检测。先介绍YOLO12特点与结构，再说明小目标注意力模块CBAM优势、流程及代码，接着阐述改进方法、数据集情况，最后给出训练和测试模型的代码与结果。

2026年5月深度机智成立一周年，其Z - WM在WorldArena Track 2夺冠，领先30.5分。该公司围绕人类第一视角数据构建完整技术体系，其成果表明生成数据可用于具身智能模型训练，具身智能竞争重心正迁移。

杨植麟发布月之暗面最强模型Kimi K2.5，经约15万亿视觉与文本混合数据预训练，有顶尖编程与视觉能力及智能体蜂群范式。在多基准测试表现优，成本低于对手，还能提升办公生产力。

国内AI芯片市场正经历变革，“去英伟达化”成热词。科技巨头推动自研，9月国产芯片捷报频传，性能追赶超越英伟达。这既因地缘政治致供应链风险，也是AI从训练到推理转变下的必然选择。

自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。