「混合精度训练」共找到 2462 篇相关文章
告别卡脖子，华为黑科技破局！昇腾推理加速1.6倍打破LLM降智魔咒
大模型参数规模大，推理部署难。华为诺亚提出Pangu Light框架，结合算法创新与国产昇腾平台，通过跨层注意力剪枝等技术，解决剪枝后模型失稳问题，实现高压缩率、推理加速与高精度。
GPT-5 最强大的，是编程
据报道，OpenAI的GPT - 5即将到来且早期反馈积极。它在编程领域表现突出，尤其在实际编程任务上有提升，不过其具体形式存疑，改进或多来自后训练阶段的强化学习。
重大技术突破！微软发布BioEmu模型，蛋白质模拟从数年压缩至几小时
今天凌晨，微软CEO分享蛋白质模拟模型BioEmu，可将蛋白质动态模拟从数年缩至几小时，已在《自然》发表。它能解决传统方法难题，核心设计独特，训练整合多数据源、采用多阶段策略。
OpenAI公告正经解释：为什么GPT-5.5爱说“哥布林”
OpenAI官网发公告回应GPT-5.5爱说“哥布林”问题。原来是对“书呆子”人格训练时，无意中对使用生物比喻的模型给予高奖励，导致“哥布林”表述扩散。之后移除相关奖励和过滤数据来解决。
视频生成1.3B碾压14B、图像生成直逼GPT-4o！港科&快手开源测试时扩展新范式
香港科技大学联合快手可灵团队推出 EvoSearch 方法，支持图像和视频生成。该方法无需训练和梯度更新，能提升模型生成质量，展现了 test - time scaling 补充 training - time scaling 的潜力，目前论文和代码已开源。
全新线性注意力范式！哈工深张正团队提出模长感知线性注意力！显存直降92.3%！
哈工深张正团队联合多团队发布论文，提出 NaLaFormer 框架，解决线性注意力两大核心缺陷，保持线性复杂度同时精度超越，在多任务表现出色，如超分任务显存降 92.3%。
中国科学SCPMA | 南科大王建春团队：基于改进隐式轴向分解Transformer的三维槽道湍流快速预测
南科大王建春团队改进IFactFormer模型，采用“并行”轴向分解注意力机制，提升在复杂流动问题中的表征能力和稳定性。实验显示，改进模型拟合与长期预测能力强，多数指标精度优于传统方法。
彻底改写Transformer！「能量驱动架构」横空出世，通用推理时代要来了？
UIUC、斯坦福与哈佛联合提出全新「能量驱动Transformer（EBT）」架构，打破「前馈即推理」旧范式，以能量最小化模拟人类思维，训练更高效、推理更精准，在多方面超越传统Transformer。
RAG创新了，MCompassRAG装上了语义指南针
RAG系统存在chunk切分难题，现有方案有额外成本。MCompassRAG不切细、不rerank，给粗chunk加主题元数据当指南针，训练推理分离，实验显示信息效率提升、延迟降低。
Anthropic 研究发现：仅需少量污染文档即可对 LLM 实施投毒
Anthropic的Alignment Science团队研究大语言模型训练投毒攻击，实验发现仅250条恶意样本就能植入“后门”，且模型越大攻击越易，还对微调数据集实验，引发讨论。