「线性注意力机制」共找到 1036 篇相关文章
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。
来了，DeepSeek又悄悄开源LPLB项目
DeepSeek 悄悄开源 LPLB 项目，该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上，将‘冗余专家’看成带容量边的图，每批解一次线性规划，实现 token 重新路由，单节点 100µs 级求解。
重新思考RLVR中的熵正则：从探索不足到探索过度的破局之路
2024年以来，RLVR使大模型在推理任务有显著突破，但实践中探索机制易失衡。传统熵正则化在LRM场景易走向极端，研究团队提出SIREN方法精准调控探索，实验显示其在多模型和数据集上性能提升显著。
统计学和机器学到底有什么区别？
文章探讨统计学和机器学习的区别，指出两者目的不同，统计模型重推断关系，机器学习重预测。以线性回归为例说明差异，还澄清常见误解，表明机器学习基于统计学但涉及多领域，最后称选方法要看目标。
复旦硬核青年：破解核材料百年难题，为人造太阳锻造不灭铠甲
张宏亮童年时便渴望稳定电力，考入复旦后历经行业寒冬。他深耕核材料研究，取得多项成果，能用新技术降低成本、能耗，揭示材料新机制，回国后又搭建研究系统、优化工艺等，还看重产学研结合和跨界融合。
你急它不急：GPT-5先判断，再决定「速答」还是「深想」
OpenAI副总裁Jerry Tworek透露，GPT - 5能判断问题难度，分配思考时间，决定何时停下。它升级了推理能力，有了时间感，采用受控思考机制，提升了复杂任务准确率，减少幻觉。其进化历经o1、o3到GPT - 5阶段。
全新 AI 消息模型：Apache RocketMQ 如何让 AI 应用拥抱事件驱动架构？
AIGC浪潮下，大语言模型重塑应用开发范式，开发者构建AI应用面临诸多挑战，需可靠高效的异步通信机制。Apache RocketMQ在AI时代演进，有轻量化通信与智能化资源调度两大创新，还介绍了多场景实践。
5秒完成3D场景编辑，北大&港中文&上海AI Lab搞出VGGT-Edit，120倍加速太炸了
北大、港中文等团队提出原生3D编辑框架VGGT-Edit，不再绕回2D，直接在3D空间编辑。它采用残差场预测等机制，在DeltaScene测试集表现出色，单次编辑约5秒，最高120倍加速。
字节&MAP重塑大模型推理算法优化重点，强化学习重在高效探索助力LLM提升上限
强化学习虽提升大语言模型表现，但面临探索难题。字节跳动等团队提出FR3E框架，分两阶段重建探索机制，在多数学推理基准实验中显著优于强基线，为大模型强化学习提供新范式。