「混合注意力机制」共找到 1161 篇相关文章
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。
重新思考RLVR中的熵正则：从探索不足到探索过度的破局之路
2024年以来，RLVR使大模型在推理任务有显著突破，但实践中探索机制易失衡。传统熵正则化在LRM场景易走向极端，研究团队提出SIREN方法精准调控探索，实验显示其在多模型和数据集上性能提升显著。
复旦硬核青年：破解核材料百年难题，为人造太阳锻造不灭铠甲
张宏亮童年时便渴望稳定电力，考入复旦后历经行业寒冬。他深耕核材料研究，取得多项成果，能用新技术降低成本、能耗，揭示材料新机制，回国后又搭建研究系统、优化工艺等，还看重产学研结合和跨界融合。
你急它不急：GPT-5先判断，再决定「速答」还是「深想」
OpenAI副总裁Jerry Tworek透露，GPT - 5能判断问题难度，分配思考时间，决定何时停下。它升级了推理能力，有了时间感，采用受控思考机制，提升了复杂任务准确率，减少幻觉。其进化历经o1、o3到GPT - 5阶段。
JFM | 西北工业大学杨忠鑫、张伟伟等：数据驱动的特定且可泛化的湍流封闭知识发现
本文基于高精度数据结合符号回归等方法重建混合长理论，提出解决泛化性问题的策略。通过槽道等基本流动获普适公式，用于封闭求解RANS方程，在工程附着流中提升精度，为飞行器摩阻预测提供新工具。
全新 AI 消息模型：Apache RocketMQ 如何让 AI 应用拥抱事件驱动架构？
AIGC浪潮下，大语言模型重塑应用开发范式，开发者构建AI应用面临诸多挑战，需可靠高效的异步通信机制。Apache RocketMQ在AI时代演进，有轻量化通信与智能化资源调度两大创新，还介绍了多场景实践。
5秒完成3D场景编辑，北大&港中文&上海AI Lab搞出VGGT-Edit，120倍加速太炸了
北大、港中文等团队提出原生3D编辑框架VGGT-Edit，不再绕回2D，直接在3D空间编辑。它采用残差场预测等机制，在DeltaScene测试集表现出色，单次编辑约5秒，最高120倍加速。
115万片晶圆，决定2026年的“芯片战”，苹果、联发科、OpenAI火线入局
2026年“芯片战”激烈，黄仁勋宣称90%的ASIC项目会失败。AI算力芯片出货格局取决于台积电CoWoS产能。英伟达有望拿近60%产能，GPGPU阵营火力强，ASIC用于特定场景，未来或现“GPU+ASIC”混合算力世界。
字节&MAP重塑大模型推理算法优化重点，强化学习重在高效探索助力LLM提升上限
强化学习虽提升大语言模型表现，但面临探索难题。字节跳动等团队提出FR3E框架，分两阶段重建探索机制，在多数学推理基准实验中显著优于强基线，为大模型强化学习提供新范式。