「两阶段注意力机制」共找到 1640 篇相关文章
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
估值7.5亿美元初创意欲「撬动」8000亿半导体市场？前谷歌AlphaChip主导者创业研发「AI芯片设计自动化」
由前谷歌研究员创办的 Ricursive Intelligence 公司，尝试开发自动设计芯片的软件。其核心技术将递归智能用于芯片设计，分三阶段改进，已获 3500 万美元融资，估值 7.5 亿美元，有望变革半导体行业。
GRPO训练不再「自嗨」！快手可灵 x 中山大学推出「GRPO卫兵」，显著缓解视觉生成过优化
GRPO在视觉生成流模型后训练阶段有显著提升，但clip机制存在系统性偏差，易使模型陷入过度优化。中山大学、快手可灵等团队提出GRPO - Guard，能降低过度优化风险，在多种任务中表现良好。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。
重新思考RLVR中的熵正则：从探索不足到探索过度的破局之路
2024年以来，RLVR使大模型在推理任务有显著突破，但实践中探索机制易失衡。传统熵正则化在LRM场景易走向极端，研究团队提出SIREN方法精准调控探索，实验显示其在多模型和数据集上性能提升显著。
复旦硬核青年：破解核材料百年难题，为人造太阳锻造不灭铠甲
张宏亮童年时便渴望稳定电力，考入复旦后历经行业寒冬。他深耕核材料研究，取得多项成果，能用新技术降低成本、能耗，揭示材料新机制，回国后又搭建研究系统、优化工艺等，还看重产学研结合和跨界融合。
3年、1万人，快手技术团队首次系统披露AI研发范式升级历程
快手首次系统性披露自2023年以来的AI研发范式升级历程。其研发效能演进分三阶段，从平台化到智能化，虽遇个人提效难传导至组织提效的问题，最终仍找到提升需求端到端交付效率的路径。
全新 AI 消息模型：Apache RocketMQ 如何让 AI 应用拥抱事件驱动架构？
AIGC浪潮下，大语言模型重塑应用开发范式，开发者构建AI应用面临诸多挑战，需可靠高效的异步通信机制。Apache RocketMQ在AI时代演进，有轻量化通信与智能化资源调度两大创新，还介绍了多场景实践。
5Y News | AI-native投资管理公司GIM完成数千万美元A轮融资
近日，AI-native智能投资管理公司GIM完成A轮数千万美元融资，由弘毅投资旗下金涌投资和B Capital联合领投。公司沿着垂域大模型和自进化智能体系统两条主线建设资管基础设施，已进入实战阶段。