「高效注意力机制」共找到 1489 篇相关文章
图灵巨头反水!ICML新规血洗学术圈,学术散户只能「裸奔」
2025年NeurIPS投稿量大增致评审系统危机,ICML 2026推出作者自评级新政。图灵奖得主Bengio支持,认为可利用‘偏见’降噪。但该机制对只投一篇论文的‘学术散户’不利,或奖励‘灌水’。
向黄仁勋汇报的英伟达36人
文章曝光向英伟达CEO黄仁勋汇报的有36人,分属七个职能板块。硬件是基石,AI等成“第二支柱”,还需系统化对外沟通机制,文中介绍关键将领,也谈及管理模式变化及高压文化。
AEPO:智能体熵平衡策略优化,让探索更稳,推理更深!
中国人民大学与快手团队联合提出 AEPO 算法,解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制,在 14 个基准上优于主流算法,在 X 等平台获高关注。
集合通信库VCCL释放GPU极致算力,创智、基流、智谱、联通、北航、清华、东南重磅开源
在超大规模智算集群需求下,创智、基流等多方联合开源集合通信库VCCL。它基于NCCL开发,有智能调度、容错、细粒度观测机制,实测能提升算力利用率、降低故障率,还解决了服务器异构等问题。
5Y View|欢迎来到评测时代
强化学习推动AI突破,模型将刷爆既有评测,AI实验室面临评测饥荒。构建评测与RL环境是利用人类时间的高效方式,不同领域有不同验证方式,Mercor已率先拓展RL数据边界。
答对了却没看图?EASE给多模态RLVR装上「视线校正器」
强化学习与可验证奖励提升视觉语言模型推理能力,但存在答案奖励只知对错、不知证据区域问题。哈工大等团队提出EASE,把标注证据区转为目标分布,监督空间注意力,推理无额外标注,实验成绩优异。
蚂蚁集团扩散大语言模型新突破:超800Token/s,速度与质量兼得
蚂蚁集团将LLaDA更新到2.1,通过引入“草稿 - 编辑”机制,打破扩散模型推理速度与质量的对立僵局。它有极速和质量两种模式,还采用混合训练流程及强化学习,在多基准测试中表现出色。
Qwen-lmage-Layered:图片分层 指哪改哪
全新图像生成模型Qwen-lmage-Layered采用自研架构,将图片“拆解”成多个图层,各图层可独立操作。其提出新编辑思路,有RGBA - VAE等亮点,支持灵活迭代分解,能实现精准高效的图像编辑。
华为盘古首次露出,昇腾原生72B MoE架构,SuperCLUE千亿内模型并列国内第一
当前传统 MoE 有专家激活不均衡问题,华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练,推理性能强,在 SuperCLUE 榜单千亿内模型并列国内第一,赋能业务落地。
天下苦CUDA久矣,又一国产方案上桌了
AI开发中,国产硬件增多,但开发者仍依赖进口生态。KernelCAT作为国产AI Agent应运而生,它能开发高性能算子,在昇腾芯片测试中表现出色,还能助力模型在国产平台高效迁移,限时免费内测。