「注意力算法」共找到 756 篇相关文章
只训练数学，却在物理化学生物战胜o1！新强化学习算法带来显著性能提升，还缓解训练崩溃问题
上海创智学院、上海AI Lab的MM - Eureka系列工作提出新强化学习算法CPGD，缓解训练崩溃问题，提升性能。还构建多模态强化学习框架，推出MMK12数据集和MM - PRM模型，开源相关成果。
离职程序员深夜忏悔用“绝望指数”算法害人：Uber Eats剥削外卖员让缺钱者狂接垃圾订单！如今竟被爆帖子是AI编的？网友：别再让AI背锅了
Reddit一用户自称Uber Eats离职工程师，爆料平台用“绝望指数”算法剥削外卖员，帖子传播极广。但记者核实发现是编造，“证据”或由AI生成，网友对此调查结论看法不一。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
DeepSeek用的GRPO有那么特别吗？万字长文分析四篇精品论文
文章解读 Kimi k1.5、OpenReasonerZero、DAPO 和 Dr. GRPO 四篇论文，分析 DeepSeek R1 里 GRPO 及改进算法。指出 GRPO 非特殊 RL 算法，当前 RL 算法实现相似，变革聚焦价值函数取舍等核心维度。
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
GraphQA：用自然语言对话分析图数据
图数据常见但分析门槛高，需懂算法和代码。NetworkX 算法多却复杂，普通用户难上手。GraphQA 搭建桥梁，用自然语言接口替代复杂 API，智能选算法，继承 NetworkX 优势还解决易用性问题。
幸好图灵不是一位好棋手
本文讲述图灵因棋艺平庸常和唐纳德·米奇对弈，二人合作博弈树算法成AlphaGo核心。米奇受其影响成AI研究先驱，开发算法、程序，其对国际象棋残局的研究影响众多后来者。
马斯克说到做到：开源X平台核心推荐算法
X（原Twitter）开源内容推荐Feed on X召回、精排推理、策略代码，模型参数配置较小，应是简化Demo版。召回用双塔模型，精排用双层Transformer，还介绍了系统架构、模型细节等。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。