「双并行注意力机制」共找到 1187 篇相关文章
单Agent时代结束,AI们开始组团上班
月之暗面发布并开源K2.6,重点升级代码能力与多Agent协作的“Agent集群”能力。K2.6在Artificial Analysis上取得全球开源第一,实测能并行交付多格式成果,还展现出强大的全栈应用开发能力。
阿里:RL强化LLM推理,是技巧还是陷阱?
近年来,强化学习(RL)成为解锁大型语言模型(LLM)复杂推理能力的关键工具,但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验,揭示主流RL技巧的机制与适用场景,还发现极简组合(Lite PPO)性能超越复杂方案。
生财有术小连:微信问一问蓝海机会,用搜索玩法抢占流量先机
生财有术小连分享微信问一问运营经验,指出其支持真人分享、有“去AI化”特点及“强SEO搜索、排名”机制。介绍视觉霸占、抢词根等玩法,还给出内容与ID绑定等运营建议,称当前是SEO玩法的蓝海时期。
社区供稿丨Jina-VLM:可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM,在多语言视觉问答任务达SOTA。它引入注意力池化,连接视觉与语言基座,处理问答等任务,对硬件要求低,多项测试表现优,还介绍架构、训练策略和上手方式。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代,包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
AI证伪百年数学猜想被打假!Lean证明惊现漏洞,哥大教授破防了
OpenAI新推理模型取得十项数学进展,如证明非Sofic群存在性等。哥伦比亚大学副教授Henry Yuen对其量子并行重复定理证明既兴奋又失望,因证明有AI味且难理解。此外,Lean证伪科拉兹猜想被指利用内核漏洞,专家提醒Lean验证有局限。
AGI时代最稳的饭碗是什么?3Blue1Brown创始人:技术会淘汰,但信任不会
科普视频博主 Grant Sanderson 在播客中指出,AI 因缺乏肉身和生理模仿机制,写不出触动人类灵魂的文章,即便证出黎曼猜想,若证明冗长,对人类也无意义。他还探讨了 AI 在数学领域的进展、局限,以及人类教师和科普作者在后 AI 时代的价值。
拥抱大模型:深入剖析ReAct的核心原理、技术架构及其对AI领域的深远影响
文章深入剖析ReAct,它是普林斯顿大学和谷歌团队提出的智能体架构范式,将推理与行动协同,构建TAO闭环。介绍其原理、架构,指出解决传统AI难题,也存在局限,未来可与强化学习等融合。
Anthropic顶级Claude模型被逆向开源,这几个模块借鉴了DeepSeek
22岁开发者逆向开源Anthropic的Claude Mythos Preview模型架构,名为OpenMythos。其核心模块借鉴DeepSeek,采用带混合专家路由机制的循环Transformer,有独特设计和稳定机制,重新框定扩展性争论。
昇腾MindSpeed:分布式训练加速库的创新实践与突破
在2025年QCon全球软件开发大会上,华为工程师郑加利分享昇腾MindSpeed分布式训练加速库。它在计算、通信、显存等多维度优化,提升训练效率,还介绍业界加速库及MindSpeed架构,阐述多种优化策略。