「AI训练」共找到 11170 篇相关文章
递归神经网络的复兴:Mixture-of-Recursions
Google DeepMind研究者设计的语言模型,能判断关键单词并进行深度递归计算,通过轻量级“路由器”节省计算资源,在同等训练成本下表现显著优于传统模型,文中还提及其他解决动态算力分配问题的思路。
基于闪电注意力机制,创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈,多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax,从架构、创新模块、训练框架等多方面优化,表现突出。
10项评测痛打GPT-4o!智源重磅开源全球最强具身智能大脑
近日,智源研究院开源具身大脑RoboBrain 2.0 32B版本和跨本体大小脑协同框架RoboOS 2.0单机版。RoboBrain 2.0在多项权威具身智能基准上刷新纪录,RoboOS 2.0创新性集成MCP协议与无服务器架构,二者双擎联动推动机器人迈向群体智能。
VLA 推理新范式!一致性模型 CEED-VLA 实现四倍加速!
近年来,VLA模型成机器人领域重要研究方向,但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略,在多基线模型上实现超4倍推理加速,实验验证其高效通用。
除了prompting外,不动参数,如何改变模型行为?
文章指出传统提示工程控制大模型生成行为有缺陷,提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示,定位“原子知识组件”精准控行为,实验效果超现有技术,还能控制推理长度。
综述 | 从“说出来”到“脑中算”:Latent Reasoning的范式跃迁与无限可能
大型语言模型用显式思维链推理有局限,潜在思维链(Latent CoT)让推理在连续隐藏状态空间进行。论文梳理该领域,建立框架,介绍方法,探讨可解释性与无限深度推理,指出价值、挑战与未来方向。
长篇动画上色稳如老狗!全新开源LongAnimation
动画上色是制作长篇动画时“烧脑”又“烧钱”的环节,现有AI主流方法多为局部处理,易导致色彩漂移、风格不统一。中国科学技术大学团队提出动态全局 - 局部范式,构建LongAnimation框架,可确保长动画色彩一致。
小扎官宣Meta超级智能实验室!97年小孩哥带队,11人名单7位是华人
今天凌晨,小扎发内部信宣布成立Meta超级智能实验室(MSL),由Scale AI前CEO、华人Alexandr Wang带队。MSL首批11人名单出炉,7位是华人,前东家包括Anthropic、谷歌DeepMind和OpenAI等。
盘一盘,2017年Transformer之后,LLM领域的重要论文
本文梳理2017年Transformer后LLM领域重要论文。如提出Transformer架构的论文成现代AI基石;介绍GPT - 3的论文确立‘大模型 + 大数据’缩放定律,引领LLM军备竞赛等。还列举各论文内容与影响。
苹果出手!改进GRPO,让dLLM也能高效强化学习
苹果研究团队针对扩散语言模型(dLLM)在编码任务中表现不明的问题,基于7B级代码生成MDM DiffuCoder展开研究,定制优化GRPO提出coupled - GRPO算法,填补开源dLLM训练和推理机制空白。