双层效率优化框架」共找到 2277 篇相关文章

算法论文8

隐形束缚:RLVR为何无法突破LLM的推理边界?

大型推理模型进展依赖带可验证奖励的强化学习(RLVR),但它能否扩展模型推理能力存疑。本文通过理论证明与实验,揭示RLVR存在“隐形束缚”,只能在基座模型初始能力内优化,难以发现新解。

深度学习自然语言处理
开源动态8

具身智能大脑+首个SaaS开源框架,智源研究院刷新10项测评基准,加速群体智能新范式

智源研究院推出通用具身大脑RoboBrain 2.0与全球首个具身智能SaaS开源框架RoboOS 2.0并全部开源。前者突破主流AI模型瓶颈,后者实现大脑云端优化与小脑技能免适配注册,降低开发门槛。

量子位
开源动态8

杨植麟被梁文锋叫醒了!Kimi新模型发布即开源,1T参数全线SOTA

172天后,Kimi推出全新Kimi K2基础大模型回应DeepSeek冲击。它为MoE架构,1T参数,激活参数32B,在多任务上领先,发布即开源,还分享技术细节,实测有亮点也待优化,展现回归之势。

量子位
算法论文8

英伟达、港大等发布创新KV缓存,实现扩散模型无训练加速

多数开源扩散语言模型推理效率不如自回归模型,英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算,还提出基于置信度的平行解码策略,测试显示能加速且保持生成质量。

AIGC开放社区
产品应用8

拳打可灵,脚踢 Veo 3,谁是物理世界的「懂王」?

多模态视频生成大模型是复杂系统工程,多为巨头游戏。MiniMax的Hailuo 02发布,ELO得分超谷歌Veo 3和快手Kling 2.0。它能呈现复杂运动,处理物理关系,提升训练推理效率,成本低,后续还将更新。

AI科技评论
开源动态8

没想到,最Open的开源新模型,来自小红书

向来低调的小红书昨日开源首个自研大模型 dots.llm1,它是中等规模的 MoE 模型,在较小激活量下性能良好。其开源力度堪称行业最大,还介绍了数据处理、训练优化等多方面技术细节。

机器之心
新闻资讯7

a16z聊AI编程:别担心被取代,新玩家、新范式带来的是「很多」机会

a16z三位投资合伙人认为AI Coding是第二大AI市场,有望成最大单一市场。他们对编程未来不悲观,指出新人群与新方法或催生新软件形态,编程语言不会被取代,资深工程师仍被需要。

Founder Park
算法论文8

ICML 2025 | 注意力机制中的极大值:破解大语言模型上下文理解的关键

ICML 2025新研究揭示,在使用RoPE的现代Transformer模型里,注意力机制Q和K表示有集中极大值,V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系,对模型设计、优化和量化有重要启示。

深度学习自然语言处理
产品应用7

PDL 在 SGLang Kimi K3 中的应用

文章介绍 PDL 在 SGLang Kimi K3 中的应用,K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题,阐述计算链和通信链上的应用,还提及性能数据和实现问题。

GiantPandaLLM
新闻资讯7

【独家】对话汤元科技任冬淳:物理AI的瓶颈,在于训练体系|甲子光年

对话汤元科技任冬淳,探讨物理AI瓶颈。他认为物理AI瓶颈在训练体系,要满足数据结构质量、训练验证闭环、数据规模效率三要求。汤元构建训练底座,为具身智能和智驾提供服务,具身智能是未来重心。

甲子光年