「长程推理」共找到 2107 篇相关文章
面壁MiniCPM-SALA模型,稀疏-线性注意力,单卡吞吐百万上下文
面壁智能团队提出SALA,基于此训练的MiniCPM-SALA模型,在单张A6000显卡实现百万token超长上下文推理,训练成本降约75%。它结合稀疏与线性注意力,采用混合架构,继承权重降低成本,在长文本处理上优势明显。
DeepSeek深夜炸场,开源了一个新项目&论文,V4打前站?
凌晨,DeepSeek开源新项目Engram并公开论文。Engram用可扩展的O(1) N - gram记忆替Transformer早期层节省算力,在多方面实验表现出色,如推理任务增幅大于知识任务,还分析了其机理和系统效率。
腾讯混元世界模型HY-World 1.5开源,24 FPS的实时交互世界建模
腾讯混元世界模型HY - World 1.5开源,实现24 FPS实时交互世界生成。它采用双重动作表征等技术,解决了长程生成问题,还通过强化学习等优化,在多方面表现出色,为具身智能场景模拟奠基。
OpenAI惊人自曝:GPT-5真「降智」了!但重现「神之一手」,剑指代码王座
GPT-5发布后引发热议,其IQ测试成绩不佳遭吐槽,但实际是「路由」问题。解锁神级GPT-5关键在prompt,医学家借它重现「神之一手」。它编程能力强,挑战Anthropic,还推动AI向「智能体式推理」发展。
刚刚,Anthropic发布Sonnet 5,性能接近Opus 4.8,但不一定更便宜
Anthropic发布Claude Sonnet 5,称其为最具Agent属性的Sonnet模型。它在推理等方面性能提升,接近Opus 4.8且价格低。安全评估有改善,但网络安全逊于Opus 4.8。已正式可用,有优惠首发价。
Yann LeCun放出憋了20年的大招:Meta开源V-JEPA 2世界模型
Meta发布V-JEPA 2世界模型,参数高达10亿,推理速度比英伟达Cosmos快30倍。它基于Vision Transformer架构,是Yann LeCun倡导多年的JEPA路线成果,仅需62小时机器人数据训练就能执行任务,打脸质疑者。
对话蚂蚁吴伟:训推一体池化调度,如何把GPU用到极限
AICon大会前,与蚂蚁集团吴伟深度对话,探讨GPU资源调度解法。他指出CPU和GPU有结构性差异,只在推理或训练内优化有资源闲置,国产卡缺全链路生态,软件优化有天花板。还分享架构思路、算法及落地效果等。
一夜之间,AI终获「永久记忆」!最难考试99%刷爆SOTA,全网直呼疯狂
新智元报道,Supermemory团队推出超级记忆系统ASMR,在AI记忆界最难考试LongMemEval中刷到99%准确率。它抛弃传统模式,采用多Agent并行推理,4月初将开源代码。此外,其背后的Supermemory引擎功能强大,能让AI真正拥有记忆。
刚刚,OpenAI Astra核心架构爆出:大模型第三条Scaling法则诞生
The Information记者爆料OpenAI即将推出的Astra模型采用“recurrent depth”新推理方法,该技术能降本提效,但引发AI安全与可观测性担忧。清华与字节论文解决了循环模型“算力不公平”问题,并给出Scaling Law。
AI玩具和AI眼镜爆火,端侧市场或将超越云端?
当下AI难形成商业闭环,端侧AI或为落地答案。芯原股份戴伟民看好端侧AI市场,认为未来端侧推理需求或超云端训练,还指出AI眼镜、玩具、智能汽车等增量市场,同时介绍了芯原布局。