「计算范式」共找到 1622 篇相关文章
无损减少80%激活值内存,提升5倍训练序列长度,仅需两行代码
港中文(深圳)和上海交通大学团队提出 StreamBP 算法,通过线性分解和分步计算,将大语言模型训练激活值内存降至梯度检查点的 20%,在相同内存下最大序列长度为其 2.8 - 5.5 倍,代码已开源。
20人团队提前实现DeepSeek构想,AI算力变天?直击大模型算力成本痛点
国内20人玉盘AI团队推出SRDA全新计算架构方案,试图从硬件源头解决当前AI算力核心瓶颈。该架构有诸多创新设计,能应对大模型训推痛点,与DeepSeek构想契合,或成大模型专用架构分水岭。
Reasoning模型在RL下的探索欲望急速下降问题:探索熵机制
论文研究发现大模型经强化学习训练解题时,会出现模型探索欲望急速下降的熵崩溃现象,如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源,提出破解方法,研究对AI训练范式变革有重要意义。
都在卷「让大模型多循环几遍」,这个7B模型LoopCoder v2说:多循环 1 次就够了
一项新研究表明,7B小模型LoopCoder v2在正常计算外多循环一次,就能在SWE - bench Verified基准上大幅提分。继续增加循环次数,性能反而下降。研究还算了‘收益 - 成本’账,给出选择循环次数的诊断方法。
把 RAG 做成主流的公司,现在开始“做空”RAG 了
Pinecone 曾将 RAG 定义成大语言模型 grounding 标准范式,如今却宣布 RAG 时代结束。它推出面向 Agent 的知识引擎 Nexus,提出“知识编译”概念,称能提高任务完成率、降低 token 开销,整个 AI 世界都在将“推理”往上游移动。
伦理防线不可靠!分布偏移诱导,大模型进入暗黑模式
香港理工大学与西北工业大学联合研究指出,当前大语言模型对齐机制仅实现表层合规,预训练时内化的有害知识仍潜藏。遇数据分布偏移,模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效,凸显现有范式缺陷。
国内首个!加入六维力的全感知数采,让VLA模型进化出力触觉
具身智能发展受数据采集制约,开普勒机器人发布国内首个原生全感知力触数采系统,打通全链路闭环。该系统具平台化特征,让具身智能范式转变,还获融资并升级战略,在工业场景表现出色。
人跑光了,AI视频炸了!马斯克狂发推:Grok Imagine三金封神
xAI的Grok Imagine在DesignArena视频排行榜上,拿下视频竞技场、图像转视频和视频编辑三项第一,远超谷歌Veo 3.1、Sora等对手。它进步迅猛,靠聪明设计取胜,还将推动AI从“蛮力计算”向“智能理解”转变。
年前看到最有深度的AI下半场Agents记忆机制综述
本文是一篇83页的基础智能体记忆机制综述,由27家机构联合发表。提出AI研究范式转变,记忆是填补理想与现实差距的关键。构建三维统一分类框架,介绍记忆操作、学习策略、评估体系、应用场景及未来方向。
谷歌AI的“心脏”长什么样?读懂TPU就够了
文章介绍了谷歌TPU的发展历程,从2015年为解决AI计算效率瓶颈自研,发展到如今成为谷歌“经济支柱”。还对比了谷歌、英伟达、亚马逊的芯片路线,强调谷歌全栈垂直整合策略使TPU在推理时代优势明显。