「推理加速技术」共找到 4894 篇相关文章
大模型到底是怎么「思考」的？第一篇系统性综述SAE的文章来了
在大语言模型时代，人们需要“能解释”的LLM。SAE技术崛起，作者团队发布首篇SAE综述，梳理其技术、演化和挑战。介绍了SAE概念、优势，涵盖其技术框架、可解释性分析等多方面内容。
特斯拉开源硬件，中国团队开源大脑！首个具身智能顶配全家桶上线
4月特斯拉宣布人形机器人Optimus技术开放，国内智平方推出全球首个具身智能模型开源社区AlphaBrain Platform，提供全链路技术栈。该平台亮点多，还适配最新具身Benchmark，打破实验室围墙，推动技术突破。
「边思考、边搜索、边写作」WebThinker开启AI搜索&研究新纪元！
大型推理模型有推理能力，但静态知识限制其在复杂任务表现。WebThinker 让 LRM 推理中自主搜索、导航及写报告，集成探索器，有自主策略和训练工具，实验显示性能强，还指明未来探索方向。
CoT 之后，CoF 如何让帧间逻辑从「隐式对齐」变成「显式思考」？
CoT 虽提升语言模型推理能力，但在 C 端场景有局限，且被质疑并非真实推理。视觉领域提出 CoF 概念，Google DeepMind 团队引入理论，让视频模型通过帧链推理提升帧间一致性，还具强大泛化能力。
超越免训练剪枝：LightVLA引入可微分token剪枝，首次实现VLA模型性能和效率的双重突破
文章介绍LightVLA框架，它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题，提出两大创新，在LIBERO实验中性能超经典模型，还实现推理加速。
Chiplet（芯粒） —— 后摩尔时代的芯片“乐高”玩法
当单芯片逼近物理极限，Chiplet技术应运而生，它将大芯片拆分成小芯片，通过先进封装技术整合。该技术成本低、良率高，应用场景多元，但面临热管理、测试和标准统一等挑战，未来发展前景广阔。
世界模型炒作了半年，反应速度还不如 VLA？穆尧团队和百度智能云给出最新解法
生成式世界模型用于机器人控制备受争议，因其推理延迟高。上海交通大学 ScaleLab 团队等联合发布 AHA - WAM，解决推理延迟和时空分辨率错配问题，在任务成功率和推理速度上领先，还需系统协同推进落地。
上交大 × 华为小艺推出LoPA：7B扩散语言模型单样例1000+ tokens/s！
上海交通大学DENG Lab联合华为小艺团队提出无需训练的解码算法LoPA，配合自研的LoPA - Dist分布式推理系统，显著提升扩散大语言模型（dLLMs）的推理并行度和吞吐量，将推理效率推向新高度。
从“写SQL”到“聊数据”：NL2SQL如何用自然语言解锁数据库？
文章阐述NL2SQL技术让非技术背景业务分析师自助查询数据，提升决策效率。介绍其定义、发展历程，剖析核心挑战与解决方案，如模式链接、复杂查询理解、提示词工程等，还提及RAG等技术应用。
AI越会思考，越容易被骗？「思维链劫持」攻击成功率超过90%
独立研究者Jianli Zhao等人新研究发现，思维链劫持攻击通过在有害请求前填充无害解谜推理序列，能对推理模型实现越狱攻击。在HarmBench基准上，对多模型攻击成功率超90%，揭示思维链推理存在新安全漏洞。