「ToM推理框架」共找到 3425 篇相关文章
曦望，死磕AI推理成本｜甲子光年
1月27日，国产GPU厂商曦望发布新一代推理GPU芯片启望S3等。启望S3面向大模型推理定制，设计系统级重构，单位Token推理成本降约90%。曦望还推出超节点方案及推理云计划，目标是极致推理性价比。
无需验证器的RL：RLPR解锁LLM通用推理潜能
现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。
DeepSeek推理再提速80%，V4正式版定档7月中旬
DeepSeek两天前开源DSpark推理加速框架，已在V4预览版在线服务跑真实流量，使生成速度提升60% - 85%。DSpark化解推测解码问题，在多模型超Eagle3和DFlash。V4正式版7月中旬上线，将引入峰谷定价。
AI读不懂文档结构？计算所重构Agentic RAG文档推理能力
大语言模型工具使用能力推动RAG进化，现有Agentic Search框架有“结构盲”问题。中科院计算所团队提出DeepRead，将文档结构转化为坐标系统，用两大工具协同实现类人推理，在多数据集验证效果显著。
PCIe显卡被低估了！内核补齐+通信重构，DeepSeek推理吞吐直接翻近7倍
当前大模型算力需求攀升，高端GPU供给紧成本高，大量PCIe长尾GPU算力因框架适配不足被禁锢。是石科技自研Meta-Infer推理引擎，通过纯软件优化挖掘硬件潜力，让DeepSeek推理吞吐提升近7倍，方法也适配国产GPU。
让具身智能体拥有「空间感」！清华、北航联合提出类脑空间认知框架，导航、推理、做早餐样样精通
清华、北航联合提出类脑空间认知框架 BSC-Nav，让具身智能体有「空间感」。它克服现有导航方法记忆难题，有三大记忆组件，实验中性能碾压，能应对复杂任务，真机实测也表现出色。
社区供稿 | GLM-4.5技术博客：原生融合推理、编码和智能体能力
文章介绍 GLM-4.5 和 GLM-4.5-Air，二者旨在统一推理、编码和智能体能力。在 12 个基准测试中表现良好，采用 MoE 架构等技术，还开源 slime 框架。文中展示其多方面应用，并说明使用方式。
阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升
阿里通义实验室开源通用预训练框架MaskSearch，引入检索增强型掩码预测任务，兼容两种训练方法。实验显示，它在多数据集提升模型性能，小模型能媲美大模型，还验证了训练方式、策略及奖励函数的效果。
语义分割别无脑用Argmax！港中文新算法：三行代码，推理速度提升10倍
香港中文大学提出全新算法框架RankSEG提升语义分割性能。传统方法用threshold或argmax生成掩码并非最优，RankSEG无需重训模型，加三行代码就能提高分割指标，还开源了工具包，其改进版RankSEG - RMA推理速度大幅提升。
上交大和辉羲把LLM刻进ROM！推理性能冲2万token/s，GPU时代终结？
硅谷Taalas将大模型‘物理焊死’进芯片引关注，而上海交大、辉羲智能与微软亚洲研究院团队用ROM+SRAM异构架构，将端侧LLM推理速度推至20,000 tokens/s。介绍了ROMA和TOM架构优势及应用场景。