「推理算力」共找到 2713 篇相关文章
突破通用领域推理的瓶颈!清华NLP实验室强化学习新研究RLPR
现有基于可验证奖励的强化学习(RLVR)应用范围局限,清华自然语言处理实验室提出 RLPR 技术,通过 Prob - to - Reward 提高概率奖励质量,有领域无关等特点,相关代码等已开源。
让推荐学会思考:用强化学习激活大模型的序列推理能力
文章指出推荐系统曾未紧密结合大模型能力,如今正靠近其训练范式。作者基于用户行为序列,用强化学习训练大模型理解序列关系,以预测用户下一个可能点击的资讯,并通过实验验证了该方法的可行性,还探讨了不同数据库中BM25算法的差异。
Ropedia刘子纬:具身智能的Scaling Law,不是算力,是人类的经验
Ropedia刘子纬指出,当前物理AI面临差距,下一阶段需Scaling人类物理世界的经验。Ropedia构建真实世界经验引擎,形成经验飞轮,目标是打造能看见、记住、想象并行动的模型。
英伟达MIT出手!华人团队重磅开源,大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention,核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性,保留关键部分。它使内存消耗降10倍,吞吐量提2.5倍,还提供vLLM集成和MLX实验性支持。
谷歌招了一个“全职哲学家”:算力解决不了的难题,交给了文科生
谷歌DeepMind招剑桥学者Henry Shevlin任哲学家,其研究机器意识等。此前DeepMind已布局哲学伦理,Anthropic的Amanda Askell也为Claude写“宪法”,而OpenAI相关团队不稳定,业界对AI本质有分歧。
Nature重磅:智能的尽头是算力!谷歌大佬承认「预测下一个词即智能」
芯片速度触顶,摩尔定律失效,但AI却在疯狂跃迁。Nature文章指出,智能的增长不靠芯片加速,而是结构重组与协作。其核心是预测和并行协作,AI正以类似生命演化的方式发展,与人类相互依存。
“扁平+拓扑”双索引,85页PDF"秒级"推理,MMRag幻觉率骤降76%
多模态长文档视觉问答常见于科研论文等场景,现有技术路线有大视觉 - 语言模型直接端到端和检索增强生成,但各有缺点。MMRAG - DocQA引入新方案,解决多模态连接和跨页证据链接问题。
Agentic Deep Research新范式,推理能力再突破,可信度增加,蚂蚁安全团队出品
尽管LLM能力提升,但在复杂任务上受静态内部知识限制。业界提出Agentic Deep Research系统,不过现存系统有梯度冲突和奖励稀疏问题。蚂蚁安全团队提出Atom - Searcher,解决上述问题,实验效果良好。
我们都错怪GPT-5了,路由统一算力,免费用户也能创造收益
GPT - 5发布后,其路由架构备受关注。开源社区的Arch - Router类似其路由系统,能结合任务领域和动作制定策略。GPT - 5路由框架可平衡成本与性能,还能转化免费流量,未来想掌控用户与模型交互路径。
并行革命,32倍吞吐量跃升!英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术,能解决大模型处理长任务时的卡顿问题,提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。