「推理架构」共找到 3525 篇相关文章
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
别再无脑开高推理！Opus 5高配会擅自重构代码乱加戏
有人用FrontierCode编程基准测试Opus 5推理档位，发现性能顶峰在medium档，高档位推理预算多余，会让模型反复校验、偏离需求，在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。
不跟英伟达走老路，这家GPU公司的技术架构藏着哪些关键解？
在国产GPU上市黄金窗口期，天数智芯上市后首场发布会引发广泛讨论。其公布架构路线图，2027年前追赶英伟达，之后转向创新架构设计。还提出回归计算本质、提供高质量算力两条架构判断，并展示边端算力产品及应用。
Agent架构搭建 ≠ 堆Skills
现在很多Agent架构以大量Skills为基础，但这种做法大概率会翻车。Skills机制让模型自行判断是否使用及何时使用技能，其判断不可靠，随着技能数量增多，系统可靠性变差，设计上需平衡灵活性与可控性。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。
推理即排序：ReasonRank反常识的2.7倍效率跃迁，新SOTA比快更快
论文提出新型排序模型ReasonRank，将深度推理能力融入排序流程，突破数据瓶颈，采用创新训练框架，效率比主流点对点排序模型快2.7倍，还介绍方法论、技术突破、实验验证等内容，指出局限与未来方向。
让AI学着“看菜下碟”！港中大等新框架让推理长度减少90%，准确率反增17%
香港中文大学等研究者提出TON选择性推理框架，使视觉语言模型能自主判断是否推理。该框架有两阶段训练机制，实验显示其让推理长度最多减90%，准确率还提升，有益模型部署。
强化学习之父Richard Sutton最新演讲揭示OaK架构：通向超级智能的八步愿景
强化学习之父Richard Sutton在演讲中介绍OaK架构，认为它是通向超级智能的路径。他回顾对简单通用AI智能体架构的追求，强调从经验学习、拟合世界的重要性，还指出实现该架构需八个步骤，虽只是愿景但提供了发展路线图。
手机跑推理模型：Liquid AI发布仅需900MB内存的LFM2.5-1.2B-Thinking
Liquid AI发布LFM2.5 - 1.2B - Thinking推理模型，仅需900MB内存就能在手机运行。它专为简洁推理训练，性能提升明显，多数性能基准超Qwen3 - 1.7B，在多平台表现佳，还支持主流推理框架。