「推理服务基础设施」共找到 2926 篇相关文章
阿里云百炼 AgentScope 基于容器服务的最佳实践，加速企业 AI Agent 应用落地
自 ChatGPT 发布，大语言模型成智能系统核心，AI Agent 兴起。阿里云百炼与容器服务联合发布 AgentScope on 容器服务方案，为智能体应用提供运行底座，介绍了 AgentScope 特性、容器服务能力及部署实践等。
英伟达放弃GPU上LPU：新推理芯片被曝Groq即买即用，OpenAI第一个吃螃蟹
英伟达将在GTC大会发布新AI推理系统，核心芯片基于Groq的LPU架构，首位大客户是OpenAI。选择外部架构与时间窗口有关，推理场景中LPU更适配。同时，英伟达推理芯片面临诸多威胁。
o3-pro答高难题文字游戏引围观，OpenAI前员工讽刺苹果：这都不叫推理那什么叫推理
OpenAI“最新最强版”推理模型o3 - pro引发关注。首位全职提示工程师给它设难题，它推理后答对。OpenAI前员工借此讽刺苹果。各大评测榜单显示其表现与官方有差异，苹果&SpaceX前工程师分享使用心得，肯定其表现。
大模型思维链推理速度倍增！——RoT新框架把思维链「画」进隐空间
随着大模型规模扩展，思维链（CoT）成处理复杂推理任务标准范式，但显式CoT依赖长序列生成，隐式CoT面临优化挑战。腾讯提出RoT新框架，利用视觉编码器将文本推理步骤转为视觉嵌入，实现Token压缩与推理加速，且过程可分析。
预训练就学会思考！字节、北大等用14亿参数，撬动百亿模型推理能力
字节、北大等联合发布Ouro模型，用14亿参数实现百亿级模型推理能力。它在预训练阶段学会循环思考，通过三大创新构建推理能力，在基准测试中表现优异，实现参数效率提升，是潜在推理范式的胜利。
1.5B刷新数学代码SOTA！快手&清华精细化Token管理，LLM推理能力飙升
快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。
大模型结构化推理优势难复制到垂直领域！最新法律AI评估标准来了，抱抱脸评测集趋势第一
多个机构研究人员联合发布全新多语言法律推理基准数据集LEXam，它含4886道题，每道长篇题有答案和推理路径。研究显示现有大模型应对法律推理难，LEXam引入评估新模式，还对不同模型做了测试。
TRM思考奖励模型上线，大模型推理质量终于能量化了 | ICML‘26 Oral
大模型推理评测多只看答案，忽略推理过程。上海多校团队提出TRM，用ME² principle刻画推理质量，DAG-based pairwise evaluation还原结构，训练奖励模型，让推理质量可度量、训练和优化。
Skills驱动推理新范式，清华&北大：Token立省59%，准确率不降反升
当前推理模型虽准确率高，但生成“思考过程”会使推理成本和延迟上升。奇元科技、清华、北大等提出TRS框架，将历史推理轨迹蒸馏成技能卡片，在推理时检索注入，实现更少Token、更高准确率。
AI 推理精细化流量治理实战：RocketMQ LiteTopic 的“千人千面”流控方案
随着大模型推理服务成主流，传统消息队列限流机制在AI推理场景面临挑战。Apache RocketMQ 5.x推出LiteTopic，其精细化流量治理方案能实现‘千人千面’，解决队列头部阻塞和并发效率受损问题，还与阿里云百炼网关合作。