「推理服务基础设施」共找到 2930 篇相关文章
英伟达为何持续押注VASTData？AI存储正在成为新的“算力”｜甲子光年
AI产业曾聚焦GPU，如今数据存储设施重要性凸显。VAST Data完成约10亿美元F轮融资，估值300亿美元，英伟达持续跟投。它重构AI数据基础设施，国内焱融科技有相似技术路线且具自主可控优势。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。
模型训练篇｜多阶段ToolRL打造更可靠的AI导购助手
当前，AI导购成电商与服务平台新风口，但芝麻租赁场景挑战大，存在需求难匹配等痛点。为此打造AI导购智能体“租赁小不懂”，经架构升级和算法优化，性能提升，还探索了MoE训练和推理优化。
Agent 重构互联网，谁将受益于线上内容的“帕累托效应”？｜AGIX PM Notes
文章围绕AI时代展开。在搜索领域，谷歌垄断案法庭主张其向竞争者开放搜索索引数据，这能助对手构建强大索引、补短板。商品服务层面也有80 - 20重构。还提及本周市场动态、AI企业相关消息，如谷歌案裁决、OpenAI成本预期等。
黄仁勋罕见长文：AI是一个五层蛋糕
黄仁勋认为AI是由能源、芯片、基础设施、模型、应用组成的五层蛋糕，是像电力、互联网一样的基础设施。目前AI建设刚起步，虽已产生经济价值，但大部分基础设施、劳动力、机会待实现。
公开模型一切，优于DeepSeek-R1，英伟达开源Llama-Nemotron家族
英伟达推出面向高效推理的 Llama-Nemotron 系列模型，包括 Nano、Super、Ultra 等规模，具备卓越推理能力与效率，采用开放许可。模型支持动态推理切换，训练结合多方法，性能优于 DeepSeek-R1 等。
哈佛发现基础模型比你想象中更强大：纯采样方法可超越RL
论文提出基础模型本身已具备强大推理能力，通过“幂采样”纯采样算法，在多推理任务上媲美或超越RL后训练，挑战“RL才能提升推理”观念，为理解基础模型潜力开新视角。
AAAI 2026 Oral | 拒绝「一刀切」！AdaMCoT：让大模型学会「看题下菜碟」，动态选择最佳思考语言
多语言大模型面临语言选择难题，现有跨语言推理方法存在缺陷。新加坡研究团队推出AdaMCoT框架，通过自适应路由机制动态选语言推理，提升跨语言事实推理准确性与一致性，效果超越传统方法。
模型越聪明越“不听话”？MathIF基准揭示AI服从性漏洞
上海人工智能实验室与香港中文大学研究团队发布论文，用MathIF基准揭示大模型“聪明”和“听话”有矛盾，越擅长推理越易忽略指令，还分析了原因并给出让模型更“听话”的方法。
SFT+RL双管齐下：ReasonGen-R1如何破解文生图「指令不遵」难题？
上海科技大学等机构提出 ReasonGen-R1 框架，结合链式推理监督微调与强化学习，提升自回归图像生成模型推理和创作能力，已全面开源。介绍了其训练阶段、实验结果及推理链模式。