「推理服务基础设施」共找到 2930 篇相关文章
仅需一个混频器的无线射频机器学习推理，登上Science Advances！
杜克大学和MIT教授团队提出广播模型并在射频上完成计算的分离式计算方案，在边缘端混频器模拟计算中完成推理，解决传统方案问题，还在测试平台验证，能耗低且能完成多项机器学习任务。
3大AI服务接连故障：换模型为什么未必能救你？
昨晚，ChatGPT、Claude、Grok 三大 AI 服务接连故障，公开信息未明确共同根因。文章指出，很多人把换模型当容灾，却未检查备用方案独立性。还介绍故障时间线、可能原因及应对措施，强调可靠性重要性。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，在 GitHub 获近 15K Stars，月均下载超 10 万次，被多家行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享技术、挑战等，6 月 27 - 28 日他将在 AICon 演讲。
开源DeepSeek R1增强版：推理效率快200%，创新AoE架构
德国TNG公司开源DeepSeek R1增强版DeepSeek - TNG - R1T2 - Chimera，基于三大模型混合开发，采用创新AoE架构，推理效率比R1 - 0528快200%，成本大减，在主流测试中性能更好。还介绍了AoE架构构建子模型方法。
AI 渗透金融行业：大模型如何破解风控、服务与决策难题？
在数字化与人工智能驱动下，金融行业变革深刻。InfoQ《极客有约》X AICon 直播栏目邀多位专家探讨大模型赋能金融，涉及风控、服务、决策等难题，分享了大模型应用场景、技术渗透、权衡可解释性与性能等观点。
告别无效计算！新TTS框架拯救19%被埋没答案，推理准确率飙升
现有TTS方法存在路径同质化和中间结果利用不足问题。华为诺亚方舟实验室等机构提出SRCA框架，含检查点注入、答案聚类搜索和检查点候选增强组件，实验显示能提升推理准确性、效率，降低成本。
人大高瓴赵鑫团队新作：先拆掉 RLVR，再重建推理模型训练
人大高瓴赵鑫团队围绕RLVR框架做系统实验，完成论文《A3PO: Adaptive Asymmetric Advantage Shaping for Reasoning Models》，提出A3PO方法。该方法将训练重点转向关键决策点，让推理模型学习更可控。
刚刚，OpenAI内部推理模型斩获IOI 2025金牌！所有AI选手中第一
OpenAI内部推理模型获IOI 2025金牌，总排名第6、AI组第1，沿用IMO金牌版本且未专门训练。商业模型在IOI表现不足，Grok 4相对领先。巨头热衷竞赛，源于竞争、技术迭代及多方利益考量。
告别随机性：Thinking Machines Lab如何实现了LLM推理的完全确定性？
文章指出LLM推理非确定性根源并非GPU并发和浮点非结合性，而是批大小变化致核函数非不变性。作者提出实现批不变操作的策略，实验验证有效，还阐述其对训练、系统可靠性等方面的意义。
抢天才还是拼算力？前 Llama 推理负责人详解 AI 的真实天花板
前 Llama 推理负责人 Ross Taylor 在播客访谈中指出，AI 竞赛中的混乱和挖角是噪声，最终会被指数级算力淹没。他阐释了算力指数曲线决定竞赛天花板，强调系统性实验、高质量评估的重要性。