「推理服务」共找到 2619 篇相关文章
又是王冠：27M小模型超越o3-mini！拒绝马斯克的00后果然不同
27M小模型HRM由拒绝马斯克的00后王冠开发，超越o3 - mini - high和DeepSeek - R1，推理不靠思维链。它采用分层推理等五项核心技术，在多测试中表现出色，虽被指通用性不足，但有人看好其仿脑架构。
阿里云的野心，不在 Agent Builder
近期云厂商动作整齐，如阿里云推出企业级 Agent 全栈服务平台 Agent Studio。企业做 Agent 面临基础设施难题和高成本问题，业内探索了自建、用开发框架、企业级 Agent 平台三种路径，阿里云 Agent Studio 在多方面替企业解决麻烦，还可能改变云服务模式。
Codex正在重塑传统推理框架开发流程
作者用Codex完善SGLang Diffusion的SKILLS流程，修复诸多bug。让其做benchmark脚本，发现不同rmsnorm性能差异。应用flashinfer rmsnorm遇问题，Codex找出原因并修复，还提升了模型性能，体现强大生产力。
any-llm：又一个统一模型服务接口的Python代理库
Mozilla AI开发的开源项目any-llm，解决多LLM提供商接口统一问题，能让开发者用一个接口调用不同大语言模型。它吸取此前产品长处，有统一接口等优势，使用和安装简单。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
白嫖10余家AI服务，一个接口全搞定，爽了！
现在主流AI厂商虽有免费额度，但使用起来接口、SDK、限流规则等差异大，适配麻烦。freellmapi项目将Google Gemini等十几家AI平台免费Tier聚合，对外一个接口，自动调度、切换和限速，适合做AI原型开发等。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。
吴恩达来信：建立为人类服务的智能体社群
吴恩达讨论编程智能体分享经验平台的可能性，介绍了解决编程智能体获取最新API文档问题的chub工具。他提出收集智能体反馈以更新文档，还受Moltbook和Stack Overflow启发，认为智能体贡献反馈很有价值。
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。