「推理服务基础设施」共找到 2930 篇相关文章
超长推理还能节省计算！Salesforce开源神器两连发：教大模型边想边省，显著提升数学编程准确率
Salesforce AI Research开源Elastic Reasoning和Fractured Sampling。前者将推理流程分两部分，分配token预算，使输出缩短、准确性提高；后者打碎推理链条，从三维度采样，以更少tokens换更高准确率，均提升数学和编程任务准确率。
中国团队引领太空算力：首次太空在轨部署通用大模型，发2800颗卫星服务数亿硅基智能体
岁末年初，全球AI竞争聚焦太空算力，中美你追我赶。美国Starcloud宣布在太空跑通大模型，中国国星宇航发布全球首个服务硅基智能体的太空算力网，计划用2800颗卫星服务数亿个硅基智能体，还实现通用大模型在轨部署。
拒绝「降智、减配、乱收费」：面向LLM API的可信验证框架
大语言模型成AI应用基础设施，黑盒服务模式引发信任危机。研究者提出IMMACULATE审计框架，能在不暴露模型信息、仅1%额外开销下，验证黑盒LLM API执行完整性，检测违规行为，相关论文与代码已公开。
山姆•奥特曼刚发长文：《丰盛的智能》，智能将人人可及
Sam Altman 发布新博文《Abundant Intelligence》，展现 OpenAI 的 AI 基础设施愿景。他认为获取 AI 将成经济驱动力甚至基本人权，还提出每周产一吉瓦 AI 基础设施工厂的计划，称增加算力是增收关键。
林俊旸离职后首度发声：万字复盘，大模型下一站「智能体式思考」
前阿里千问负责人林俊旸离职后发文，复盘大模型行业演进，指出 AI 大模型未来主线是智能体式思考。文中分析推理模型崛起的启示，探讨思考与指令融合难题，还阐述智能体式思维含义、强化学习基础设施挑战等。
为什么 DeepSeek 大规模部署很便宜，本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡，受批处理大小影响。还分析了不同模型需大批次的原因，如专家混合模型、大型管道模型等。
阿里云的野心，不在 Agent Builder
近期云厂商动作整齐，如阿里云推出企业级 Agent 全栈服务平台 Agent Studio。企业做 Agent 面临基础设施难题和高成本问题，业内探索了自建、用开发框架、企业级 Agent 平台三种路径，阿里云 Agent Studio 在多方面替企业解决麻烦，还可能改变云服务模式。
CMU&斯坦福提出Reasoning新范式！自己找“窍门”，教会LLM抽象Reasoning
大型语言模型解决复杂推理问题时效率低，论文提出创新方法，让模型利用“推理抽象”，通过RLAD两玩家强化学习框架训练，在多基准测试提升性能，还分析了其作用、局限与未来方向。
三大云厂同时瘫了？Cursor、ChatGPT跟着倒下！网友：整个互联网都要废了
北京时间昨天晚上，AWS、谷歌云、Azure 和 Cloudflare 同一时间发生中断，谷歌云服务全球瘫痪 3 小时，导致旗下及第三方诸多服务受影响。Spotify、Cloudflare 等也受波及，有人猜测是谷歌 Chemist 服务故障所致。
ICML 2026 | 只用少量Thinking Tokens，大模型依然能深度思考
近年来，CoT 推理成为提升大模型复杂问题求解能力的重要路径，但带来效率问题。浙江大学等团队提出 Heima 框架，将冗长 CoT 压缩为少量 thinking tokens，在减少 token 数的同时保留推理能力，已被 ICML 2026 接收。