「推理服务基础设施」共找到 2933 篇相关文章
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华大学陈键飞团队提出针对BlackWell架构的SageAttention3，实现5倍于FlashAttention的推理加速，首次支持8比特训练。在多种大模型上保持端到端精度，代码将分别于6、7月开源。
FDE 火了：两个追求 AGI 的公司，为什么都开始「雇人上门」了？
OpenAI 收购 Tomoro 获 150 名现场部署工程师，Anthropic 联合机构成立新公司派工程师驻场。两家顶尖 AI 公司均用几十亿美元买人，引入 FDE 概念，表明强大模型需结合现场服务释放 AI 能力。
Google 开源 gws！一天暴涨 10K+ Star，把整个 Google Workspace 搬进终端。
Google 开源命令行工具 gws (Google Workspace CLI)，一天揽 10K+ Star。它动态构建命令界面，支持 Google Workspace 众多服务，兼顾人类与 AI 代理需求，还具备灵活认证等亮点，为 Workspace 自动化带来新可能。
GPT-5：我更强了，就这？“看不见”的升级
OpenAI 发布 GPT - 5，它未带来 AGI 相关的震撼升级，而是更注重实用。其训练有新特点，具备推理强、编程能力提升等特性，是 AI 从‘模型炫技’到‘产品体验打磨’转变的标志。
先别急着给OpenAI加冕！陶哲轩：这种「金牌」，含金量取决于「赛制」
OpenAI 官宣推理模型在 IMO 获金牌水平成绩，此前各模型表现不佳。数学家陶哲轩劝谨慎看待，认为无严格测试条件难比较 AI 与人类。网友看法不一，模型训练方法及 Alexander Wei 受关注。
AI数学能力暴涨100%，自进化直逼RL极限！CMU新作颠覆认知
数据枯竭成AI发展瓶颈，CMU团队提出SRT方法，让LLM自我进化，提升数学与推理能力，性能逼近传统强化学习。研究还分析其局限，提出缓解奖励作弊策略及应对模型崩溃的方法。
刚刚，DeepSeek首曝V3降成本秘诀！软硬协同突破Scaling天花板
DeepSeek最新论文从硬件架构和模型设计双重视角，探讨如何相互配合实现低成本大规模训练和推理，分析硬件特性对架构选择的影响，研究两者相互依赖关系，还为未来协同设计提出建议。
1/8成本比肩Claude 3.7，Mistral Medium 3来了
“欧洲OpenAI”Mistral AI发布多模态新模型Mistral Medium 3，主打编程和多模态理解，成本仅Claude 3.7的1/8，性能达其90%，API已上线，还推出企业聊天机器人服务，引发网友不同看法。
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。
养虾省91%词元！这家AI记忆公司用1亿个多模态文件验证了！
文章指出AI瓶颈已从模型智能转为记忆架构，长期记忆是AI有状态智能的基础。质变科技推出多模态AI记忆平台MemoryLake，具多种记忆能力和核心技术，降本增效显著，获资本青睐，服务多领域客户。