「推理优化与部署」共找到 3527 篇相关文章
千人千面的真人级AI名师，劈开教育「不可能三角」
与爱为舞推出的AI导师能个性化教学，服务百万用户。其用「模型+语音+工程」铸造技术巨剑。经训练，AI可驾驭课堂，再经自研语音模型实现交互，通过链路优化等实现规模化落地，践行「全员皆超级个体」理念。
刚刚，OpenAI新Transformer火了！Astra架构首次曝光
OpenAI下一代Astra采用「循环深度」推理方法，思考Token减少但性能提升，不过其思考过程难监控。此前业界已对「循环Transformer」有研究，该架构适合数学编程任务，Astra实力获验证，GPT - 6或即将发布。
本地运行、支持视觉与工具调用：Meta 开源智能体模型
Meta AI Research 推出 300 亿参数的开放权重模型 Muse Glimmer，采用 Apache 2.0 许可证。它专为本地工作流设计，能在消费级硬件运行，经多项优化，在基准评估中表现出色，还支持多种框架。
商汤SenseNova U1深度拆解，原生统一架构终结缝合时代
文章深度拆解商汤科技开源的新一代模型「日日新 SenseNova U1」，介绍其基于 NEO - Unify 原生统一架构，在数据、训练与推理深度协同，多维度测试成绩亮眼，代表多模态从拼接走向原生建模新方向。
开源即登榜！登顶全球前十AI编程智能体，UCL初创团队开源Prometheus
UCL初创团队EuniAI开源AI软件智能体Prometheus，在SWE - bench Verified上Pass@1达71.2%，成绩入官方主榜。它有图结构推理设计，能理解代码，成本低，官网有Demo展示其工程化能力。
多模型共享 GPU 内存，Berkeley 开源新工具
GPU内存利用率低是大模型部署痛点，伯克利Sky Computing Lab团队开源kvcached工具，通过虚拟化技术让多模型共享显存。它引入虚拟内存概念，按需分配，测试显示能提升效率，安装简单、兼容性好。
【万字长文】Anthropic发布Prompt Engineering全新指南
Anthropic发布全新Prompt Engineering指南，涵盖元提示、模板等关键技术。介绍了prompt类型、必备要素，还给出优化技巧，如添加示例、思维链精炼等，涉及XML标签、链式提示等方法，也提及减少幻觉、提高一致性等内容。
Claude Opus 4.1火速发布！坐稳编程之王，官方：马上还有大更新
Claude Opus 4.1正式发布，编程性能超Claude Opus 4及竞品，拿下SOTA。在Agent任务和推理方面升级，定价不变。官方将在几周内大规模改进。Anthropic借客户背书，暗秀关系，文风受开发者喜爱。
0.5B以小搏大拿下端侧模型新SOTA：4090可跑，长文本处理5倍常规加速丨清华&面壁开源
清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。
从 Computer Use到 Datacenter Use：如何让 AI Agent 像调用函数一样驱动数据中心？
本文整理自 QCon 2026 北京站演讲，探讨如何让 AI Agent 驱动数据中心。指出 Agent 发展有 Multi - Agent 和 Datacenter Use 趋势，介绍 AKernel 基础设施，包括架构、技术支柱、部署方式等，还提及其实践落地与未来演进。