「推理系统优化」共找到 4342 篇相关文章
鸿蒙元服务的“体验密码” | 从京东到深圳万象城，看技术底层如何让服务直达用户
AI时代，系统能感知用户场景与需求，主动推送服务。鸿蒙元服务解决用户体验痛点，其技术底座帮开发者“减负”。如京东复用代码，深圳万象城优化停车服务，还为中小商户提供零代码开发方案。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
扒光谷歌Gemini 2.5：一份官方“翻车报告”，揭露AI Agent的8个秘密。
谷歌DeepMind发布Gemini 2.5技术报告，以玩《宝可梦 红/蓝》为例，展示构建有效智能体的案例。该系统架构由多部分组成，但运行状况百出，如上下文过长变差、产生幻觉等，也有亮点，还能提炼避坑方法。
Meta发布40页报告，具身智能的下一步是「心智世界模型」：能听，能看，能理解，会共情
Meta发布40页报告，首次将对人心智状态的推断概念化为心智世界模型，与物理世界模型实现“双轨建模”。还指出要结合系统A和B让AI自主学习，心智世界模型在多智能体协作潜力大。
新范式来了！新能量模型打破Transformer++扩展上限，训练扩展率快35%
研究训练新能量模型 EBT，为输入和预测分配能量值，模拟思考过程。它有跨模态、跨任务通用性，训练扩展率比 Transformer++ 高 35%，推理性能提升 29%，还在多任务中表现出色，是扩展模型能力新范式。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。
DeepSeek深夜炸场，开源了一个新项目&论文，V4打前站？
凌晨，DeepSeek开源新项目Engram并公开论文。Engram用可扩展的O(1) N - gram记忆替Transformer早期层节省算力，在多方面实验表现出色，如推理任务增幅大于知识任务，还分析了其机理和系统效率。
刚刚，DeepSeek最新发文！V3/R1训练细节全公开，信息量巨大
网信办新规生效，DeepSeek回应，标注AI生成内容，公开V3/R1训练细节。介绍训练分预训练和优化训练，深挖数据使用，还谈及推理、开源情况，也提到对抗AI幻觉与滥用风险的措施。
从静态模型到数字生命体：自进化AI Agent综述
近年大型语言模型催生AI智能体发展，但现有系统依赖人工预设，难适应动态环境。论文提出自进化AI智能体，可通过环境反馈自动优化，还提出三定律、四阶段范式演进模型等，开源EvoAgentX框架。
50FPS、成本打掉70%，魔芯MoWorld把世界模型带进产业时代
近期，魔芯科技联合浙江大学潘云鹤院士、华为等发布实时交互世界模型MoWorld，推理速度超50FPS，部署成本仅为同规模GPU方案的30%。它全链路优化，将用于多行业，魔芯也完成亿元美金融资。