「分布式推理系统」共找到 3622 篇相关文章
首次披露！DeepSeek V3 发布软硬一体协同训练论文，公开「降成本」秘诀
DeepSeek团队发布论文《洞察DeepSeek - V3：规模的挑战和对AI架构硬件的思考》，从硬件架构和模型设计双重视角，探索其经济高效的大规模训练和推理方法，介绍了设计原则、低精度驱动等多方面内容及降成本秘诀。
SGLang Custom AllReduce v1 与 v2 实现原理详解
文章聚焦 SGLang 里两代自定义 all-reduce 实现（v1 和 v2），前者从 vLLM 移植，后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容，还对比了两代差异，并提及相关环境变量。
Harness Engineering: C 端 AIGC 内容生产自优化实践
文章介绍蚂蚁保保险快查深度解读页面生成系统（DIPG），它将Harness思想用于C端AIGC生产链路。DIPG采用‘离线生成+校验+刷入DB’模式，解决LLM实时生成时延和质量问题，还阐述多Agent协作、校验机制及回灌流程等。
三年时间市值翻了25倍，广告新巨头AppLovin任命了一名华人CTO
在Google和Meta“垄断”的广告领域，AppLovin成为新巨头。新任CTO葛小川分享工程数据，该公司基于机器学习的广告竞价系统日处理超1000亿次请求，核心工程团队不到100人。文章讲述其发展历程、技术突破及未来规划。
Meta“Token榜”逼疯打工人，一夜烧掉公司几万刀！AI时代Token焦虑越来越离谱
据报道，Meta 公司内网出现 AI token 消费排行榜，追踪超 8.5 万员工 token 使用情况，过去 30 天消耗超 60 万亿 token。这反映“Token 最大化”文化，引发 token 消耗是否等同于生产力的争议。当前 Agent 系统高 token 消耗是补偿机制，应提升使用效率。
RL特训出「押题大师」？破解模型微调中的多样性危机与灾难性遗忘
近年来，基于可验证奖励的强化学习（RLVR）成为提升大语言模型推理能力的重要路径，但许多经RL微调的模型出现‘越训越单一’问题。复旦大学等团队聚焦长期被忽视的KL散度项，提出DPH - RL方法，可缓解多样性坍塌。
CVPR 2026｜1分钟单图变4D视频！AI看图直接脑补物理规律
北京理工大学和理想汽车等团队提出全新框架PhysGM，引入DPO实现端到端快速前馈推理，能1分钟内将单图生成为4D动态视频，在速度和评价指标上超越主流模型，相关工作被CVPR 2026接收且代码已开源。
北大团队提出 SHINE：将任意文本转化为大模型 LoRA，仅需一次前向传播！
北大团队提出全新超网络架构 SHINE，仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数，支持多轮对话。该方法实用潜力大、架构创新高效，训练流程成熟，推理快速，为大模型持续学习提供新思路。
GPT-5.4 mini+nano突袭，1/3价格养满血「龙虾」！OpenAI彻底杀疯
OpenAI发布GPT - 5.4 mini和nano，继承GPT - 5.4优势，速度快、成本低。在编码、推理、工具调用等方面表现出色，可作为「龙虾」主力模型。还提出分层调度架构，且全线上线，免费用户也能用，但mini长上下文处理有短板。
黄仁勋砸千亿兆瓦算力，押注下一个“Open AI”
3月10日，前OpenAI高管Mira Murati创办的Thinking Machines Lab与英伟达达成长期合作，英伟达将提供1吉瓦下一代NVIDIA Vera Rubin系统。这一合作规模巨大，显示英伟达全面布局，也体现该创业公司野心，不过其面临组织动荡考验。