「推理成本」共找到 3299 篇相关文章
DiT在数学和形式上是错的？谢赛宁回应：不要在脑子里做科学
X上有博主称DiT存在架构缺陷，其FID过早稳定，可能无法继续从数据中学习。还批判了DiT的设计，如使用后层归一化和adaLN - zero。DiT作者谢赛宁回应，强调做研究要基于实验，也指出DiT现存一些问题。
研究者警告：强化学习暗藏「策略悬崖」危机，AI对齐的根本性挑战浮现
强化学习是大模型推理与对齐的核心方法，但常带来模型行为脆弱等问题。上海人工智能实验室徐兴成博士论文揭示‘策略悬崖’挑战，分析其成因，解释多种对齐失败现象，并提出对AI研究的启示。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
2025全球大模型应用报告：红海混战「忠诚度」瓦解，用户脚踏4.7条船！
2025年上半年大模型从技术走向生产，45%企业将其用于生产环境。用户付费方式多样，使用面临知识不足、成本高的挑战。市场红海竞争，用户平均用4.7家大模型，国产模型出海需借第三国。
让64张卡像一张卡！浪潮信息发布新一代AI超节点，支持四大国产开源模型同时运行
浪潮信息发布新一代AI超节点“元脑SD200”，可让64张卡像一张卡。它支持四大国产开源模型同时运行，实现算力聚合突破，通过软硬协同优化提升推理性能，采用开放架构推动“智能平权”。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
双“雷”暴击！Trae 被曝资源黑洞、Claude背刺超级付费党，开发者们被“刀”惨了
AI编程应用大热，但运行卡顿、资源消耗惊人等问题随之而来。Trae被曝过度消耗资源，Anthropic宣布Claude Code对付费用户增加调用限制，反映出AI产品资源问题影响厂商和用户。
突发！Qwen更新模型，全面超越kimi k2，强的离谱，主打Agent
Qwen小更新非推理模型性能强劲，各项指标超kimi k2，与Claude opus 4持平，Agent能力亮眼。Qwen团队告别混合思维模式，新模型上线，独立训练两模型，新版本多方面提升，团队称还有大招。
全网爆火的Kimi-k2驱动Claude Code亲测可食用版本来了「附详细配置」
Claude Code好用但贵，Kimi-k2表现不错且API价格便宜。月之暗面团队为Kimi K2提供与Anthropic兼容的API端点，文章给出在Claude Code使用Kimi K2的亲测配置方法。
比女皇报告还炸裂！67页AI深度调研刷屏，全球LLM大决战真正开始
硅谷财富管理巨头Iconiq Capital发布《2025年AI现状报告》，实测300家AI公司落地路径，揭示AI从概念走向实战的七大真问题，解析从构思到部署AI产品路径，核心关注高效构建、规模化落地等。