「推理成本」共找到 3261 篇相关文章
扩散语言模型真的会比自回归好？理论分析结果可能恰恰相反
北京大学和蚂蚁集团研究表明，扩散语言模型虽理论上有并行生成优势，但实践中在某些任务推理成本更高。研究通过实验对比，分析了扩散与自回归模型在不同评估指标下的效率，指出选择模型要视任务需求。
刚刚，Thinking Machines Lab博客提出在策略蒸馏，Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客，提出在策略蒸馏可结合强化学习纠错与SFT奖励密度，成本低且能让小模型有强大性能。该成果受Qwen团队启发，大量用Qwen3模型。还对比了不同训练方法。
拳打可灵，脚踢 Veo 3，谁是物理世界的「懂王」？
多模态视频生成大模型是复杂系统工程，多为巨头游戏。MiniMax的Hailuo 02发布，ELO得分超谷歌Veo 3和快手Kling 2.0。它能呈现复杂运动，处理物理关系，提升训练推理效率，成本低，后续还将更新。
IDC 最新AI Infra报告解读｜AI 云爆发的背后：AI 应用全球化势不可挡
近期 IDC 发布报告，显示亚太企业 GenAI 应用增长快，AI 产业从开发到应用落地。这催生 AI 原生云，GMI Cloud 等新兴厂商崛起。同时，企业面临算力管理成本高问题，推理需求重塑市场格局，为中企出海带来机遇。
无需标注和奖励模型！仅靠自信度RL，16个样本训练20步，效果飙升21%！
论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。
6.1B打平40B Dense模型，蚂蚁开源最新MoE模型Ling-flash-2.0
蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0，其以轻量级配置展现卓越性能，在推理速度、任务性能、部署成本间找到新平衡，为大模型‘参数膨胀’提供新路径，还在多领域应用表现出色。
GPT-5.4 mini+nano突袭，1/3价格养满血「龙虾」！OpenAI彻底杀疯
OpenAI发布GPT - 5.4 mini和nano，继承GPT - 5.4优势，速度快、成本低。在编码、推理、工具调用等方面表现出色，可作为「龙虾」主力模型。还提出分层调度架构，且全线上线，免费用户也能用，但mini长上下文处理有短板。
小模型，大能量！200美金的GPT Pro竟然输给了它？
博主用11个场景深度测试昆仑万维的Skywork R1V4 - Lite，它能做到Gemini 2.5 Pro才能干的事，速度快、成本低。在定位、人物识别、生活实用、专业鉴定、学术研究等场景表现出色，核心突破在于主动图像操作与深度推理。
阿里云Tair KVCache仿真分析：高精度的计算和缓存模拟设计与实现
阿里云Tair KVCache团队推出Tair - KVCache - HiSim，这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能，支撑计算选型、存储规划和调度协同等决策，还介绍了其架构、组件、验证及性能评估等内容。
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。