「推理成本」共找到 3256 篇相关文章
不换GPU，性能飙升2.8倍！英伟达用软件暴打摩尔定律
2026年1月8日，英伟达官网披露，基于Blackwell架构的推理软件栈升级，让混合专家模型（MoE）推理效率迎「阶跃式」突破，单GPU吞吐飙升2.8倍，显著降低推理成本。其通过软件针对性升级发挥硬件潜力，还进行多项优化。
Qwen3接连放出No Thinking, Thinking两大模型，Gemini2.5 pro顶不住啦
Qwen推出非推理模型`Qwen3 - 235B - A22B - Instruct - 2507`后，又放出推理模型`Qwen3 - 235B - A22B - Thinking - 2507`。非推理模型在多方面功能增强，推理模型能力强，超DeepseekR1，可试用。
刚刚，全网最猛AI视频模型免费了！我们手搓了一段「牛来」，效果绝了
AI短剧火爆，但创作者面临成本高痛点。Agnes Video 2.5系列模型上线Pavo平台，成本低效果好，其Flash版免费。Pavo还有「无限画布」和「Agent创作模式」，降低返工成本，实现低门槛创作。
清华校友出手，8B硬刚GPT-4o！单一模型无限工具调用，终结多智能体
MIT等机构推出TIM和TIMRUN组合拳，突破模型token天花板。TIM将推理建模为任务树，TIMRUN优化内存管理。二者结合支持长程推理，实现单模型高效推理，简化智能体构建，在多方面表现出色。
ICML 2025｜如何凭「自动补全」实现100K生成3×加速？
在大模型推理复杂的当下，生成超长文本成本高。BIGAI NLCo团队提出推理加速框架TokenSwift，被ICML 2025接收。它重构传统自回归推理，解决长生成瓶颈，在多模型实验中表现亮眼。
深入解析多邻国的 FinOps 之旅：将云支出转化为工程洞察
多邻国在《每位工程师都该了解的 FinOps》中分享实践经验，将财务意识融入工程流程，用成本可视化机制让开发者了解成本影响，采用相关指标平衡创新与效率，借助工具优化成本，行业正从‘削减成本’转向‘数据驱动责任制’。
逆势降本：云上数据平台年复削减30%的治理实践
本文是朴朴科技对云上大数据平台成本治理的阶段性总结。其开展成本治理已三年，分“降本增效”三部曲：成本发现与分析、成本优化与控制、体系化治理构建，分享经验，助力同行开展相关工作。
TPU vs GPU 全面技术对比：谁拥有 AI 算力最优解？
SemiAnalysis对Google TPU v7/v8深度拆解，将TPU与Nvidia GPU多方面对比拆到可计算层面。不过其结论有局限性，本文重新分析，指出TCO因场景而异，互联体系分歧在流量假设，Google TPU v8成本优势被削弱。
AI真的需要「像人类」那样思考吗？AlphaOne揭示属于大模型的「思考之道」
近年大模型在推理任务有进展，但缺乏推理节奏调控能力。伊利诺伊大学厄巴纳 - 香槟分校和加州大学伯克利分校研究提出 AlphaOne 框架，引入 α - moment 实现无需训练的推理调控，实验显示其能提升准确率和效率。
ICML 2025 | 大模型能在信息不完备的情况下问出正确的问题吗？
当前大语言模型推理研究多聚焦被动推理，主动推理研究少，制约其在现实场景应用。为此提出 AR - Bench 基准评估大模型主动推理能力，实验显示大模型主动推理能力严重不足，并指出后续拓展方向。