「推理加速技术」共找到 4901 篇相关文章
极客部落 OPC 入驻路演评审，首批AI创业共建者加速集结
5月8日，极客部落OPC入驻路演评审活动举办，旨在筛选首批入驻团队。活动邀请多部门代表评审，路演项目覆盖多领域，采用多维度评分机制，后续将确定入驻名单，极客部落会持续支持AI创业者。
Transformer可以改装成Mamba了：苹果把推理成本直接打成线性
苹果将Transformer改造成Mamba，采用‘两步走’策略，先造中间形态，再转成Mamba，避免性能崩塌。实验显示，新方法性能几乎没掉，成本逻辑改变，为模型降本重构提供新可能。
老黄入局吃龙虾！英伟达发布最强开源Agent推理模型
英伟达发布并开源120B参数的MoE模型Nemotron 3 Super，在多项测试中表现出色。它原生支持100万token上下文，吞吐量大幅提升。英伟达还计划五年投260亿美元构建开源AI模型，开放全参数权重等。
谷歌技术报告披露大模型能耗：响应一次相当于微波炉叮一秒
大模型耗电舆论高，谷歌用数据还击。谷歌首席科学家称Gemini能耗低于预期，一年间能耗降至1/33，碳排放降至1/44。谷歌用更全面指标计算能耗，还从多方面优化使Gemini能耗降低。
模仿人类推理修正过程，阶跃星辰提出形式化证明新范式 | 开源
阶跃星辰发布并开源形式化定理证明大模型 StepFun-Prover-Preview-7B 和 32B。采用两阶段监督微调、工具集成强化学习及 RL 与 SFT 迭代循环优化等策略，在基准测试集表现佳，还展示多个证明案例。
半导体2025上半年观察日记：AI还在卷，国产替代继续加速
2025年上半年半导体圈热闹非凡，AI芯片仍是主角，存储市场回血，半导体设备投资增长，国产替代重点突破，欧美政府撒钱扶持产业，台积电稳坐代工王座，日厂崛起，中国市场积极发展，汽车芯片弱复苏，出口管制倒逼国产化。
技术思辨｜AI Coding：经验壁垒正在失效，工具进化重塑编程
AI飞速发展，AI Coding对传统研发模式冲击大。文章总结5个变化趋势，如专业性转移升级、效率体现为高质量专注等，还探讨AI时代开发者核心技能及经验价值，指出变革带来挑战与机遇。
Claude两个新模型实测流出！空间推理封神，算力直接榨干了
Claude两款新模型“棉花糖”和“甜瓜”实测流出，在3D强化学习和建筑空间布局上性能强大，还能直接理解并生成复杂3D坐标和空间关系。它们对算力吞噬疯狂，引发对其身份的猜测。
快手 AB 场景提速 145 倍，从 Spark 到 Apache Doris 的加速实践
快手 AB 指标生产场景从 Spark 切换到 Doris 提速 145 倍、资源消耗降 72%，刷新 Doris 单机群最大规模。本文介绍选择 Apache Doris 的原因，以及在存储、计算、调度、稳定性等方面的优化，对构建 AB 实验平台有参考价值。
强化学习没作用？人大DelTA精准识别关键token，推理正确率大幅上升
人大高瓴研究团队提出DelTA算法，不依赖经验为强化学习目标中每个token算最优权重。实验显示它适配主流强化框架，在多任务上提升base模型效果，还能让训练更稳定。