「推理加速」共找到 2538 篇相关文章
IDC 最新AI Infra报告解读｜AI 云爆发的背后：AI 应用全球化势不可挡
近期 IDC 发布报告，显示亚太企业 GenAI 应用增长快，AI 产业从开发到应用落地。这催生 AI 原生云，GMI Cloud 等新兴厂商崛起。同时，企业面临算力管理成本高问题，推理需求重塑市场格局，为中企出海带来机遇。
3B小模型，编程得分比肩Opus 4.5，神秘模型引发热议，原是国产
最近，3B小模型VibeThinker - 3B在X上火了，它在编程等推理任务上比肩前沿大模型，体积却小很多。它是国产模型，来自新浪微博团队，在各项基准测试表现出色，不过在通用知识领域表现欠佳。
中国AI芯片大突围，DeepSeek V3.1引爆算力革命
DeepSeek V3.1发布，是中国AI技术自主性的战略突围。它有6850亿参数，采用UE8M0 FP8适配国产芯片，具混合推理架构、Agent能力等。其发布或重塑AI产业格局，推动国产芯片发展。
AI「生肉证明」堆爆GitHub！陶哲轩重磅发声：只会解题没用了
陶哲轩判断数学从证明稀缺进入过剩时代，AI 使证明生成加速，出现验证和消化跟不上的‘阻抗失配’现象。如 Erdős 问题有众多待评估方案堆积，而仅1196号案例跑通‘三件套’。他还指出学术评价体系将重写。
让强化学习快如闪电：FlashRL一条命令实现极速Rollout，已全部开源
清华AIR、字节联合团队曾发布DAPO实现大规模LLM强化学习。刘力源、姚峰团队发现DAPO-32B中rollout生成是瓶颈，推出FlashRL，应用INT8/FP8，用TIS解决不匹配问题，加速显著且不牺牲性能，一条命令即可使用。
内存一年疯涨170%，云账单里的“隐性成本”该算清了
2025年下半年存储价格成焦点，DRAM合同价同比涨幅达171.8%，致企业IT采购成本上升。华为云更新Flexus云服务器系列，基于柔性算力技术，打破CPU与内存固定绑定，减少浪费，还引入应用级加速，提升性能。
华为超树HTP：不写示例、不调PDDL，AI规划约束通过率飙升62.6%
文章介绍华为超树HTP，它是完全自主、可泛化的推理新范式。能让LLM在超树结构上完成规划，不依赖人工示例和外部规划器，在复杂规划benchmark上实现SOTA准确率并降低token成本，还阐述其原理、创新点及应用实例。
冲上热搜！美团大模型，靠「快」火了
国内外开发者亲测，美团新开源的LongCat - Flash - Chat模型速度超快，推理速度超每秒100个token。它来自美团LongCat - Flash系列，官网可直接用。该模型架构创新，训练方法高效，还做了专属和系统级优化，跑起来又快又便宜。
MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B
微软亚洲研究院联合清北提出全新预训练范式RPT，将强化学习融入预训练，把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色，在多方面媲美甚至超越32B模型，未来RL或在LLM预训练掀起风暴。
MiniMax 技术闭门会分享：长上下文是 Agent 的 Game Changer
MiniMax 7月10日举办M1技术研讨会，探讨模型架构创新等领域。会议围绕RL能否赋予模型新能力、预训练价值等展开，指出长上下文是Agent的Game changer，混合架构将成主流，还分享了混合架构推理实践及M1相关问答。