「推理性能优化」共找到 4171 篇相关文章
让64张卡像一张卡！浪潮信息发布新一代AI超节点，支持四大国产开源模型同时运行
浪潮信息发布新一代AI超节点“元脑SD200”，可让64张卡像一张卡。它支持四大国产开源模型同时运行，实现算力聚合突破，通过软硬协同优化提升推理性能，采用开放架构推动“智能平权”。
Runway Gen-4.5刷屏发布，把重量、尘土和光影都做对了，网友：颠覆
Runway Gen-4.5突袭发布，获“视频生成AGI时刻”评价，在Artificial Analysis测试中拿下SOTA。它能精准执行复杂指令，物理还原与视觉精准度强，官方将逐步开放使用权限，还直言其存在因果推理等局限。
苹果港大终结自回归时代？7B扩散模型发布，AI写代码逻辑彻底颠覆！
苹果联合港大开源扩散大语言模型DiffuCoder，用扩散模型+强化学习策略，性能提升4.4%。研究还提出耦合梯度奖励策略优化方法，建立原生RL训练框架，探究了dLLM的生成机制等问题。
Action Map Policy：从高维动作回归到像素分类，一种新的机器人操作学习范式
本文介绍美国东北大学博士生黄浩杰提出的全新机器人操作学习范式Action Map Policy（AMP），将高维三维机器人动作转化为二维图像空间的像素分类问题，性能和推理速度均显著优于现有主流基线方法。
半量工具，双倍效能：ARPO革新大模型强化学习
大语言模型在多轮工具调用场景有挑战，传统强化学习算法有探索效率低和资源消耗大问题。本文提出ARPO，通过量化token熵分布变化设计自适应探索机制，降低工具调用成本且提升多轮推理性能。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
“天下苦CUDA久矣！”KernelCAT率先掀桌，实现国产芯片无痛适配
中国AI产业与英伟达GPU及CUDA生态深度依赖，国产AI根基脆弱。KernelCAT作为AI Agent，能开发高性能算子，在昇腾芯片调优测试中表现出色，还能让国产模型在昇腾芯片上高效部署，实现35倍加速。
黑森林FLUX.2 Klein开源，亚秒级高质量图像生成和编辑，普通电脑就能跑
黑森林实验室发布开源的FLUX.2 Klein模型家族，是紧凑架构，将高质量图像生成与编辑速度压缩至亚秒级，在消费级显卡实现旗舰性能。其统一架构打破生成与编辑壁垒，还与NVIDIA合作优化。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
微软开源3大突破AI Agent模型，仅140亿参数超越DeepSeek-R1
微软研究院开源AI Agent推理模型rStar2-Agent，140亿参数在多测试超6710亿参数的DeepSeek-R1。其通过智能体强化学习，在训练基础、算法、流程上有三大突破，显著提升性能且降低算力成本。