推理加速技术」共找到 4898 篇相关文章

产品应用8

还得是华为!Pangu Ultra MoE架构:不用GPU,你也可以这样训练准万亿MoE大模型

华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练,团队在架构和训练方法创新,实现准万亿MoE模型训练,还在多方面优化提升性能。

机器之心
新闻资讯7

晶晨股份全资收购无线通信芯片公司芯迈微

晶晨股份拟3.16亿全资收购芯迈微,核心是战略补强,借此获取研发团队与技术IP,补齐广域网连接短板,构建全栈解决方案能力,从单点技术竞争迈向平台生态竞争。

芯师爷
新闻资讯7

AMD发布旗舰AI芯片,称性能比肩英伟达

当地时间6月12日,AMD CEO苏姿丰在大会展示多款AI新品,将新AI芯片与英伟达同类产品对比,称性能比肩且性价比高。还展示了新软件栈、介绍下一代AI机架产品,预计推理成未来AI发展主驱动力。

芯师爷
新闻资讯8

规模化破局:中国无人驾驶全球突围|甲子光年

在全球新能源与智能交通变革中,中国无人驾驶企业改写竞争逻辑。百度旗下萝卜快跑凭借12年研发,跨越‘用户规模断层’鸿沟,以‘倍速出海’策略在全球出行革命中争夺主动权,其出海模式与技术能力值得关注。

甲子光年
算法论文8

警惕!大模型成本倒挂:你正在为模型的多余「思考」买单

一项来自多所高校和微软研究院的研究揭示AI模型价格倒挂现象,低定价模型可能产生更高实际开销。研究聚焦8个前沿推理模型和9个主流数据集,指出推理token是成本倒挂主因,且实际开销难以预测。

机器之心
8

现实版“盗梦空间”?欧洲极客论文全网爆火,一战戳破三大巨头安全神话,35万机密在公网裸奔

欧洲两位安全研究员的论文《从专有 LLM API 中窃取推理轨迹》爆火。他们揭示 OpenAI、Anthropic 和 Google 用的“无状态架构”有漏洞,能利用小模型解码大模型推理轨迹,导致隐私泄露等风险。

AI科技大本营
算法论文8

Reasoning新突破:SoftCoT++如何让LLM‘多想几条路’?

LLM推理依赖‘思维链’,传统方法在离散token空间生成步骤有信息丢失、多样性不足问题。SoftCoT++在连续空间生成‘软思维’,拆分‘思考’与‘推理’,用专用初始token和对比学习,实验中全面超越传统方法。

深度学习自然语言处理
开源动态8

字节Seed团队发布循环语言模型Ouro,在预训练阶段直接「思考」,Bengio署名

现代LLM依赖显式文本生成训练“思考”,未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro,将推理能力构建到预训练阶段,实现参数效率提升,还降低了有害性。

机器之心
新闻资讯7

永别了,人类冠军!AI横扫天文奥赛,GPT-5得分远超金牌选手2.7倍

国际天文与天体物理奥赛(IOAA)中,GPT - 5和Gemini 2.5 Pro完胜人类选手。俄亥俄州立大学团队考察五大顶尖LLM,发现它们大多达金牌水平,但在几何、时空推理等方面有困难。

新智元
算法论文8

均值至上假繁荣!北大新作专挑难题,逼出AI模型真本事

当强化学习成大模型后训练核心工具,主流方法陷入「均值优化陷阱」,推理能力停滞。北大团队提出RiskPO,将风险规避理念融入优化目标,用MVaR+捆绑策略双管齐下,三大任务表现优异。

新智元