「AI推理加速」共找到 11006 篇相关文章
推理成本骤降75%!gpt-oss用新数据类型实现4倍推理速度,80GB显卡能跑1200亿参数大模型
OpenAI在gpt - oss开源模型采用MXFP4数据类型,使推理成本降75%,内存占用为BF16模型四分之一,生成token速度提4倍,还能降低硬件资源需求。不过MXFP4也有缺陷,英伟达推出NVFP4提升质量。
谷歌揭秘:Multi-Agent 推理时扩展才是未来。
谷歌DeepMind和MIT联合发表论文TUMIX,指出Multi - Agent是推理时扩展的最佳方式,以低成本大幅提升准确率。实验表明Agent多样性优于重复采样,还展示TUMIX机制、实战表现,且LLM能设计更强Agent。
中国开源首超美国:Hugging Face发布全球AI开源现状报告
Hugging Face发布报告显示,2025年开源AI生态繁荣,用户参与度高。中国首次超越美国,成月下载量最大的模型来源国。各国政府推动主权AI,硬件支持更多元,机器人和科学领域发展迅速。
o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」
文章推荐 Implicit Chain-of-Thought 的最新进展 SIM-CoT,它直击隐式 CoT 核心痛点,用辅助解码器让隐式推理可解释。推理零额外开销,效果猛,研究已中稿 ICLR 2026,论文等均已开源。
字节跳动:Apache Doris + AI 一站式融合数据引擎的探索与实践
本文整理自字节跳动 DataMind 负责人演讲,介绍了基于 Apache Doris 打造的一站式引擎 DataMind。它集成 Hybrid Search、AI Function、GraphRAG 等能力,部分成果已贡献开源,还给出企业级 AI 问数落地方案。
外媒爆料:美国AI马歇尔计划预备开启,却被特朗普搞砸了!
外媒爆料美国本酝酿「AI马歇尔计划」围堵中国,重塑全球AI秩序。但特朗普政府无能,得罪盟友致单打独斗,计划未启动且碎片化。Axios建言美国按步骤启动,并提出政府、企业等应对举措。
马斯克从英伟达挖人做AI游戏!第一步:研发世界模型
据《金融时报》报道,今年夏天xAI从英伟达挖来多名资深研究员入局世界模型。马斯克重申2026年底前发布AI生成游戏的目标,xAI首批落点或为电子游戏,还组建全模态团队,若各板块通过世界模型互通,其AI帝国将形成闭环。
几千亿美元远远不够!黄仁勋亲笔长文:AI 是人类历史上最大的基建浪潮
英伟达CEO黄仁勋发布长文,指出AI是关键基础设施,运行依托硬件、能源与经济规律。AI可解构为五层架构,目前投入仅数千亿美元,未来还有数万亿规模待建,正演变成最大基建运动。
陶哲轩:AI 已经把想法成本降到几乎为0了...
著名数学家陶哲轩在与播客主持人Dwarkesh Patel的对谈中分享使用AI一年后的观点,认为AI已将想法生成成本降至几乎为零,但验证和评估成新瓶颈,还探讨其对数学研究的影响及未来发展。
大模型如何准确读懂图表?微软亚研院教它“看、动手、推理”
多模态大模型处理结构化图像有误差放大、推理难等问题。微软亚洲研究院等提出PixelCraft,以高保真图像处理与非线性多智能体推理为支柱,提升结构化图像理解性能,在多基准上有增益。