算法论文8
英伟达Fast - dLLM推理提速27.6倍
机器之心
AI 摘要
英伟达等机构:推出Fast - dLLM,凭借分块KV缓存与置信度感知并行解码,在LLaDA上实现27.6倍端到端加速,准确率损失控制在2%内,可即插即用提升推理效率。
阅读原文 · 机器之心
谷歌之后,英伟达入局扩散大语言模型,Fast-dLLM推理速度狂飙27.6倍
大语言模型领域,推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力,但开源扩散LLM推理慢。近日,NVIDIA等推出Fast - dLLM,无需训练即插即用,推理速度狂飙27.6倍,兼顾速度与精度。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
阿里云平台完成 DeepSeek Harness 评测
本文分享基于阿里云 AgentLoop 平台的 DeepSeek Harness 评测实践。介绍了 DeepSeek Harness 工程架构,阐述 AgentLoop 平台接入方式及价值,还详述评估器设计思路、展示评测结果,最后总结方法论并展望后续工作。
阿里云开发者
开源动态7
HarnessEval开启RSI时代新评测范式
过去一年AI进入RSI时代,但评测方式仍停留在过去。MirroS联合多方发布HarnessEval,将Harness引入评测领域,使评测成为具备自我进化能力的智能系统,还率先应用于交互式世界模型评测。
特工宇宙
新闻资讯7
DeepSeek涨价,OpenAI降价,Agent改写价格战
近期,DeepSeek上调API价格,V4 Pro等型号涨幅明显;而OpenAI的GPT - 5.6 Luna API价格降80%,Terra降20%。这背后是大模型价格竞争方向转变,受竞争、广告、效率及Agent使用方式等因素影响。
DeepTech深科技
新闻资讯7
黄仁勋15亿押注,OpenAI独霸核废墟AI厂20年
英伟达、OpenAI和软银要将美国俄亥俄州冷战核废墟改造成全球最大AI超级工厂,终极电力规划达8吉瓦。黄仁勋宣布注资、担保,OpenAI签长约,孙正义改造电网,这或成稳赚买卖。
新智元