2D推理」共找到 3916 篇相关文章

算法论文8

瘦身不降智!大模型训推效率提升30%,京东大模型开发计算研究登Nature旗下期刊

京东探索研究院大模型研究登Nature旗下期刊。其提出系统与方法,经四大创新使大模型推理提效30%、训练成本降70%。成果支撑JoyBuild平台,可帮企业将通用模型转化为专业模型,加速商业化落地。

量子位
新闻资讯7

刚刚,DeepSeek新模型MODEL1曝光,3处架构升级!

DeepSeek更新FlashMLA时曝光新模型MODEL1,从diff看它在MLA KV-Cache存储与访问方式上和V3/V3.2系列有3个本质差异,如物理排布更紧凑、引入‘extra’两段式cache、头维固定512×512

PaperAgent
产品应用7

火爆全网的Skills,终于有了最简单的打开方式。

扣子更新到2.0版本,上线Skills和长期计划功能。Skills很火但现有支持产品对普通人门槛高,扣子降低了其使用和创建门槛,还提供两种创建方式;长期计划能帮用户定目标做规划,但有一些不足。

数字生命卡兹克
开源动态8

拒绝传统 Router“瞎指挥”,多智能体如何实现智能任务分配?

企业级多智能体系统瓶颈常是负责分发任务的传统 Router 太“傻”,搞不定跨域、解不了冲突、跟不上变化。腾讯云开源 TCAR 智能路由模型,它先推理再选 Agent 集合,经多数据集评测表现出色,还提供完整开源范式。

InfoQ
算法论文8

英伟达、港大等发布创新KV缓存,实现扩散模型无训练加速

多数开源扩散语言模型推理效率不如自回归模型,英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算,还提出基于置信度的平行解码策略,测试显示能加速且保持生成质量。

AIGC开放社区
产品应用8

华为盘古首次露出,昇腾原生72B MoE架构,SuperCLUE千亿内模型并列国内第一

当前传统 MoE 有专家激活不均衡问题,华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练,推理性能强,在 SuperCLUE 榜单千亿内模型并列国内第一,赋能业务落地。

机器之心
产品应用8

缓存不该困在一台服务器里

本文分析大模型推理阶段KV缓存的行业痛点,指出传统单机缓存孤立无法跨节点复用的问题,介绍焱融科技的分层共享缓存方案,公开了方案的实测性能数据,展现AI存储的新发展方向。

InfoQ
产品应用8

刚刚,Qwen3.8-Flash震撼发布,我们看到了Qwen4的骨架

8月大模型厂商多上调API价格或收缩免费额度,因推理需求增长跑赢算力供给。阿里发布Qwen3.8-Flash并开源,成绩亮眼且价格低。它是Qwen4架构预演,有四大技术创新,提升了模型效率。

机器之心
开源动态8

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

蚂蚁灵波发布并开源了面向机器人真实任务的空间原生视觉基模 LingBot-Vision 及空间感知模型 LingBot-Depth 2.0,能让机器人更精准地感知世界,解决透明反光材质、小目标和远距离目标等视觉难题。

量子位
算法论文8

ICML 2026 | 拒绝盲目猜token,阿里x浙大将投机解码带入弹性预算时代

随着大模型参数规模扩大,推理成本成核心瓶颈。投机解码在高并发下有问题,阿里与浙大学者提出 ECHO,将投机树构造建模为预算调度问题,通过稀疏门控和弹性预算调度提升系统收益。

机器之心