「量子并行重复定理」共找到 429 篇相关文章
为大模型思考装上“猎鹰重装引擎” :腾讯混元 SEAT 重塑深度思考
本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级,应对复杂推理任务。该框架通过多轮并行推理和语义熵导航,解决大模型深度思考的局限,且适配多种大模型,性价比高。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型(MoE),它能解决稠密模型扩展瓶颈。阐述其优势,如计算高效、适合并行等,还介绍在transformers库中支持稀疏架构的演进,包括权重加载重构、专家执行后端、专家并行及训练方案。
科研的回归:AutoSOTA如何终结“增量式优化”的重复劳动
当前AI科研中,为提升性能指标,研究者投入大量精力做“增量式优化”,限制原创探索。AutoSOTA项目由清华与中关村学院联合发布,它基于智能体系统构建自动化方案,接管实验迭代,一周发现105个SOTA模型,推动科研回归原创。
推理token减少46%!Meta新方法缩短思维链,告别重复推导
Meta等联合提出元认知复用机制,让模型总结解题思路,提炼为“行为”存于“行为手册”。实验显示,该机制在数学基准测试中显著优化,保持准确率时最多减少46%推理token使用量。
西湖大学提出RDPO强化学习框架,实现扩散模型并行推理加速
扩散模型“顺序去噪”特性成速度提升瓶颈。西湖大学AGI Lab提出RDPO框架,不必改动模型本身,优化其“采样导航系统”,在多基准测试中取得领先图像生成效果,解决加速问题并提供RLHF对齐新范式。
MIT & Google | 提出异步并行生成新范式,LLM推理效率大幅提升!
MIT与谷歌团队在研究PASTA中探索异步生成范式,开发标记语言PASTA - LANG,采用双阶段训练流程,设计推理系统。实验显示PASTA平衡性能与质量,有可扩展性,为LLM推理效率优化开创学习驱动新路径。
普朗克被撤稿了?量子之父竟被算法绊了一跤
新论文指出,量子论奠基人普朗克1940年和1942年的两篇文章在Springer平台被标记为“retracted”。调查发现,文章并非因造假等被撤,而是被算法误判,反映了现代学术出版基础设施的问题。
√N并行+84倍计算加速!英伟达港大全新图像注意力:空间结构都保留
英伟达、港大等研究人员提出新型视觉注意力机制GSPN,通过线性扫描和稳定性 - 上下文条件处理图像空间结构,降低计算复杂度至√N量级,在多视觉任务达先进水平,生成16K图像加速超84倍。
具身Scaling Law押对了!独角兽新品1小时学会新任务,重复1800次成功率99%
具身智能独角兽Generalist推出新模型Gen - 1,它在精细任务上表现出色,成功率大幅提升、效率加快,验证了机器人领域的Scaling Law。研发团队重写数据处理架构,采用新技术提升性能。
字节开源多模态复杂文档解析模型!Dolphin:页面与元素并行解析,精准解析复杂文档!
多模态AI与文档解析兴起,传统OCR解析复杂文档常出错。字节跳动开源多模态模型Dolphin,通过两阶段机制精准解析,有多种功能,安装使用友好,适用于多场景,降低了复杂文档解析门槛。