「并行加速」共找到 824 篇相关文章
腾讯发布SpecExit算法,无损压缩端到端加速2.5倍!解决大模型长思考效率难题
腾讯发布 SpecExit 算法,将思考早停与投机采样融合,利用轻量级草稿模型预测“退出信号”,在不引入额外探测开销的前提下,实现动态、可靠的思考早停,在 vLLM 上推理端到端加速 2.5 倍,准确性和推理效率得到双重保障。
5秒完成3D场景编辑,北大&港中文&上海AI Lab搞出VGGT-Edit,120倍加速太炸了
北大、港中文等团队提出原生3D编辑框架VGGT-Edit,不再绕回2D,直接在3D空间编辑。它采用残差场预测等机制,在DeltaScene测试集表现出色,单次编辑约5秒,最高120倍加速。
8B模型可以超过GPT-4o!并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈,作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新,能让 8B 模型性能达 GPT - 4o 的 91.17%,特定任务超 GPT - 4o。
科学进步实际上很大程度依赖于实打实的实验结果,而不仅仅是理论智力|AI 自我提升不会突然“起飞”,而是逐渐加速的过程
如今未实现AI自我提升,一旦实现将是重大突破。但它不会突然飞跃,而是缓慢持续的过程。不同领域提升难度有别,科学进步受现实实验速度限制,AI自我提升更可能是缓慢加速进程。
ICLR 2026!代码优化不再靠玄学:大模型真正学会“又快又准”,效率提升71.06%,加速比达6.08x
ICLR 2026顶会文章提出全新大模型代码优化方案,切入代码优化核心难题。该方案将代码优化率提至71.06%,加速比达6.08x,正确性提至74.54%,有很强工程可用性。
VLM 实现 10%的精度提高,13.1倍加速!纽约大学新算法让视觉语言模型更小、更快、更准确
纽约大学研究团队用QSVD新方法让视觉语言模型(VLM)效率飞跃,在普通GPU上实现13.1倍加速。它将Q、K、V矩阵捆绑处理,设计秩分配策略,引入量化方案,经多模型评估,展现出低硬件成本、高精度优势。
10秒视频token超5万,O(n²)跑不动?用后训练线性化框架实现1.71倍加速,推理成本大降|CVPR'2026
视频生成进入大规模时代,但计算成本高,自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架,无需数据和重新预训练,实现视频扩散模型线性化替换,保持生成质量,加速推理并降低成本。
代码怎么才能跑的更快
文章围绕让代码跑更快展开,先介绍调整源代码的方法,如降低循环开销、去除内存引用等,又阐述使用硬件加速指令,像用 SIMD 函数、避免分支语句等,还提及多核并行和分析瓶颈等要点。
上海AI Lab发布混合扩散语言模型SDAR:首个突破6600 tgs的开源扩散语言模型
上海人工智能实验室提出全新范式SDAR,通过‘训练 - 推理解耦’融合AR模型高性能与扩散模型并行推理优势。实验证明,SDAR性能与原版AR模型持平或超越,还能加速推理,且已全面开源全系列模型。
吴恩达来信:利用编程智能体实现更高效开发
吴恩达认为编程智能体正加速各类软件工作,按加速程度排序为前端开发、后端开发、基础设施、研究。前端开发加速明显,后端开发有提升但幅度小,基础设施和研究方面加速有限。