「性能加速」共找到 2439 篇相关文章
微软分享三大王炸算法:突破大模型推理瓶颈,性能大涨
今天凌晨微软官网分享三大创新算法,即rStar - Math、LIPS、CPL,可助大模型突破推理瓶颈,增强数学推理和思考链能力,还介绍了各算法原理、优势及对应论文地址。
Codex正在重塑传统推理框架开发流程
作者用Codex完善SGLang Diffusion的SKILLS流程,修复诸多bug。让其做benchmark脚本,发现不同rmsnorm性能差异。应用flashinfer rmsnorm遇问题,Codex找出原因并修复,还提升了模型性能,体现强大生产力。
快手 AB 场景提速 145 倍,从 Spark 到 Apache Doris 的加速实践
快手 AB 指标生产场景从 Spark 切换到 Doris 提速 145 倍、资源消耗降 72%,刷新 Doris 单机群最大规模。本文介绍选择 Apache Doris 的原因,以及在存储、计算、调度、稳定性等方面的优化,对构建 AB 实验平台有参考价值。
大模型推理加速全链路:内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。
英伟达发布 Jet-Nemotron 系列小模型,理论最大加速比 56 倍
英伟达发布 Jet - Nemotron 系列小模型,在多项基准测试中表现出色,实现高吞吐量加速和高准确率。其训练采用 PostNAS 方案,对既有模型针对性优化,展示了在小模型优化上的可行技术路径。
时空压缩!剑桥大学提出注意力机制MTLA:推理加速5倍,显存减至1/8
在大语言模型发展中,Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA,结合时空压缩策略,提升推理效率,在多任务中表现出色,代码已开源。
小红书团队开源dots.ocr:文档解析新王者,性能比肩Gemini!
文档解析领域处理多语言复杂文档需高效能力,传统OCR工具存在不足。小红书HiLab开源多语言文档解析模型dots.ocr,基于1.7B参数视觉语言模型,性能达SOTA,单页PDF处理快,公式识别媲美大模型。
VAST完成5000万美元A轮融资,加速构建世界模型与UGC互动内容平台
通用人工智能公司 VAST 完成 5000 万美元 A 轮融资,由阿里、恒旭资本联合领投。该公司在 3D 领域成果显著,发布全新 AI 3D 大模型家族,还将重点投入世界模型研发和 UGC 互动内容平台建设。
不换GPU,性能飙升2.8倍!英伟达用软件暴打摩尔定律
2026年1月8日,英伟达官网披露,基于Blackwell架构的推理软件栈升级,让混合专家模型(MoE)推理效率迎「阶跃式」突破,单GPU吞吐飙升2.8倍,显著降低推理成本。其通过软件针对性升级发挥硬件潜力,还进行多项优化。
刷榜多元时序预测,性能波动0%!打破CI/CD二元对立 | ICLR'26
在多元时间序列预测领域,长期存在通道依赖(CD)与通道独立(CI)路线之争。浙江财经大学团队提出CPiRi框架,结合时空解耦架构与置换不变正则化策略,解决范式矛盾,取得优异效果。