性能加速」共找到 2439 篇相关文章

新闻资讯8

微软分享三大王炸算法:突破大模型推理瓶颈,性能大涨

今天凌晨微软官网分享三大创新算法,即rStar - Math、LIPS、CPL,可助大模型突破推理瓶颈,增强数学推理和思考链能力,还介绍了各算法原理、优势及对应论文地址。

AIGC开放社区
产品应用7

Codex正在重塑传统推理框架开发流程

作者用Codex完善SGLang Diffusion的SKILLS流程,修复诸多bug。让其做benchmark脚本,发现不同rmsnorm性能差异。应用flashinfer rmsnorm遇问题,Codex找出原因并修复,还提升了模型性能,体现强大生产力。

GiantPandaLLM
产品应用8

快手 AB 场景提速 145 倍,从 Spark 到 Apache Doris 的加速实践

快手 AB 指标生产场景从 Spark 切换到 Doris 提速 145 倍、资源消耗降 72%,刷新 Doris 单机群最大规模。本文介绍选择 Apache Doris 的原因,以及在存储、计算、调度、稳定性等方面的优化,对构建 AB 实验平台有参考价值。

InfoQ
推荐文章8

大模型推理加速全链路:内存管理、编译优化、量化与并行策略

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。

InfoQ
算法论文8

英伟达发布 Jet-Nemotron 系列小模型,理论最大加速比 56 倍

英伟达发布 Jet - Nemotron 系列小模型,在多项基准测试中表现出色,实现高吞吐量加速和高准确率。其训练采用 PostNAS 方案,对既有模型针对性优化,展示了在小模型优化上的可行技术路径。

AI科技评论
算法论文8

时空压缩!剑桥大学提出注意力机制MTLA:推理加速5倍,显存减至1/8

在大语言模型发展中,Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA,结合时空压缩策略,提升推理效率,在多任务中表现出色,代码已开源。

机器之心
开源动态8

小红书团队开源dots.ocr:文档解析新王者,性能比肩Gemini!

文档解析领域处理多语言复杂文档需高效能力,传统OCR工具存在不足。小红书HiLab开源多语言文档解析模型dots.ocr,基于1.7B参数视觉语言模型,性能达SOTA,单页PDF处理快,公式识别媲美大模型。

开源星探
新闻资讯8

VAST完成5000万美元A轮融资,加速构建世界模型与UGC互动内容平台

通用人工智能公司 VAST 完成 5000 万美元 A 轮融资,由阿里、恒旭资本联合领投。该公司在 3D 领域成果显著,发布全新 AI 3D 大模型家族,还将重点投入世界模型研发和 UGC 互动内容平台建设。

机器之心
新闻资讯8

不换GPU,性能飙升2.8倍!英伟达用软件暴打摩尔定律

2026年1月8日,英伟达官网披露,基于Blackwell架构的推理软件栈升级,让混合专家模型(MoE)推理效率迎「阶跃式」突破,单GPU吞吐飙升2.8倍,显著降低推理成本。其通过软件针对性升级发挥硬件潜力,还进行多项优化。

新智元
算法论文8

刷榜多元时序预测,性能波动0%!打破CI/CD二元对立 | ICLR'26

在多元时间序列预测领域,长期存在通道依赖(CD)与通道独立(CI)路线之争。浙江财经大学团队提出CPiRi框架,结合时空解耦架构与置换不变正则化策略,解决范式矛盾,取得优异效果。

新智元