「推理性能优化」共找到 4171 篇相关文章
[Triton编程][基础]vLLM Triton Merge Attention States Kernel详解
文章详细介绍vLLM中Triton Merge Attention States Kernel的实现，与PyTorch原生实现对比，该Triton kernel最高可实现3 - 5倍以上算子加速。内容涵盖Merge Attention States概念、PyTorch实现、Triton基础算子、分析及性能评估等。
一场文心大模型的「AI马拉松」
2025 年模型能力至关重要，百度在基础模型研发持续投入。百度 AI Day 上，吴甜解读文心新模型技术，文心 X1 Turbo 推理强、成本低。百度技术体系完备，未来看好多模态与智能体，降成本促应用生态发展。
微软 Agentic 组织：下一代 AI 系统
微软研究院提出全新推理范式AsyncThink，让LLM从单打独斗进化成带团队的项目经理。它把并发控制转为纯文本协议，经两阶段训练，实验中全方位碾压传统方法，还具跨领域泛化能力。
刚刚，全球首个超高帧世界模型诞生！英伟达含量0，狂飙50帧
魔芯科技联合浙大潘云鹤院士团队发布全球首个Flash World Model——MoWorld，全栈基于国产NPU，实现50FPS实时推理，推理成本降70%，为世界模型产业化带来新思路。
作业帮StarRocks替换Presto落地实践
本文分享作业帮 2025 年 StarRocks 替换 Presto 的实践，涵盖历史背景、技术方案、双跑方案、结果分析，还提及核心问题及解决办法，项目上线后在资源、架构、性能上均有收益，也有未来规划。
OpenAI发布权威AI科研基准，扯下AI遮羞布：奥赛金牌≠一流科学家！
OpenAI在2025年12月16日发布FrontierScience基准，用超700道题从物理、化学、生物维度考验AI科研推理能力。评测分竞赛和研究赛道，初测显示GPT - 5.2领先，但前沿模型仍有诸多问题。
数学奥赛高分摘金，位列大模型榜首，『书生』科学多模态大模型Intern-S1能力再升级 | 通专融合新进展
2025年CMO决赛首设AI测试，书生科学多模态大模型Intern-S1以102分位列大模型得分榜首，远超金牌线和国家集训队入选线。其推理能力提升得益于多项创新，未来将拓展至多领域科研。
GUI 精准定位新 SoTA：LASER 让模型从“看全图”走向“锁重点”
多模态大模型在高分辨率、元素密集的 GUI 场景易误判。苏州大学 OpenNLG 团队提出 LASER 方法，让模型学会主动推理，通过关键区域聚焦等提升定位精度，在基准测试中表现出色。
黄仁勋CES2026最新演讲：三个关键话题，一台“芯片怪兽”
北京时间1月6日，英伟达CEO黄仁勋在CES2026演讲。回顾过去一年开源模型发展，本次围绕系统与基础设施、模型、应用落地三条主线演讲，展示Rubin架构等成果，推动推理型AI发展及应用。
谢赛宁REPA得到大幅改进，只需不到4行代码
Adobe Research等团队对REPA展开研究，发现驱动目标表征生成性能的是空间结构而非全局性能。基于此构建iREPA，代码不到4行，能提升REPA收敛速度，在多方面表现出色。