「低延迟推理」共找到 2933 篇相关文章
CVPR 2026 | 20步也能稳住画质，这个扩散加速方法不一样
扩散模型推理效率是落地应用的核心制约因素，阿里安全 AGI 实验室 - 御风大模型团队联合浙江大学提出全新扩散加速方法 TC - Padé，在低步数设置下能兼顾生成质量与推理效率，已被 CVPR 2026 录用。
aiX-apply-4B逆袭DeepSeek-V3.2！aiXcoder发布代码变更应用模型，单卡推理提效15倍
3月25日，硅心科技发布专为代码变更应用场景设计的模型aiX - apply - 4B。它平均准确率达93.8%，超越Qwen3 - 4B和DeepSeek - V3.2，算力成本仅为后者5%，推理速度提15倍。还采用创新训练方法，适配企业场景。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
监督学习未死，一题训练五小时起飞！华人学者新方法20倍训练效率释放大模型推理能力
大模型推理能力研究中，RL训练资源成本高、不稳定，传统SFT低数据量易过拟合。加拿大滑铁卢大学华人团队提出One - Shot CFT方法，用一题多解多点评训练，仅需约5个GPU小时，效果好、稳定性强。
腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。
英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。
从「降本增效」到「智能中枢」：低代码在 AI 浪潮中的价值重估——专访金现代赵鹏程谈企业数字化转型新引擎
LowCode低码时代专访金现代轻骑兵低代码PaaS平台产品经理赵鹏程，探讨AI与低代码融合对软件工程范式革新和企业数字化转型的影响。介绍了低代码价值重估、应对新兴技术、企业实践、跨越工程化鸿沟路径、核心竞争力及未来展望等内容。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。
RAG新SOTA，还在5亿条数据上跑进秒级，只有它了
本文围绕RAG技术展开，指出传统RAG在多跳推理等方面存在局限。介绍了GraphRAG、HippoRAG 2的优缺点，重点阐述Zleap AI的SAG方案，它用超边结构重构数据底座，在多跳问答测试中表现出色，还能在大规模数据下低延迟落地。
「百万级」视频推理数据集！30+顶尖高校联合发布
AI视频生成已能「画得像」，但不会「想得对」。VBVR推出百万级视频推理数据集，首次系统评测模型对空间、物理、逻辑和抽象的推理能力，发现顶尖模型通过率仅68%，推动视频AI从「视觉模仿」迈向「智能推理」。