「多领域推理」共找到 6389 篇相关文章
SRO架构赋予Qwen-2.5-VL推理能力，性能飙升16.8%
文本领域推理模型成就大，但扩展到多模态大语言模型遇阻力，如冷启动初始化不足等。为此提出 SRO 三阶段训练框架，经测试，ReVisual - R1 平均性能提升 16.8 个百分点。
阿里云飞天企业版X平头哥“真武”芯片，推理性能跃迁13倍，底层逻辑是什么？| Q推荐
过去几年，模型虽强但使用成本高，阻碍企业级AI深度应用。今年‘模型推理’成AI关键词，4月13日19:00，InfoQ联合阿里云邀专家围绕推理加速底层破局展开对话，探讨算力博弈、芯片性能跃迁等问题。
蚂蚁dInfer框架，让扩散大语言模型推理速度再飙10倍，相同模型性能下超越自回归模型
蚂蚁开源dInfer框架，联合名校发论文阐述实现细节。它解决扩散模型推理难题，提出创新算法和系统优化策略，实验显示其推理速度远超Fast - dLLM和自回归模型标杆vLLM，代码已开源。
长文本推理 5 倍提速！面壁MiniCPM4 端侧模型发布，0.5B模型效果秒杀同级
近日，面壁发布 MiniCPM4.0 端侧模型，有 8B、0.5B 两种规模。其在基准测试表现出色，长文本推理提速，缓存锐减，还做了架构创新。此外，面壁有自研推理框架，科学化建模产线，6 月 27 - 28 日 AICon 北京站将探讨 AI 趋势。
无问芯穹曾书霖谈 AI 2.0 时代的大模型推理：从模型到硬件的协同优化
本文整理自无问芯穹总经理曾书霖博士在 2025 年 QCon 全球软件开发大会演讲。他介绍软硬件协同优化提升智能系统能效成果，结合华为昇腾集群实践，探讨 AI 推理系统演进趋势，还从云、端维度分享大模型推理实践与挑战。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
打破视觉Token的算力诅咒，RedundancyLens如何为多模态大模型推理减负
多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法，在不影响性能前提下降低推理成本，适用于多场景。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。
马斯克挖不动的清华学霸，一年造出 “反内卷 AI”！0.027B 参数硬刚思维链模型，推理完爆 o3-mini-high
新加坡 Sapient Intelligence 推出小型模型 HRM，参数仅 2700 万却能解决复杂推理难题，其不依赖“思维链”，借鉴人类大脑工作方式。该模型准确率超先进思维链模型，推理能力强，具经济性，可提升任务效率。
Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI 发布 2.4B 参数量的视觉语言模型 Jina-VLM，在多语言视觉问答任务达 SOTA。它引入注意力池化，连接视觉与语言基座，支持 29 种语言，能高效处理问答等任务，对硬件需求低。