「语言中心推理」共找到 3113 篇相关文章
PCIe显卡被低估了！内核补齐+通信重构，DeepSeek推理吞吐直接翻近7倍
当前大模型算力需求攀升，高端GPU供给紧成本高，大量PCIe长尾GPU算力因框架适配不足被禁锢。是石科技自研Meta-Infer推理引擎，通过纯软件优化挖掘硬件潜力，让DeepSeek推理吞吐提升近7倍，方法也适配国产GPU。
视觉优势还是语义依赖？揭秘 DeepSeek-OCR 高压缩率背后的真相
中科院等团队论文剖析 DeepSeek - OCR，通过实验揭示其高压缩率下准确率高或依赖语言先验。去掉语言先验，准确率暴跌；下游任务推理崩塌，长文本处理也有瓶颈。
无问芯穹曾书霖谈 AI 2.0 时代的大模型推理：从模型到硬件的协同优化
本文整理自无问芯穹总经理曾书霖博士在 2025 年 QCon 全球软件开发大会演讲。他介绍软硬件协同优化提升智能系统能效成果，结合华为昇腾集群实践，探讨 AI 推理系统演进趋势，还从云、端维度分享大模型推理实践与挑战。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
目标更重要？国内公司超越Generalist，进化到动作中心世界模型
具身智能圈被Generalist CEO长文刷屏，其称目标比工具标签重要。但国内极佳世界未停于概念争辩，开源“以动作为中心的世界模型”GigaWorld - Policy，重构具身智能底层逻辑，在多方面表现出色。
AI读不懂文档结构？计算所重构Agentic RAG文档推理能力
大语言模型工具使用能力推动RAG进化，现有Agentic Search框架有“结构盲”问题。中科院计算所团队提出DeepRead，将文档结构转化为坐标系统，用两大工具协同实现类人推理，在多数据集验证效果显著。
马斯克挖不动的清华学霸，一年造出 “反内卷 AI”！0.027B 参数硬刚思维链模型，推理完爆 o3-mini-high
新加坡 Sapient Intelligence 推出小型模型 HRM，参数仅 2700 万却能解决复杂推理难题，其不依赖“思维链”，借鉴人类大脑工作方式。该模型准确率超先进思维链模型，推理能力强，具经济性，可提升任务效率。
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
快慢Reasoning综述！
大型语言模型在复杂推理任务中有‘无差别计算’缺陷，阻碍其在多场景应用。本文提出双层效率优化框架，梳理两类前沿技术，通过实验揭示瓶颈，为轻量化推理指明路径。
Hugging Face开源顶级模型：双模式推理+128K上下文，最强3B
今天凌晨，Hugging Face开源顶级小参数模型SmolLM3，参数30亿，性能超同类。它有128k上下文窗口，支持6种语言、双推理模式。架构细节等全开放，联合创始人强烈推荐，称是3B领域SOTA。