「推理优化技术」共找到 5269 篇相关文章
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
堆推理链全错了！林俊旸离职首曝：曾在阿里 Qwen 踩中一个“致命”技术误区
阿里千问技术负责人林俊旸离职后发声，复盘 Qwen 训练尝试，指出合并 thinking 和 Instruct 模式不理想。他认为大模型未来应从‘推理思维’走向‘智能体思维’，并阐述了智能体思维的特点和挑战。
nndeploy：一款基于可视化工作流的AI部署工具
nndeploy是简单易用且高性能的AI部署框架，可将推理优化转化为可视化工作流，无需前端技术栈。它还提供端侧完整AI部署方案，有多端推理等功能，介绍了使用方法与技术原理。
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的？
文章介绍了开源推理引擎 vLLM 和 SGLang，包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术，SGLang 基于 RadixAttention 优化。二者竞争激烈，性能趋同，还获投资与基金会关注，受科技公司青睐。
炸裂！Claude以第一作者写论文反驳苹果「推理模型根本没有推理能力」：苹果有三大错误
苹果论文称推理模型无推理能力，引发争议。Anthropic的Claude Opus以第一作者写论文反击，指出苹果研究有混淆‘推理失败’与‘输出截断’等三大问题，还通过实验证明模型能力，强调需更聪明评估方法。
苹果炮轰AI推理遭打脸，GitHub大佬神怒怼！复杂任务≠推理能力
苹果发表论文指出推理大模型存在重大缺陷，相关解读在社交平台广泛传播。但GitHub高级工程师Sean Goedecke对论文持保留态度，认为谜题不是评估推理能力的好试验场，模型放弃不代表无推理能力。
华为攻克AI推理「想太多」问题！新方法让大模型推理提速60%，准确率还高了
华为提出高效推理方法S - GRPO，突破思维链「冗余思考」瓶颈。通过“串行分组 + 衰减奖励”设计，在Qwen3上有效，推理提速60%，生成答案更精确有用，在多个推理benchmark测评中表现出色。
大模型如何推理？斯坦福CS25重要一课，DeepMind首席科学家主讲
Google DeepMind首席科学家Denny Zhou在斯坦福CS25课程分享大语言模型推理见解，总结了四个关键点，阐述推理机制、优化方法及最新进展，还介绍多种推理方法并比较其优劣。
华为| 祭出FlashComm1，FlashComm2、FlashComm3，解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下，华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信，提升推理性能；FlashComm 2重构计算流程，提升推理速度；FlashComm 3实现多流并行，激增模型吞吐。