「推理性能优化」共找到 4155 篇相关文章
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
炸裂！Claude以第一作者写论文反驳苹果「推理模型根本没有推理能力」：苹果有三大错误
苹果论文称推理模型无推理能力，引发争议。Anthropic的Claude Opus以第一作者写论文反击，指出苹果研究有混淆‘推理失败’与‘输出截断’等三大问题，还通过实验证明模型能力，强调需更聪明评估方法。
提示工程死亡？不，它刚刚重生为计算科学：一篇讲透Prompt设计的科学基础
大型语言模型在多步推理任务中受挫，因Transformer架构有计算深度限制。本文建立提示设计理论框架，揭示提示是信息选择器，优化提示可使推理性能提升超50%，将提示设计从试错艺术变为可计算科学。
抖音&LV-NUS开源多模态新模，以小博大刷新SOTA，8B推理比肩GPT-4o
抖音SAIL团队与LV - NUS Lab联合推出多模态大模型SAIL - VL2，以中小参数规模在106个数据集实现性能突破。该模型从架构、数据、训练三方面创新，后经全链路优化，在多数据集验证中表现卓越。
苹果炮轰AI推理遭打脸，GitHub大佬神怒怼！复杂任务≠推理能力
苹果发表论文指出推理大模型存在重大缺陷，相关解读在社交平台广泛传播。但GitHub高级工程师Sean Goedecke对论文持保留态度，认为谜题不是评估推理能力的好试验场，模型放弃不代表无推理能力。
模型训练篇｜多阶段ToolRL打造更可靠的AI导购助手
当前，AI导购成电商与服务平台新风口，但芝麻租赁场景挑战大，存在需求难匹配等痛点。为此打造AI导购智能体“租赁小不懂”，经架构升级和算法优化，性能提升，还探索了MoE训练和推理优化。
面壁MiniCPM4端侧模型发布：长文本推理 5 倍提速，0.5B 模型拿下新SOTA
2025智源大会，面壁发布MiniCPM4.0端侧模型，含8B稀疏闪电版与0.5B款。其采用InfLLM架构，实现长文本推理5倍提速、最高220倍加速，还在性能、部署等方面优化，适配多芯片与框架。
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色，但推理机制成谜。本文提出用推理图解码其‘思考轨迹’，分析环状结构、直径大小和小世界特性，发现蒸馏模型等特点，为理解AI推理及模型优化指明方向。
高性能全闪并行文件系统的设计和实践
焱融科技 CTO 张文涛在 QCon 大会分享‘高性能全闪并行文件系统的设计和实践’，介绍了焱融全闪文件存储架构和 YRCloudFile 技术细节，分享其解决 AI 训练存储难题的方案。
华为攻克AI推理「想太多」问题！新方法让大模型推理提速60%，准确率还高了
华为提出高效推理方法S - GRPO，突破思维链「冗余思考」瓶颈。通过“串行分组 + 衰减奖励”设计，在Qwen3上有效，推理提速60%，生成答案更精确有用，在多个推理benchmark测评中表现出色。