「吞吐量提升」共找到 2949 篇相关文章
上交大 × 华为小艺推出LoPA：7B扩散语言模型单样例1000+ tokens/s！
上海交通大学DENG Lab联合华为小艺团队提出无需训练的解码算法LoPA，配合自研的LoPA - Dist分布式推理系统，显著提升扩散大语言模型（dLLMs）的推理并行度和吞吐量，将推理效率推向新高度。
SGLang支持GPT-OSS：从Day 0支持到性能增强
SGLang宣布重大更新，聚焦openai/gpt - oss - 120b模型深度性能优化与新功能。预填充和解码阶段吞吐量显著提升，支持多GPU，有推测解码等功能，还支持智能体应用程序，且不损害模型推理能力。
刚刚，英伟达新模型上线！4B推理狂飙53倍，全新注意力架构超越Mamba 2
Jet - Nemotron是英伟达推出的小模型系列（2B/4B），由全华人团队打造。其提出PostNAS与JetBlock，实现架构优化。相比Qwen3等模型，它在多维度准确率更高，H100 GPU上推理吞吐量最高提升53倍。
“煽风点火”让大模型“卷”起来的提升性能的套路
网友Greg Isenberg分享让AI提升性能的方法，通过利用不同AI模型如ChatGPT、Claude、Grok间的“竞争”，人为制造竞争环境，激发其潜力，可提升输出效果，且方法获很多网友验证认可。
快手&中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！
多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。
大模型“精细化”对齐，真实性提升25.8%刷新SOTA！token级精准编辑，无需训练即插即用
北航团队在EMNLP 2025提出Token - Aware Editing (TAE)方法，从token层面解决传统表征编辑技术问题，无需训练、即插即用，在多个对齐维度显著提升，如在TruthfulQA任务上真实性指标提升25.8%。
ASO是什么意思？ASO目标与工作内容，ASO常见误区（基础篇）
ASO（应用商店优化）的精髓在于通过对产品特性的分析与用户群体标签的判断，挑选相关度高的关键词，提升App的覆盖、曝光、转化，从而获取更多用户。它不仅包括关键词搜索排名优化，还涉及榜单排名、转化率、推荐位等优化，提升App在应用商店的自然下载量。
新版DeepSeek R1你得这样用，太爽啦~
前几天DeepSeek R1悄悄更新，作者测评发现，起初用复杂提示词，它比Claude4有明显差距；换成一句话提示词，生成效果质的飞跃，代码能力大幅提升接近Claude4，写作小提升，数学能力提升不大。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
Temperature Scaling可大幅提高Test-Time Scaling瓶颈！
大型语言模型解决复杂推理问题时，测试时扩展（TTS）是提升性能的途径之一。但传统TTS依赖增加样本数量，性能提升有瓶颈。本文提出温度缩放新思路，实验表明其能大幅提升性能，还给出降低成本方法。