「吞吐优化」共找到 1263 篇相关文章
模型训练篇｜多阶段ToolRL打造更可靠的AI导购助手
当前，AI导购成电商与服务平台新风口，但芝麻租赁场景挑战大，存在需求难匹配等痛点。为此打造AI导购智能体“租赁小不懂”，经架构升级和算法优化，性能提升，还探索了MoE训练和推理优化。
前端工程化演进之路：从手工作坊到AI驱动的智能化开发
本文回顾前端开发从jQuery到AI的变革，剖析工程化演进、性能优化进化，展示AI与前端深度融合新范式。还预测未来趋势，为开发者提供成长路径指导，强调工程化、性能优化、AI应用及持续学习的重要性。
为何我的 Docker 镜像如此庞大？使用“dive”进行深度剖析以找出臃肿之处
在AI项目里，Docker镜像可能臃肿庞大，影响开发与部署。本文以朴素BERT分类器镜像为例，指出未优化镜像会导致开发慢、CI/CD低效等问题，还介绍用dive工具剖析镜像，找出臃肿之处以优化。
多模态模型学会“按需搜索”，少搜30%还更准！字节&NTU新研究优化多模态模型搜索策略
字节与NTU优化多模态模型搜索策略，通过搭建工具、构建数据集及设奖励机制，用强化学习训练模型，使其按需搜索。实验显示，MMSearch - R1系统少搜30%还更准，为多模态大模型发展提供洞见。
小米模型实现声音理解新SOTA！数据吞吐效率暴增20倍，推理速度快4倍 | 全量开源
小米全量开源MiDashengLM - 7B模型，它基于Xiaomi Dasheng和Qwen2.5 - Omni - 7B Thinker，实现声音理解新SOTA。性能领先，推理效率高，革新训练范式，全栈开源，将赋能多场景。
OpenAI推出GPT-5.4 mini/nano；MiniMax发布M2.7；小米发布MiMo-V2系列模型
OpenAI、MiniMax、小米陆续发布新模型。OpenAI推GPT - 5.4 mini与nano，优化速度和成本；MiniMax的M2.7能自我演化；小米MiMo - V2系列覆盖智能体核心、全模态理解和情感语音合成。
华为+DeepSeek，推理性能创新高！技术报告也公布出来了
华为昇腾在部署超大规模MoE时推理性能创新高，全面超越英伟达Hopper架构。其采用‘以数学补物理’方式，还将全面开源。团队从多方面优化，在不同硬件上取得优异性能，本周还将举办技术披露周。
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
MoE推理「王炸」组合：昇腾×盘古让推理性能狂飙6-8倍
在通往AGI进程中，MoE模型成大模型推理提效关键。华为推出Pangu Pro MoE 72B模型，经多方面优化，推理性能提升6 - 8倍。还采用多种策略和算法，在昇腾不同平台展现卓越性能，为大模型落地提供支撑。
英伟达韩松团队新作：具有后神经架构搜索的高效语言模型
英伟达韩松团队推出基于后神经架构搜索的高效语言模型Jet - Nemotron，在基准测试中表现出色，准确率与Qwen3等相当甚至更优，生成吞吐量大幅加速。模型构建经多步骤优化，代码和预训练模型将开源。