搜索：推理性能优化

「推理性能优化」共找到 4171 篇相关文章

dLLM的「Free Lunch」！浙大&蚂蚁利用中间结果显著提升扩散语言模型

近年来，扩散大语言模型（dLLM）成为文本生成新势力，生成效率高。但现有解码策略忽视中间迭代信息，研究团队观察到「先对后错」现象，提出 TCV 和 TCR 方法，显著提升模型在推理任务表现。

过去一年，Agent热度高，但企业应用面临算力、安全和部署门槛。5月22日浪潮信息推出元脑智能体工作站Z3，整合大模型本地推理等功能，解决本地多Agent运行问题，降低使用门槛，保障安全。

文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。

OpenAI发布两款开源纯文本推理模型，时隔六年再次开源。其gpt - oss - 120b性能与o4 mini相当，成本降超10倍。此次开源有战略考量，或是为构建生态、吸引企业，也反映出其对自身价值定位更清晰。

网信办新规生效，DeepSeek回应，标注AI生成内容，公开V3/R1训练细节。介绍训练分预训练和优化训练，深挖数据使用，还谈及推理、开源情况，也提到对抗AI幻觉与滥用风险的措施。

为换回注意力，OpenAI紧急发布GPT - 5.1 Codex Max。它在编程测试中表现优于Gemini 3 Pro，还实现24小时项目级开发。引入自动压缩与扩展推理改进，效率提升，现已多途径可用，API访问将开放。

近期，魔芯科技联合浙江大学潘云鹤院士、华为等发布实时交互世界模型MoWorld，推理速度超50FPS，部署成本仅为同规模GPU方案的30%。它全链路优化，将用于多行业，魔芯也完成亿元美金融资。

特朗普拍板允许英伟达向中国出售H200，美确保“代差优势”，还抽25%分成。H200性能是H20的6倍，虽落后最新架构，但适合训练推理，此决定或为英伟达带来巨额销售额。

阿里巴巴与上交大联合提出 Socratic-Zero 框架，仅从 100 个种子问题出发，通过三智能体协同进化生成高质量课程。该框架合成数据质量超 GPT - 5 等，Solver 性能提升显著，工程友好，开启零数据自进化新路径。

当前微调大语言模型成本高、不灵活，‘上下文适应’方法有短板。斯坦福大学等提出ACE框架，将上下文变为动态‘战术手册’，解决现有问题。论文通过实验验证其在性能、成本和效率上优势，为大模型发展指明新方向。