「推理框架开发」共找到 4661 篇相关文章
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
具身VLA后训练：TeleAI提出潜空间引导的VLA跨本体泛化方法
现有VLA基座模型能力不足，跨本体适配存在挑战。中国电信人工智能研究院具身智能团队提出“对齐 - 引导 - 泛化”（ATE）框架，实现从调架构到调分布的范式转移，适配主流VLA模型，减少数据需求。
刚刚，OpenAI前CTO：战胜LLM不确定性的方法找到了！
OpenAI前CTO创立的Thinking Machines Lab发布研究《战胜LLM推理中的不确定性》。研究指出LLM推理不确定性主因是批处理大小变化，而非常见认为的GPU并行性等。还给出实现批处理不变性的方案及实验结果。
实测丨全新的「扣子编程」，全新的 Vibe Infra
作者见证扣子多次迭代，虽其曾沉寂，但近期更新打消疑虑。扣子推出「扣子编程」，拥抱 Vibe Coding，打造三大核心功能矩阵。作者实测其功能，从想法到成品速度快，还能一键部署，软件开发门槛降低。
AI时代，开发者不能再当 i 人了，「云计算代言人」敬告
亚马逊云科技副总裁 Jeff Barr 时隔 16 年再访中国，对比两个技术时代。他认为 AI 带来创新与挑战，开发者需强大沟通力。还介绍亚马逊云科技工具 Kiro 及新开发模式，预测未来软件开发形态转变。
航空学报 | 西工大余囿铮、寇家庆等：基于生成对抗网络的通航飞行器气动布局设计方法
传统飞行器气动布局设计依赖专家经验，方案多样性受限。本文基于改进的生成对抗网络，提出端到端气动布局生成框架，以机翼和通航飞行器为对象研究，验证了其在创新飞行器设计方面的潜力。
CVPR2025视频生成统一评估架构，上交x斯坦福联合提出让MLLM像人类一样打分
Video-Bench视频评估框架由上海交通大学、斯坦福大学等团队提出，能让MLLM像人一样评估视频。它构建双维度评估框架，引入链式查询和少样本评分技术，突破现有评估方法限制，更全面智能地评分。
DeepSeek R1 迎来小更新大升级，性能直逼 OpenAI o3！
昨日，DeepSeek 发布 R1 大模型最新版本 DeepSeek - R1 - 0528 并开启公测。虽官方未附详细技术说明，但用户反馈推理和输出有改进，也有性能方面的不同看法，其在基准测试表现佳。
告别「解码器饥饿」！中国科学院NeurIPS推SpaceServe，高并发克星
中国科学院计算技术研究所入选NeurIPS 2025的论文提出SpaceServe架构，将LLM推理P/D分离扩展至多模态场景，通过EPD三阶解耦与「空分复用」，解决MLLM推理行头阻塞难题，在Qwen2 - VL系列模型实测中表现出色。
提速79%！上交大新方法优化企业级AI流程调度 | IEEE ICDCS’ 25
上海交通大学朱怡飞教授团队联合江行智能提出调度框架LLMSched，解决复合LLM应用任务运行时长和结构不确定问题。该框架重构DAG模型，用贝叶斯网络和熵减机制优化调度，实验显示最多降79%平均任务完成时间。