搜索：大模型推理系统

「大模型推理系统」共找到 9021 篇相关文章

腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s

腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法，通过PD分离、多层MTP优化等全栈优化方法论，还介绍多机性能优化方案，后续预计性能突破20000 tokens/s。

前 Llama 推理负责人 Ross Taylor 在播客访谈中指出，AI 竞赛中的混乱和挖角是噪声，最终会被指数级算力淹没。他阐释了算力指数曲线决定竞赛天花板，强调系统性实验、高质量评估的重要性。

本文介绍HERMES，首个统一3D场景理解与生成的世界模型。它由华中科技大学等团队合作研发，通过共享LLM驱动两大任务，解决了输入处理和任务融合难题，实验效果显著，为自动驾驶提供新范式。

2025年7月20日，2025基础科学与人工智能论坛举行，孙茂松、刘铁岩等顶尖AI专家围绕AI根本问题展开讨论，涉及因果性、世界模型、原创能力、算力等方面，为AI技术发展勾勒图景与挑战。

多模态大模型跨模态融合带来高计算成本，催生MLLM Token Compression研究。北大等机构人员基于压缩位置对方法系统归类，讨论特定场景压缩机制选择，还探讨了挑战与前景方向。

北大彭宇新教授团队针对现有大模型在摄影指导上的不足，定义美学指导任务，构建数据集AesGuide，提出美学指导大模型Venus。相关论文被CVPR 2026接收并已开源，Venus在多项评测中优于现有方法。

2025年，ChatGPT仍领跑，但DeepSeek、Qwen等开源模型加速追赶。独立机构报告总结六大趋势，涵盖技术突破与市场格局演变，如推理模型实用化、MoE架构普及等，开源势力挑战闭源巨头。

美团开源数字人视频生成框架 LongCat - Video - Avatar 1.5 版本，换音频编码器、加速推理，支持多任务与多场景。经770人评测，它在多维度领先对手，各方面表现均衡，效率与质量兼得。

当前，AI导购成电商与服务平台新风口，但芝麻租赁场景挑战大，存在需求难匹配等痛点。为此打造AI导购智能体“租赁小不懂”，经架构升级和算法优化，性能提升，还探索了MoE训练和推理优化。

文章指出深度修剪可加快推理速度，但直接丢层会降低性能。为此提出滑动层合并法，根据相似度阈值融合连续层，简化结构且保持性能。实验显示该方法优于现有技术，还揭示了与宽度修剪结合的潜力。