搜索：大语言模型推理

「大语言模型推理」共找到 8380 篇相关文章

MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding

文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。

谷歌研究院对180种智能体配置对照评估，得出‘AI智能体系统首批定量扩展原则’。发现多智能体协同效果因任务而异，还指出工具使用瓶颈等问题，且开发预测模型辅助架构选择。

Google发布Gemini 3 Deep Think，ARC - AGI - 2准确率高且采用并行推理技术。OpenAI发长文《通过忏悔训练大型语言模型诚实性》，介绍缓解LLM撒谎的忏悔训练法、实验结果等，也指出其局限。

在 Agentic AI 时代，多智能体系统让 AI 从单打独斗变为团队协作。普林斯顿大学等机构研究者提出多智能体推理框架 LatentMAS，将协作从 token 空间转移到潜在空间，实验显示其性能、效率大幅提升。

CVPR NTIRE是计算机图像恢复与增强领域有影响力的赛事。在NTIRE 2025 UGC Video Enhancement中，腾讯TEG香农实验室团队自研算法夺冠，成果落地提升视频清晰度。团队还参加实时赛道获佳绩，且做了硬件推理优化。

OpenAI完成ChatGPT默认模型的静默升级，GPT-5.5 Instant全面替换GPT-5.3 Instant。它在数学推理、减少幻觉、精简回答、记忆功能等方面有显著改进，还采用灰度推送策略。开发者认为其定位是日常场景够用顺手。

5月6日，GOSIM Paris 2026进入第三天，议程转向技术实践。超150位全球AI专家齐聚，探讨模型推理优化、开源社区治理等。Niko Matsakis等分享前沿观点，还有五大主题论坛及工作坊，展示开源AI生态成果。

AI创业公司Reflection AI由两位前Google DeepMind研究员创立，一年完成20亿美元融资，估值达80亿美元。它从编码智能体起步，现转型为开源替代公司，主打“开源”牌，计划明年推前沿语言模型。

近年来交互式数字人视频生成受关注，但实时处理多模态输入有挑战。快手可灵团队提出MIDAS框架，基于LLM驱动的自回归模型，结合轻量级扩散头，实现低延迟、交互式多模态控制，还构建大规模数据集等。

多跳问答（MHQA）任务有挑战，现有方法依赖LLM，计算成本高、延迟显著。TreeHop研究提出新方案，摒弃LLM，通过嵌入空间动态更新，降低延迟、减少模型参数量，还在主流数据集表现佳，适合工业应用。