搜索：推理性能优化

「推理性能优化」共找到 4186 篇相关文章

大语言模型的解耦：人工智能基础设施的下一轮进化

人工智能模型发展快，但基础设施滞后，传统单体式服务器架构成瓶颈。文章介绍大语言模型推理的预填充与解码阶段差异，指出解耦架构可突破困境，还阐述其经济影响、实施策略、应用案例及未来展望。

具身智能领域数据难题待解，极佳科技朱政投身世界模型研究。他认为世界模型短期内是‘驯化’VLA的容器，长期或与VLA融合。其团队成果显著，还将探索多维度建模与数据配比优化。

腾讯混元团队开源4款小模型，最大7B。可在低功耗场景运行，支持微调。是融合推理模型，有快、慢思考模式，在多领域表现出色，亮点是agent和长文能力，已落地多元业务场景。

文章全面揭秘 Qwen3-Embedding，介绍其核心原理、优势、应用场景。还给出在 PAI 和百炼平台的使用方法，含部署、推理、微调等。通过对比实验，凸显其低延迟、低成本特点，未来将成语义理解核心设施。

2025年飞书未来无限大会上，飞书发布和升级诸多产品。如达M3标准的知识问答，可秒搜文档；达M4标准的飞书会议，支持声纹识别。多维表格性能提升、应用构建升级，还有AI工具全家桶。

作者Dwarkesh Patel认为AGI不会马上到来。当前大语言模型缺乏持续学习能力，难以替代人类工作；计算机操作能力受训练周期、数据等限制；推理能力虽有突破，但仍需时间发展。作者给出了具体预测时间。

西湖大学团队提出PiFlow，一个基于信息论的自动化科学发现框架。它将科学发现视为结构化的不确定性降低过程，由科学原理指导，通过Min - Max优化机制平衡探索与利用，在多领域实验中效果显著，应用前景广。

终身行人重识别有重要应用价值，但现有方法在学习特定模态新知识时，会阻碍跨模态公共旧知识保留。北大彭宇新团队提出CKDA方法，解耦并净化不同模态信息，实现跨模态知识权衡，在相关基准上取得最优性能。

香港科技大学（广州）和腾讯团队开源VibeWorlding框架，实现说句话造3D世界。它由VWE - Bench和VibeWorlding - Gym组成，开源模型经强化学习训练后成绩逆袭，证明强化学习解锁3D推理潜力巨大。

自ChatGPT问世，Transformer上限备受关注。前OpenAI、Google负责人称其走到尽头。国内改进架构受算力限制。上海人工智能实验室的书生Mobius团队提出分离知识与推理的架构，有望解决商用等关键问题。