搜索：推理性能优化

「推理性能优化」共找到 4211 篇相关文章

LLM加速利器LMCache，极大降低GPU资源消耗

LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。

在AI应用发展中，LLM与RAG系统成核心引擎，但项目落地时模型表现常难达预期，根源在于文档解析质量。TextIn xParse能为RAG打造‘零损耗’知识管道，本文从多方面对其解析能力进行了解读。

当红通用人形机器人公司 1X 的 AI 副总裁 Eric Jang 提出「智能频谱」概念，阐述当前 AI 面临的「1Hz 壁垒」及实现「Ultra Instinct」能力的先决条件。不同推理方案有望解决部分问题，但通用智能体仍有瓶颈。

在AI驱动的桌面自动化领域，传统工具部署复杂且性能受限。最近GitHub开源的Windows - MCP工具，能让AI助手与Windows UI原生交互，可进行点击、输入等操作，支持Windows 7 - 11，无需传统计算机视觉技术。

现有AI智能体在真实场景表现不稳定，阻碍其应用走向生产。ART开源强化学习框架诞生，通过分离“前端”与“后端”、兼容OpenAI推理端点等创新化解困境，还给出使用方法，在案例中展现强大效能与经济性。

ARC Prize发布ARC - AGI - 3预览版，测试范式从静态谜题到交互式游戏。新引入交互式推理基准测试，人类轻松通关，最强AI却全军覆没。但测试引发社区质疑，奖金设置也遭吐槽，且存在体验和技术问题。

国内独角兽月之暗面发布并开源 Kimi K2 模型，推出两天就在 OpenRouter 平台 token 使用量超 xAI 的 Grok 4。它成本低、性能强，编码能力追平 Claude 4，架构与 DeepSeek 相似，技术研究也多次‘撞车’。

昨晚，月之暗面发布并开源 Kimi K2 大模型，同步上线更新 API，价格 16 元/百万 token 输出。它超过多个开源和闭源模型成新 SOTA，展示出领先能力，还介绍训练关键技术，或成模型智能进化关键。

近日，阿里巴巴集团安全部 - 交互内容安全团队与清华大学联合研究成果被 ICML 2025 收录。他们提出 D - MoLE 框架应对多模态大模型持续学习挑战，实验显示其性能优、训练快，还能用于提升阿里安全审核模型适应力。

当汽车高速行驶，空气阻力影响车辆性能。传统风阻系数测算方法耗时久，难以满足实际需求。宁波东方理工大学等机构研究者提出DragSolver模型，能快速准确估计风阻系数，经实验验证效果优，有降本增效等价值。