搜索：高效推理框架

「高效推理框架」共找到 3696 篇相关文章

用系统架构思维，告别“意大利面条式”系统提示词

本文作者分享编写系统级提示词经历，指出‘规则清单式’设计有规则打架、维护难、价值稀释问题。引入系统架构思维，构建四层设计框架，给出编译原则与模板，还重构‘AI编程助手’提示词，实现从‘规则管理者’到‘系统设计师’转变。

vivo AI Lab发布端侧多模态模型BlueLM - 2.5 - 3B，融合文本与图文能力，支持长短思考模式切换。它在20余项评测中表现出色，参数量小，训练和推理成本低，有精巧结构、高效策略，还有高质量数据和高性能平台支撑。

腾讯开源的高性能跨端框架 Kuikly，搭配 AI 开发，仅用 7.5 小时交付一套支持 Android、iOS、鸿蒙三端的 AI 聊天 App。介绍了开发过程，包括环境准备、需求分析、编码实现、集成自测、迭代优化和验收复盘，展示了“AI + Kuikly”的高效。

蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0，其以轻量级配置展现卓越性能，在推理速度、任务性能、部署成本间找到新平衡，为大模型‘参数膨胀’提供新路径，还在多领域应用表现出色。

近年来，“参数越大，能力越强”成行业共识，但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本，在多项测试中超越头部大模型，还提出SSP框架和MGPO算法。

文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡，受批处理大小影响。还分析了不同模型需大批次的原因，如专家混合模型、大型管道模型等。

近日，蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构，经深度训练，是参数规模最大的开源医疗模型。该模型在多评测中表现出色，有三阶段训练流程，架构高效、推理快，已开源助力行业发展。

无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。

论文提出基础模型本身已具备强大推理能力，通过“幂采样”纯采样算法，在多推理任务上媲美或超越RL后训练，挑战“RL才能提升推理”观念，为理解基础模型潜力开新视角。

上海人工智能实验室与香港中文大学研究团队发布论文，用MathIF基准揭示大模型“聪明”和“听话”有矛盾，越擅长推理越易忽略指令，还分析了原因并给出让模型更“听话”的方法。