「推理部署」共找到 2637 篇相关文章
开源大模型实战：GPT-OSS本地部署与全面测评
2025年8月5日，OpenAI发布GPT-OSS-120B和GPT-OSS-20B开放轻量级语言模型，采用Apache 2.0开源许可证。文章介绍通过Ollama本地部署GPT-OSS -20B模型的方法，并对其进行AI幻觉、算法、SQL、数学题等测试。
大模型「越用越快」！SpeedupLLM首次验证，大降56%推理预算
Emory大学研究者提出SpeedupLLM框架，利用动态计算资源分配和记忆机制，使LLM处理相似任务时推理成本降56%、准确率提升，论文系统性验证了LLM“越用越快”，为AI模型发展提供新思路。
无需验证器的RL：RLPR解锁LLM通用推理潜能
现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。
微软：DeepSeek-R1等推理模型循环的原因找到了
前几天，DeepSeek - R1论文更新，披露诸多细节。重点是推理模型在低温/贪心解码下易循环，根源是学得不对，如风险规避式复读、时序相关错误复读，还给出解决方案。
蚂蚁开源 Ring-1T，成就推理、编程、通用智能三冠王
蚂蚁开源团队推出 Ring-1T 模型，它结合强化学习与多阶段推理机制，实现从‘模仿’到‘思考’的转变。该模型在多基准测试表现优异，其高性能得益于 IcePop、C3PO++、ASystem 三项关键技术。
DeepSeek秘密造芯！专攻推理，一年前已启动，招聘全程不公开
路透社消息，凭借算法震动硅谷的中国AI公司DeepSeek正秘密开发自研AI芯片，定位推理，项目约一年前启动，现处早期。全球模型公司自研芯片成趋势，虽挑战大，但DeepSeek有资金支撑。
「部署态」元年，这家公司就把落地方案卷到了七种
在4月17日上海举办的大会上，智元拿出四大全新机器人产品、六大AI模型、七大标准化生产力解决方案及全栈生态技术体系。其创始人认为具身智能正从“开发态”向“部署态”进化，2026年是元年。
吴恩达来信：AI工程技能图谱详解——构建和部署AI应用
吴恩达在信中详细展开AI工程技能图谱中构建和部署AI应用这一项，介绍需了解的技能，如LLM基础、用数据为模型提供依据等，并阐述各技能要点，还提及构建AI系统与传统软件的区别。
DeepSeek推理再提速80%，V4正式版定档7月中旬
DeepSeek两天前开源DSpark推理加速框架，已在V4预览版在线服务跑真实流量，使生成速度提升60% - 85%。DSpark化解推测解码问题，在多模型超Eagle3和DFlash。V4正式版7月中旬上线，将引入峰谷定价。
Mini-Omni-Reasoner：实时推理，定义下一代端到端对话模型
现有端到端对话模型推理能力未解锁，因深度思考带来延迟。为此提出 Mini - Omni - Reasoner，采用边思考边表达范式，突破‘要么快，要么准’困境，还设计了数据合成管线和五阶段训练方法，实验证明其性能提升明显。