「推理优化」共找到 3061 篇相关文章
腾讯15年资深后台工程师，转战大模型推理的抉择
本文是腾讯15年资深后台工程师吴银光的转型自述，分享了他从零切入大模型推理工程的抉择过程，给出了清晰的入门路径与自检方法，分析了AI Infra与传统Infra的异同，为有意转型AI的技术人提供了实用参考。
AI Agent平台Sedai获2000万美元融资，主打云优化
AI Agent平台Sedai获2000万美元B轮融资，由AVP领投。它聚焦云优化，用智能体取代人工运维，节省成本。产品应用广泛，核心能力突出，2024年收入增长7倍，计划扩平台、引新功能、扩市场团队。
150%训练效率提升：感知检测小模型训练优化方法
文章基于业务实践，总结感知检测小模型在不同算力卡上的训练方法，为智能驾驶场景提供借鉴。介绍测试环境、技术架构，分析环境依赖冲突、源代码适配等问题并给出解决方法，还提及性能优化及测试结果。此外还介绍用 RAGFlow 构建私有知识问答应用。
大模型「越用越快」！SpeedupLLM首次验证，大降56%推理预算
Emory大学研究者提出SpeedupLLM框架，利用动态计算资源分配和记忆机制，使LLM处理相似任务时推理成本降56%、准确率提升，论文系统性验证了LLM“越用越快”，为AI模型发展提供新思路。
无需验证器的RL：RLPR解锁LLM通用推理潜能
现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。
微软：DeepSeek-R1等推理模型循环的原因找到了
前几天，DeepSeek - R1论文更新，披露诸多细节。重点是推理模型在低温/贪心解码下易循环，根源是学得不对，如风险规避式复读、时序相关错误复读，还给出解决方案。
蚂蚁开源 Ring-1T，成就推理、编程、通用智能三冠王
蚂蚁开源团队推出 Ring-1T 模型，它结合强化学习与多阶段推理机制，实现从‘模仿’到‘思考’的转变。该模型在多基准测试表现优异，其高性能得益于 IcePop、C3PO++、ASystem 三项关键技术。
DeepSeek秘密造芯！专攻推理，一年前已启动，招聘全程不公开
路透社消息，凭借算法震动硅谷的中国AI公司DeepSeek正秘密开发自研AI芯片，定位推理，项目约一年前启动，现处早期。全球模型公司自研芯片成趋势，虽挑战大，但DeepSeek有资金支撑。
DeepSeek推理再提速80%，V4正式版定档7月中旬
DeepSeek两天前开源DSpark推理加速框架，已在V4预览版在线服务跑真实流量，使生成速度提升60% - 85%。DSpark化解推测解码问题，在多模型超Eagle3和DFlash。V4正式版7月中旬上线，将引入峰谷定价。
科研的回归：AutoSOTA如何终结“增量式优化”的重复劳动
当前AI科研中，为提升性能指标，研究者投入大量精力做“增量式优化”，限制原创探索。AutoSOTA项目由清华与中关村学院联合发布，它基于智能体系统构建自动化方案，接管实验迭代，一周发现105个SOTA模型，推动科研回归原创。