「推理性能」共找到 3431 篇相关文章
DeepSeek V3.2爆火，Agentic性能暴涨40%解密
文章解密了DeepSeek V3.2 Agentic性能暴涨40%的原因，即采用交错思维链机制。还对比了其与早期ReAct范式，介绍其效果、原理，以及MiniMax为落地该机制做的工作，最后提到多家模型达成技术共识。
AI生成苹果Metal内核，PyTorch推理速度提升87%
Gimlet Labs研究显示，AI能自动生成苹果芯片Metal内核，使PyTorch推理速度提升87%，在215个PyTorch模块上平均加速1.87倍。多个模型组合生成最优内核概率更高，不过研究对比方式遭质疑。
谷歌新研究：大模型“吵架”有利于提升推理质量
谷歌新研究发现高级推理模型自发进化出'思想社会'，研究人员用LLM - as - judge方法识别出多个虚拟人格。还找到控制现象的'开关'，实验表明教AI'吵架'更有效，其'社交技能'通用，给开发者带来新启示。
Uno Platform 6.6 发布：Android 启动性能最高提升 61%
Uno Platform 6.6发布，在五平台引入原生AOT发布、可选Vulkan渲染后端等。聚焦运行时性能，提升多平台启动速度，还简化XAML编写，增强AI辅助、无障碍及多语言支持等。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
LLM算力告急？把文本变图片，推理成本直接减半！
大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。
大模型「越用越快」！SpeedupLLM首次验证，大降56%推理预算
Emory大学研究者提出SpeedupLLM框架，利用动态计算资源分配和记忆机制，使LLM处理相似任务时推理成本降56%、准确率提升，论文系统性验证了LLM“越用越快”，为AI模型发展提供新思路。
无需验证器的RL：RLPR解锁LLM通用推理潜能
现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。
微软：DeepSeek-R1等推理模型循环的原因找到了
前几天，DeepSeek - R1论文更新，披露诸多细节。重点是推理模型在低温/贪心解码下易循环，根源是学得不对，如风险规避式复读、时序相关错误复读，还给出解决方案。
微调已死！「共识机制」实现提示词自我进化，性能飙升
人工智能领域正从「模型微调」向「上下文工程」转变。西湖大学MAPLE实验室齐国君教授团队提出基于「共识机制」的提示词组进化算法C - Evolve，能突破单一提示词性能局限，提升系统整体性能。