「推理优化」共找到 2981 篇相关文章
比思维链准43%!逻辑脑+大模型直觉,推理可靠性大幅提升
中德研究团队发布成果,给大模型外挂「逻辑脑」,结合答案集编程与LLM,构建神经 - 符号框架,提升空间推理准确率,让AI能说清逻辑、跨任务迁移,迈向更可靠的通用推理。
AI 集成的智能 Profiling 实践:从性能分析到优化闭环
本文由韩钦亭撰写,分享了在已有 Profiling 平台引入 AI 智能辅助模块的实践。介绍了设计思路、工程实现、应用成效,对比不同大语言模型,通过实际案例展示优化效果,还探讨了 AI 在性能优化场景的未来潜力。
CoT推理大溃败?哈佛华人揭秘:LLM一思考,立刻就「失智」
新研究揭示思维链CoT会分散模型「注意力」,使大模型推理时易出错。研究指出在需遵守指令任务中,用CoT推理模型准确率下降,还总结了四大模式,并提出四种缓解策略。
上海AI Lab提出CANON:让RLVR自主识别优质推理模式
上海AI Lab与上海交大团队提出创新框架CANON,解决将人类先验知识融入RLVR训练的难题。它通过条件分组与对比机制,自适应放大有益指标变化趋势,在数学和逻辑推理任务上成果卓越,还能提升推理效率。
突发!OpenAI「掀桌」:自研推理芯片「墨西哥辣椒」跑赢英伟达
OpenAI公布自研推理芯片Jalapeño(墨西哥辣椒)测试结果,它专为大语言模型推理设计,能同时提升吞吐量和降低延迟,在多模型测试中超NVIDIA系统。该芯片与Cerebras合作,计划2026年底部署。
全面战胜ReAct!斯坦福全新智能体推理框架,性能提升112.5%
斯坦福和MIT团队推出新AI智能体推理框架ReCAP,在长上下文任务中全面超越ReAct,性能提升显著。它通过独特结构和三大机制解决大模型常见问题,虽成本增加,但在关键任务表现出色,潜力巨大。
腾讯混元AI Infra核心技术重磅开源:推理吞吐提升30%!
腾讯混元AI Infra团队开源生产级高性能LLM推理核心算子库HPC-Ops,基于生产环境痛点开发,降低底层算子开发门槛,实现显著性能突破。在真实场景下,混元、DeepSeek模型推理QPM提升,单算子性能也超越主流算子库。
“边说边思考”,Mini-Omni-Reasoner 开创实时语音推理新范式
Mini - Omni - Reasoner将推理能力引入大型语音模型,开创“边说边思考”范式,实现实时语音推理与交互。推出Spoken - Math - Problems - 3M数据集,经四阶段生成流程构建。训练采用分阶段策略,性能超基础模型。
静态稀疏已死:Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题,先介绍Elastic Attention打破静态稀疏桎梏,后重点阐述全新的Flux Attention,它将动态稀疏注意力范式升级为层级别路由,解决了算法与硬件的矛盾,在多方面实现突破。
MySQL复制延迟终结者:AliSQL 高效AI诊断和四大内核级优化
MySQL主从复制延迟损害实例可用性和时效性。AliSQL引入AI诊断定位原因,针对大表DDL、大事务、批量数据处理和小事务高并发四类场景,进行内核级优化,消除复制延迟。