搜索：高效推理框架

「高效推理框架」共找到 3696 篇相关文章

林俊旸从阿里离开后首度发声：推理模型的时代快结束了

前通义千问Qwen负责人林俊旸离职后发长文，指出AI正从「推理思考」转向「智能体思考」，分析推理模型发展，谈混合思考模式失败，还提及智能体思考挑战及相关企业、学术界进展。

北邮研究团队通过思维链审计实验，揭示大模型长链推理‘越想越错’现象背后的元认知偏差。研究基于RFC协议文档构建受控知识域，分析推理过程，发现反思会加重幻觉，且现有检测方法难以应对。

在大模型推理通算难题凸显的背景下，华为数学家祭出 FlashComm。它包含三项技术，分别在 AllReduce 通信、以存换传、多流并行方面优化，解决通信瓶颈，提升推理性能，未来还将围绕多方向创新。

现有AI智能体在真实场景表现不稳定，阻碍其应用走向生产。ART开源强化学习框架诞生，通过分离“前端”与“后端”、兼容OpenAI推理端点等创新化解困境，还给出使用方法，在案例中展现强大效能与经济性。

思维链提示能提升LLM在多任务上的表现，让人感觉模型在深思熟虑。但研究从数据分布角度剖析，发现思维链推理是脆弱的‘海市蜃楼’，超出训练分布就会消失，强调实现通用推理能力挑战大。

中国电信人工智能研究院研究团队提出TeleMem框架，从数据结构层重新设计Agent记忆组织方式，使记忆可检索、累积、回溯和演化。该框架解决了传统RAG在长期记忆管理和持续学习方面的瓶颈，准确率提升38%。

近日，React 生态核心参与者 Mark Erikson 分析其现状及争议。外界质疑 Vercel 主导 React 发展，他认为是 React 团队主导 Next.js，且 RSC 需与框架集成，社区对框架使用也有分歧。

最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。

文章对比Workflow和Agent，指出复杂多变场景下Agent框架更适用。还介绍AutoGPT、LangGraph等5款主流Agent框架，涵盖其特点、应用场景等，最后提及腾讯云TDAI团队探索数据库与AI结合。

谷歌发布TurboQuant算法，将缓存压到3 - bit，内存占用降为1/6，推理速度提升8倍。该算法冲击存储巨头，引发股价下跌，虽目前未改变采购量，但改写推理成本，且从论文到落地的路在缩短。