「推理框架」共找到 3413 篇相关文章
谷歌TPU跑Kimi比英伟达GPU快57%！用的还是DeepSeek推理框架
本文报道由vLLM原班人马创立的Inferact公司，联合谷歌优化后，16块谷歌TPU v7跑Kimi K3速度比同数量英伟达GB200快57%，相关代码已开源，详解了背后的技术优化思路。
大模型越反思越错，原来是长链推理通过自我说服加重幻觉 | 北邮
北邮研究团队通过思维链审计实验，揭示大模型长链推理‘越想越错’现象背后的元认知偏差。研究基于RFC协议文档构建受控知识域，分析推理过程，发现反思会加重幻觉，且现有检测方法难以应对。
GAIR Paper 106｜追踪视觉 Token 的演化轨迹，实现无损压缩与 60% 推理加速｜CVPR 2026
近年来大视觉语言模型虽推动多模态智能发展，但推理成本高昂。山东大学和MBZUAI团队提出TransPrune，从演化视角衡量视觉Token重要性，保持性能无损同时降低60%推理成本。
开启RL Scaling新纪元，siiRL开源：完全分布式强化学习框架，支持超千卡规模高效训练
传统强化学习框架在模型和集群规模达上千块GPU时，存在扩展性瓶颈和效率低下问题。上海创智学院团队推出siiRL，采用全分布式架构和多控制器范式，解决传统框架痛点，在多方面验证了其高性能。
帮大模型提速80%，华为拿出昇腾推理杀手锏FlashComm，三招搞定通算瓶颈
在大模型推理通算难题凸显的背景下，华为数学家祭出 FlashComm。它包含三项技术，分别在 AllReduce 通信、以存换传、多流并行方面优化，解决通信瓶颈，提升推理性能，未来还将围绕多方向创新。
Nature Machine Intelligence｜不只是「像大脑」，人脑信号还能直接引导语言模型进行鲁棒推理
本文介绍发表于Nature Machine Intelligence的最新研究，系统探究语言模型与人脑推理表征的对应关系，验证人脑信号可引导提升语言模型推理鲁棒性，为脑启发AI提供了新研究路径。
ART：构建可靠智能体的强化学习新框架
现有AI智能体在真实场景表现不稳定，阻碍其应用走向生产。ART开源强化学习框架诞生，通过分离“前端”与“后端”、兼容OpenAI推理端点等创新化解困境，还给出使用方法，在案例中展现强大效能与经济性。
思维链推理是一种脆弱的‘海市蜃楼’，一旦超出训练分布，它便会消失。| 直播预约
思维链提示能提升LLM在多任务上的表现，让人感觉模型在深思熟虑。但研究从数据分布角度剖析，发现思维链推理是脆弱的‘海市蜃楼’，超出训练分布就会消失，强调实现通用推理能力挑战大。
让Agent画思维导图稳固长期记忆：新框架实现稳定长期学习，准确率提升38%
中国电信人工智能研究院研究团队提出TeleMem框架，从数据结构层重新设计Agent记忆组织方式，使记忆可检索、累积、回溯和演化。该框架解决了传统RAG在长期记忆管理和持续学习方面的瓶颈，准确率提升38%。
React 被指“沦为 Vercel 打工仔”，力推框架只为圈钱？核心成员亲自下场回应却遭群嘲
近日，React 生态核心参与者 Mark Erikson 分析其现状及争议。外界质疑 Vercel 主导 React 发展，他认为是 React 团队主导 Next.js，且 RSC 需与框架集成，社区对框架使用也有分歧。