「推理框架开发」共找到 4703 篇相关文章
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
田渊栋：连续思维链效率更高，可同时编码多个路径，“叠加态”式并行搜索
AI大牛田渊栋团队利用连续空间“叠加态”让大模型并行推理，提升图可达性等任务表现，为连续思维链提供理论支持。还设计注意力选择器等机制，实验显示连续思维链模型准确率更高。此外，田渊栋还是科幻小说家。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
基于Memory Bank的Cursor长会话记忆内存库理论研究与实践
文章围绕Memory Bank展开，介绍其为解决大模型长会话记忆瓶颈而设计的机制，包括存储、检索、更新模块。阐述其在编程和知识库建设的应用，还评测了Codelf等工具，指出Memory Bank是AI迈向智能的重要一步。
伯克利斯坦福联手造出「科研预言家」：77%准确率押注研究想法前景
伯克利和斯坦福团队让GPT - 4.1变身「科研预言家」，从顶会提取想法对比案例训练，不借助实验验证，靠推理押注。其在公开题库测试、人类专家团战等测试中表现出色，还能预测AI新点子。
SIGGRAPH 2025奖项出炉：上科大、厦大入选最佳论文
本周三，全球图形学顶级会议 SIGGRAPH 公开今年论文奖项。该会议影响力高，涵盖动画、生成式人工智能等多领域。今年有上科大、厦大等校论文入选最佳，还有时间检验奖等，涉及动力学框架等研究。
小红书开源大模型dots.llm1，初次出手，小有惊艳！国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
“由 AI 生成的代码，从诞生那一刻起就是「遗留代码」！”
如今生成式AI融入软件开发，AI生成的代码一诞生或被视为“遗留代码”。它缺乏上下文记忆和维护连续性，虽有开发者尝试弥补，但代码未来或多靠提示生成。文章观点在Hacker News引发讨论。
Gemini 2.5 Pro强势更新并霸榜，Claude 3.7首次遭遇全方位碾压！
Google DeepMind推出的Gemini 2.5 Pro在LMArena各大排行榜全面登顶，实现文本、视觉、Web开发全方位霸榜，编码能力也大幅升级。虽有质疑，但短期内难有对手，还引发对Google I/O大会更多惊喜的期待。