「测试评估集」共找到 2697 篇相关文章
大模型再爆弱点！旧记忆忘不掉，新记忆分不出，准确率暴降 | ICML'25
弗吉尼亚大学和纽约大学研究人员用「前摄干扰」概念设计测验PI - LLM，测试大语言模型（LLM）上下文检索能力。结果显示，随干扰增加，模型准确率对数下降至零，提示工程效果有限，需调整模型架构或训练范式。
首创Mid-training范式破解RL奥秘，Llama终于追平Qwen！
上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
模型遗忘不代表记忆抹除！首次系统发现「可逆性遗忘」背后规律
研究人员发现大语言模型遗忘并非简单信息删除，可能藏于内部。他们构建表示空间诊断工具，区分可逆与不可逆遗忘，揭示真正遗忘是结构抹除。还在多种方法、数据集和模型上实证，得出系列结论。
AI七个月突破数学家“围剿”反超人类！14位数学家深挖原始推理token：不靠死记硬背靠直觉
大模型o3 - mini - high在7个月内，于FrontierMath基准测试中，答题得分从2%提升到22%，超人类团队平均水平。数学家分析其推理记录，发现它靠直觉而非死记硬背解题，但也存在缺乏创造力等局限。
时隔一年，再次使用7个国产AI大模型写高考作文，国产模型的进步也太大了！有彩蛋。
去年评测国产模型写高考作文能力时，各模型问题不少，如用词重复、字数不足。今年再次测试7个国产模型，能力有指数级提升，文采惊人，扣题方面通义千问和文心一言表现出色。文末还有海外模型“翻车”彩蛋。
对话27岁博导张林峰：模型压缩获CVPR满分有点意外，上海交大像我这样年轻老师很多
上海交大27岁博导张林峰团队在模型压缩领域成果丰硕。其提出的数据集蒸馏方法获CVPR 2025满分，还在多方面探索模型加速，成果已开源。张林峰认为数据蒸馏会成模型压缩趋势，也分享了知识蒸馏阶段看法。
老黄唱衰编程，GitHub CEO硬刚：放弃写代码等于放弃智能体未来话语权
GitHub CEO托马斯·多姆克在采访中反驳“编程无用论”，认为2025年是编程智能体之年，但未来仍属人类程序员。公司推出多个SWE智能体产品，Copilot用户增长显著，还将评估商业模式，专注打造最佳产品。
腾讯 Hy3 一手实测，Agent 能力提升不止一点
作者拿到 Hy3 模型测试资格，介绍其架构、性能和价格优势，还在 WorkBuddy 里实测它完成运营工作、选编辑助教、开发新功能等任务的效果，最后评价 Hy3 能力、价格、适配方面的表现，并分析 WorkBuddy 领先原因。
前后端一起消失：AI Coding正在改写大厂工程师分工
大厂研发组织出现调整，美团前后端团队合并，蚂蚁网商让测试岗转研发岗。AI Coding普及使技术岗位划分重塑，前后端边界成“全栈能力”。AI编程工具虽有后端执行能力，但仍需资深工程师兜底。