「SWE - bench」共找到 164 篇相关文章
刚刚，加入腾讯的姚顺雨发表首篇Paper~
腾讯混元与复旦联合发表论文《CL-bench》，姚顺雨署名并全面细致审阅反馈。CL-BENCH 首次单独考‘现学现卖’，有独特设计原则、四大题型，其评分杜绝‘差不多’，还让 10 个前沿模型‘翻车’。
字节前技术负责人创业，联手清华姚班校友，编程智能体世界登顶
词元无限团队开发的编码智能体 InfCode，在权威 AI Coding 基准中登顶。它定义 AI 编程「工程时代」，有代码意图分析等亮点，背后是豪华团队，致力于构建商业闭环。
MMAR与AudioTrust技术解读，音频大模型评测前沿进展分享 | AI Bench Talk直播预告
司南评测集社区 CompassHub 收录多维度评测集。此次 AI Bench Talk 直播聚焦音频大模型，将分享评估其深度推理能力的 MMAR 及全方位可信评估框架 AudioTrust，还设圆桌讨论多模态/音频大模型相关议题。
刚刚，腾讯姚顺雨署名首篇论文发布，「下半场」先搞上下文学习
腾讯混元团队和复旦联合团队发布姚顺雨署名首篇论文《CL - bench》。论文证实模型在上下文利用上有能力短板，还构建了CL - bench评测基准，评估发现前沿模型在上下文学习上表现差，未来要让上下文学习走向现实。
GPT-4V仅达Level-2？全球首个多模态通才段位排行榜发布，General-Level打造多模态通用AI评测新范式
General-Level团队提出全新评测框架General-Level和数据集General-Bench，构建超大规模评测基准和多模态通才模型排行榜。其用五级段位体系衡量模型通才能力，General-Bench覆盖多模态任务，排行榜分多层次榜单，目前各模型段位差异大，Level-5空缺。
ICLR 2026 Oral | 西湖大学发布Real PDE Bench
复杂物理系统时空演化预测是核心问题，当前AI模型多在数值仿真数据上训练，难以评估其在真实数据上的表现。西湖大学等实验室提出RealPDEBench，含真实与仿真数据，设三类任务、九个评估指标和十个基线方法。
LLM长文本内卷，谁是真英雄？告别跑分玄学，我们需要一把“公道秤”
OpenNLG Group做了统一长上下文评估框架LOOM - Scope，兼容主流benchmark、model和长上下文加速方法。该框架围绕BENCHMARK、DEPLOYMENT和EVALUATOR三大核心模块，还提出LOOM - Bench应对评估成本制约。
学术海报不用愁，一句话精准自动编辑，华东师大开源APEX
华东师范大学Planing Lab提出APEX框架，能通过自然语言指令实现学术海报局部可控编辑，引入「审查—调整」机制提升可靠性。还构建APEX - Bench评估，实验显示APEX优于其他方法。
从OpenAI AI Phone到Gemini on Android：AI手机时代需要怎样的Agent Harness？
过去一年，AI与手机关系被重新定义，腾讯混元等机构研究PhoneHarness，关注AI在手机上行动及任务完成验证问题。它让手机Agent行动不止GUI，还有Bench检验执行结果，推进AI手机基础设施建设。
比Sora更疯狂！英伟达AI让机器人「做梦」修炼，无师自通直接上岗
英伟达新研究项目DreamGen用视频生成模型让机器人在神经网络生成的「梦境世界」自主探索学习。它能让机器人掌握新动作、泛化到新环境，合成数据暴涨333倍，还引入DreamGen Bench用于视频生成基准。