「SWE - bench - Live」共找到 197 篇相关文章
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
两月蒸发1.6万亿：SaaS 被AI「杀死」了吗？ | GAIR Live 025
今年初，北美软件股两月蒸发超1.6万亿美元，引发对SaaS是否被AI“杀死”的讨论。雷峰网GAIR Live线上圆桌中，三位行业老兵探讨了SaaS现状与未来，涉及股价暴跌原因、护城河、商业模式、产品形态及转型等方面。
Auto Research最后一块拼图，Frontier-Eng Bench登场，在工程闭环里死磕最优
Einsia AI旗下Navers Lab论文Frontier - Eng推出新评测范式Generative Optimization，搭硬核评测系统，覆盖47个横跨5大工程方向的任务。评测多种模型，结果显示gpt 5.4最稳健，但距资深工程师水平尚远。
具身导航，感知推理到底是「上帝」，还是执行控制是「命门」？| GAIR Live 023
本文是GAIR Live 023圆桌对话实录，浙江大学彭思达与具身多模态算法专家郝孝帅探讨具身导航。涉及本质、范式、挑战、交互等方面，还对未来5 - 10年发展做了展望。
刚刚，加入腾讯的姚顺雨发表首篇Paper~
腾讯混元与复旦联合发表论文《CL-bench》，姚顺雨署名并全面细致审阅反馈。CL-BENCH 首次单独考‘现学现卖’，有独特设计原则、四大题型，其评分杜绝‘差不多’，还让 10 个前沿模型‘翻车’。
字节前技术负责人创业，联手清华姚班校友，编程智能体世界登顶
词元无限团队开发的编码智能体 InfCode，在权威 AI Coding 基准中登顶。它定义 AI 编程「工程时代」，有代码意图分析等亮点，背后是豪华团队，致力于构建商业闭环。
MMAR与AudioTrust技术解读，音频大模型评测前沿进展分享 | AI Bench Talk直播预告
司南评测集社区 CompassHub 收录多维度评测集。此次 AI Bench Talk 直播聚焦音频大模型，将分享评估其深度推理能力的 MMAR 及全方位可信评估框架 AudioTrust，还设圆桌讨论多模态/音频大模型相关议题。
刚刚，腾讯姚顺雨署名首篇论文发布，「下半场」先搞上下文学习
腾讯混元团队和复旦联合团队发布姚顺雨署名首篇论文《CL - bench》。论文证实模型在上下文利用上有能力短板，还构建了CL - bench评测基准，评估发现前沿模型在上下文学习上表现差，未来要让上下文学习走向现实。
7.2K Star 治愈系AI伴侣开源！开源AI虚拟伴侣，支持Live2D/VRM形象！
AI虚拟角色构建常面临技术和硬件难题，而Project AIRI开源项目可轻松构建能聊天、玩游戏的萌系AI虚拟伴侣。它功能丰富，支持多模型、跨平台，还能跨端运行，值得一试。
GPT-4V仅达Level-2？全球首个多模态通才段位排行榜发布，General-Level打造多模态通用AI评测新范式
General-Level团队提出全新评测框架General-Level和数据集General-Bench，构建超大规模评测基准和多模态通才模型排行榜。其用五级段位体系衡量模型通才能力，General-Bench覆盖多模态任务，排行榜分多层次榜单，目前各模型段位差异大，Level-5空缺。