「实验评测」共找到 1865 篇相关文章
研究显示：AI 编程工具在经验丰富的开发者手中表现未达预期
METR研究人员对经验丰富的开源开发者开展随机对照试验，让其使用Claude 3.5和Cursor Pro等AI增强型开发工具。结果显示，AI辅助编程使任务完成时间延长19%，与预期相悖。
一个标点就能迷惑LLM-as-a-Judge！
论文揭露惊人漏洞，一个标点或通用推理开场白就能欺骗最先进的LLM裁判，导致强化学习训练崩溃。研究通过实验验证漏洞，提出Master - RM模型，其FPR近乎0%且保持通用裁判能力。
性能暴涨50%！谷歌、微软、OPPO 联手开源Agent “经验炼金术”
谷歌DeepMind、微软研究院、OPPO等机构开源`AGENT KB`项目，提出并实现“AI经验库”概念。它有“师徒模式”工作流，设计了从“原始日志”到“结构化经验”的构建流程，应用时分层调用知识，能让Agent性能飙升。
7B模型对标GPT-4o，全球首个医疗代码生成大模型训练平台来了
研究团队发布全球首个医疗代码生成大模型训练平台MedAgentGym，提供评估基准和训练生态，提升大模型医疗代码生成与推理能力。经其训练的Med - Copilot - 7B达GPT - 4o相当水平，解决医疗AI编程瓶颈。
给你一群顶尖AI，如何组队才能发挥最大战力？UIUC用一个新的多智能体协作基准寻找答案
现有的评测基准无法衡量多智能体系统内部的协作效率、沟通质量和竞争策略。为此，伊利诺伊大学厄巴纳 - 香槟分校的研究者推出 MultiAgentBench，能全面评估 LLM 多智能体系统协作与竞争能力。
kimi 的RL end2end ON LLM
文章分享Kimi Researcher背后技术思考，采用端到端强化学习打造大模型Agent。对比传统方法，凸显其灵活通用、能力上限高、可扩展优势。还展示其在考试榜单成绩提升及智能“涌现”，介绍多应用场景。
打破长视频理解瓶颈：HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳，CMU和小红书团队深入研究，首次提出多模态RoPE扩展策略理论评估框架，指出现有泛化能力不足原因，提出HoPE大幅提升VLM长度泛化能力。
一文读懂深度表格数据表示学习 | 南京大学
南京大学团队系统介绍表格表示学习领域，将现有方法按泛化能力分三类，比较DNN与树模型优劣，剖析核心挑战，探讨扩展方向及数据集评估策略，旨在建跨数据集稳健评估体系。
何恺明CVPR最新讲座PPT上线：走向端到端生成建模
今年CVPR闭幕，何恺明现身会场并做了主题为‘走向端到端生成建模’的分享，近日其个人网页上传了该分享PPT。PPT回顾识别模型演进，探讨生成模型能否重演历史，还介绍了MeanFlow方法及成果。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。