「评测范式」共找到 1609 篇相关文章
OpenAI谈:大模型为什么会有幻觉?如何避免?
OpenAI论文探讨大模型幻觉问题,指出评测缺陷,像多数AI模型评测非对即错,模型为得分会瞎猜。还从预训练和后训练阶段剖析根源,提议改造评测,引入置信度阈值和错误惩罚机制。
清华天眸芯团队再登Nature系列期刊封面,类脑互补视觉范式重塑AI感知世界的方式
清华天眸芯团队继2024年《Nature》封面后,最新进展又登《Nature Sensors》封面。此次研究实现系统级算法软件生态飞跃,还开源工具链。成果在多场景有应用潜力,晰见科技推动其产业化。
ICLR 2026 oral | AI代码真能进生产环境?SwingArena:从「写对代码Commit」到「通过CI审查」
过去一年大模型写代码能力提升,人们思考其能否参与软件工程核心流程。现有评测基准有缺失,SwingArena填补空白,将博弈引入评测,设计检索增强流水线,其开源后或成评估AI编程能力新工具。
ICLR 2026|多模态大模型真的理解情绪吗?MME-Emotion给出了系统答案
多模态大模型迅速发展,但能否理解人类情绪存疑,且缺乏系统性评测框架。香港中文大学和阿里通义实验室团队提出 MME - Emotion 评测基准,评测 20 个主流模型,发现模型情感智能不足,为后续研究提供参考。
AAAI 2026|视频大语言模型到底可不可信?23款主流模型全面测评来了
合肥工业大学与清华大学团队推出视频大语言模型综合可信度评测基准 Trust-videoLLMs,对 23 款模型从五维度 30 项任务评测,揭示性能格局,指出模型现存问题,还开源评测框架等。
Auto-Research「终极大考」:新基准撕下大模型科研伪装
来自多所高校的研究者提出MLS - Bench,用于解决现有Auto - Research评测的归因问题。它含140个真实研究任务,校准受控修改范围,主实验显示当前模型在方法发现上有明显缺口,Auto - Research需更严格评测标准。
为什么Agent总是Demo猛如龙实战一条虫?
一篇51页论文研究主要智能体,指出适应性是关键。它提出2×2分类框架将适应方法分四大范式,还明确不同范式优缺点,发现T2范式数据效率远超A2。最后点明Agent适应性研究的四个前沿方向。
AI真能用好科研软件吗?清华团队推出OSWorld-Science,智能体迎接硬核大考
本文针对AI能否自主操作科研软件完成真实科研任务的问题,介绍了清华大学牵头多机构推出的OSWorld-Science,这是面向真实科研场景的智能体评测基准,包含146项真实科研任务,评测了12个主流模型,曝光了当前智能体的能力短板,为领域研究提供了统一评测基础。
OpenClaw 之后,Agentic RL有了新训练范式
大模型技术推动AI从‘回答问题’迈向‘执行任务’,Agentic AI兴起。中国科大认知智能全国重点实验室提出Claw - R1项目,将前沿Agent Runtime与强化学习训练框架结合,为Agentic AI提供新训练基础设施。
陶哲轩,用AI爆改科研范式
菲尔兹奖得主陶哲轩让ChatGPT把数学论文翻译成Lean代码,与AI合作完成埃尔德什第613号问题反例的形式化证明。人机配合虽有波折,但AI节省了时间。此外,两位数学家也用AI验证第707号问题反例,数学证明正进入‘AI辅助时代’。