「HLL 评测基准」共找到 1324 篇相关文章
Fable5仅做对3.5%!大模型会看图,但还没有主动视觉
本文介绍了专门测量「主动观察」能力的视觉推理基准 ActiveVision,评测显示无外部工具时,大模型与人类准确率有近 9 倍差距,用工具后虽提升但仍远不如人类,还说明了其出题与避免取巧的方式。
准确率腰斩!大模型视觉能力一出日常生活就「失灵」
EgoCross项目团队聚焦跨域第一视角视频问答评测,揭示现有MLLM在多场景泛化瓶颈。团队提出跨域第一视角视频问答基准EgoCross,经测试揭示模型短板,验证改进方法潜力,研究入选AAAI 2026且数据集等已开源。
当200位具身从业者被拉进同一个屋子
量子位等联合发起沙龙,近200位具身从业者探讨具身智能从实验室走进物理世界的问题。乐聚工程师指出具身数据瓶颈,蚂蚁灵波郑可成介绍模型,上海交大李永露分享评测基准,圆桌对话探讨数据挑战与破局路径。
小红书发布 SWE-Bench Mobile:当 AI Agent 面对亿级用户 App 代码库,最高通过率仅12%?
小红书联合多科研机构发布 SWE-Bench Mobile,它是首个还原‘端到端’开发流程的基准,以小红书 App 实际任务为核心。评测显示,AI Agent 在移动端开发能力上限低,架构设计比模型本身重要,简单提示策略效果更好。
刚刚,腾讯姚顺雨署名首篇论文发布,「下半场」先搞上下文学习
腾讯混元团队和复旦联合团队发布姚顺雨署名首篇论文《CL - bench》。论文证实模型在上下文利用上有能力短板,还构建了CL - bench评测基准,评估发现前沿模型在上下文学习上表现差,未来要让上下文学习走向现实。
为什么AI总是"记错"你?我们造了一个"合成人生"来测试
现有AI记忆评测只记'事'不记'人',存在数据源窄、不重理解、注入成本高的问题。QuantaAlpha联合高校团队提出CloneMem基准测试,用'数字痕迹'评估AI Clone长期记忆能力,实验有反直觉结论并给出设计启示。
谷歌最强大模型付费上线,在DeepSeek开源后被吐槽太贵
谷歌最强模型Gemini 3 Deep Think上线,推理能力强,能将草图变3D场景、搭建游戏。它在多评测基准表现出色,准确率超GPT - 5 Pro等。但仅向Ultra会员开放,月费约1800元,被吐槽贵,开源的DeepSeek-V3.2成冲击因素。
当世界模型不止「视频」该如何评估?WorldLens提出实用化评估新框架
生成式世界模型在多领域进展显著,但评估存在局限。WorldBench 团队构建 WorldLens 评测框架,从五个维度评测开源世界模型,其评测 EvalKit 已公开,可暴露模型能力边界与失效模式。
谷歌Gemini 3杀疯了!陶哲轩亲测:10分钟干翻百年数学难题
Gemini 3本周一发布后开启横扫基准测试之旅。在FrontierMath基准测试创纪录,Epoch能力指数超GPT - 5.1。陶哲轩用Gemini Deepthink十分钟解决埃尔德什问题关键证明,同时它还霸榜物理基准测试CritPt。
Auto Research最后一块拼图,Frontier-Eng Bench登场,在工程闭环里死磕最优
Einsia AI旗下Navers Lab论文Frontier - Eng推出新评测范式Generative Optimization,搭硬核评测系统,覆盖47个横跨5大工程方向的任务。评测多种模型,结果显示gpt 5.4最稳健,但距资深工程师水平尚远。