HLL 评测基准」共找到 1324 篇相关文章

算法论文7

Fable5仅做对3.5%!大模型会看图,但还没有主动视觉

本文介绍了专门测量「主动观察」能力的视觉推理基准 ActiveVision,评测显示无外部工具时,大模型与人类准确率有近 9 倍差距,用工具后虽提升但仍远不如人类,还说明了其出题与避免取巧的方式。

机器之心
算法论文8

准确率腰斩!大模型视觉能力一出日常生活就「失灵」

EgoCross项目团队聚焦跨域第一视角视频问答评测,揭示现有MLLM在多场景泛化瓶颈。团队提出跨域第一视角视频问答基准EgoCross,经测试揭示模型短板,验证改进方法潜力,研究入选AAAI 2026且数据集等已开源。

量子位
新闻资讯7

当200位具身从业者被拉进同一个屋子

量子位等联合发起沙龙,近200位具身从业者探讨具身智能从实验室走进物理世界的问题。乐聚工程师指出具身数据瓶颈,蚂蚁灵波郑可成介绍模型,上海交大李永露分享评测基准,圆桌对话探讨数据挑战与破局路径。

量子位
开源动态7

小红书发布 SWE-Bench Mobile:当 AI Agent 面对亿级用户 App 代码库,最高通过率仅12%?

小红书联合多科研机构发布 SWE-Bench Mobile,它是首个还原‘端到端’开发流程的基准,以小红书 App 实际任务为核心。评测显示,AI Agent 在移动端开发能力上限低,架构设计比模型本身重要,简单提示策略效果更好。

InfoQ
算法论文8

刚刚,腾讯姚顺雨署名首篇论文发布,「下半场」先搞上下文学习

腾讯混元团队和复旦联合团队发布姚顺雨署名首篇论文《CL - bench》。论文证实模型在上下文利用上有能力短板,还构建了CL - bench评测基准,评估发现前沿模型在上下文学习上表现差,未来要让上下文学习走向现实。

机器之心
算法论文7

为什么AI总是"记错"你?我们造了一个"合成人生"来测试

现有AI记忆评测只记'事'不记'人',存在数据源窄、不重理解、注入成本高的问题。QuantaAlpha联合高校团队提出CloneMem基准测试,用'数字痕迹'评估AI Clone长期记忆能力,实验有反直觉结论并给出设计启示。

深度学习自然语言处理
新闻资讯7

谷歌最强大模型付费上线,在DeepSeek开源后被吐槽太贵

谷歌最强模型Gemini 3 Deep Think上线,推理能力强,能将草图变3D场景、搭建游戏。它在多评测基准表现出色,准确率超GPT - 5 Pro等。但仅向Ultra会员开放,月费约1800元,被吐槽贵,开源的DeepSeek-V3.2成冲击因素。

量子位
开源动态8

当世界模型不止「视频」该如何评估?WorldLens提出实用化评估新框架

生成式世界模型在多领域进展显著,但评估存在局限。WorldBench 团队构建 WorldLens 评测框架,从五个维度评测开源世界模型,其评测 EvalKit 已公开,可暴露模型能力边界与失效模式。

机器之心
新闻资讯8

谷歌Gemini 3杀疯了!陶哲轩亲测:10分钟干翻百年数学难题

Gemini 3本周一发布后开启横扫基准测试之旅。在FrontierMath基准测试创纪录,Epoch能力指数超GPT - 5.1。陶哲轩用Gemini Deepthink十分钟解决埃尔德什问题关键证明,同时它还霸榜物理基准测试CritPt。

新智元
算法论文7

Auto Research最后一块拼图,Frontier-Eng Bench登场,在工程闭环里死磕最优

Einsia AI旗下Navers Lab论文Frontier - Eng推出新评测范式Generative Optimization,搭硬核评测系统,覆盖47个横跨5大工程方向的任务。评测多种模型,结果显示gpt 5.4最稳健,但距资深工程师水平尚远。

机器之心