「AFIM基准测试」共找到 2049 篇相关文章
高智商 ≠ 高财商？50天实盘测试：LMArena 高分王者也可能是「韭菜」
伊利诺伊大学厄巴纳 - 香槟分校团队开发 LiveTradeBench，让大模型在真实金融市场交易，检验其能力。它全面开源，有实时数据、组合决策等创新，50 天实测揭示模型财商差距。
首个GUI多模态大模型智能体可信评测框架+基准：MLA-Trust
MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。
快手可灵也吃上了香蕉，一通离谱prompt测试，好好玩要爆了
ChatGPT发布三周年，快手可灵AI视频「O1模型」登场，号称“全球首个统一多模态视频模型”。实测显示它能一站式搞定视频修改、镜头延展等操作，还推出了图片O1模型，在图片生成方面表现出色。
测试时Scaling或是最大错觉，Google：R1/O1强推理另有原因
Google 112 页论文实证，OpenAI 的 o 系列等模型推理能力提升并非仅因计算时间延长，而是源于对复杂互动的隐式模拟。通过三重验证表明推理能力跃迁或因‘吵得更凶’，而非‘算得更久’。
从第一性原理出发的RAG推理新范式来了，蚂蚁DIVER登顶权威基准
当前RAG系统处理多步逻辑推理任务有局限，蚂蚁集团团队提出DIVER框架解决推理密集型检索难题。它将检索任务分四阶段，在BRIGHT榜单领先，行业对比优势明显，医疗应用效果好。
MLLM集体翻车，缺乏婴儿级常识！业界首个核心认知基准发布，LeCun转赞
当前大模型在12项核心认知上普遍落后人类10 - 30%，越大的模型越易靠「背答案」糊弄。团队公开首个系统评测框架和题库，用Concept Hacking方法识破模型真假理解，指出模型存在核心知识缺失等问题。
让ChatGPT连读“A”，直接崩溃到念广告词，网友：拿付费用户做测试呢？
ChatGPT付费用户体验高级语音模式时遇怪事，正常聊寿司时突然插播广告，连读“A”也会如此。网友猜测是广告插入或“幻觉”，OpenAI技术人员称是幻觉，而国产AI无此问题。
AI 视频生成“试金石”：谷歌 Veo 3 体操“图灵测试”未达标，仍是“抽象派”！
谷歌新出的Veo 3视频生成模型画质惊艳且能开口说话，但生成体操动作效果差，像“抽象派”。虽存在生成不准问题，但物理效果比其他模型好。有人建议其与专业动捕公司合作，音画一体或成视频模型竞赛标配。
人类秒懂，AI崩溃：一个简单测试，就让GPT-5、Gemini等顶级模型集体“翻车”
来自多机构研究团队发现，OpenAI的GPT-5等顶级AI模型，面对‘看得见但读不懂’文字时表现极差。VYU团队实验显示，人类能轻松读懂的切分拼接文字，AI却全军覆没，原因是其靠模式匹配，不懂文字结构。
性能逼近闭源最强，通义实验室开源Mobile-Agent-v3刷新10项GUI基准SOTA
通义实验室开源 Mobile-Agent-v3，覆盖多平台，7B 超同类开源，32B 挑战闭源强手。它有基于云环境的全链路开源方案、全栈 GUI 能力构建和可扩展环境强化学习体系，降低部署开销。