「学术基准测试」共找到 2189 篇相关文章
从第一性原理出发的RAG推理新范式来了，蚂蚁DIVER登顶权威基准
当前RAG系统处理多步逻辑推理任务有局限，蚂蚁集团团队提出DIVER框架解决推理密集型检索难题。它将检索任务分四阶段，在BRIGHT榜单领先，行业对比优势明显，医疗应用效果好。
MLLM集体翻车，缺乏婴儿级常识！业界首个核心认知基准发布，LeCun转赞
当前大模型在12项核心认知上普遍落后人类10 - 30%，越大的模型越易靠「背答案」糊弄。团队公开首个系统评测框架和题库，用Concept Hacking方法识破模型真假理解，指出模型存在核心知识缺失等问题。
让ChatGPT连读“A”，直接崩溃到念广告词，网友：拿付费用户做测试呢？
ChatGPT付费用户体验高级语音模式时遇怪事，正常聊寿司时突然插播广告，连读“A”也会如此。网友猜测是广告插入或“幻觉”，OpenAI技术人员称是幻觉，而国产AI无此问题。
AI 视频生成“试金石”：谷歌 Veo 3 体操“图灵测试”未达标，仍是“抽象派”！
谷歌新出的Veo 3视频生成模型画质惊艳且能开口说话，但生成体操动作效果差，像“抽象派”。虽存在生成不准问题，但物理效果比其他模型好。有人建议其与专业动捕公司合作，音画一体或成视频模型竞赛标配。
人类秒懂，AI崩溃：一个简单测试，就让GPT-5、Gemini等顶级模型集体“翻车”
来自多机构研究团队发现，OpenAI的GPT-5等顶级AI模型，面对‘看得见但读不懂’文字时表现极差。VYU团队实验显示，人类能轻松读懂的切分拼接文字，AI却全军覆没，原因是其靠模式匹配，不懂文字结构。
性能逼近闭源最强，通义实验室开源Mobile-Agent-v3刷新10项GUI基准SOTA
通义实验室开源 Mobile-Agent-v3，覆盖多平台，7B 超同类开源，32B 挑战闭源强手。它有基于云环境的全链路开源方案、全栈 GUI 能力构建和可扩展环境强化学习体系，降低部署开销。
1万tokens是检验长文本的新基准，超过后18款大模型集体失智
Chroma团队研究发现，将上下文扩展至1万tokens，18款主流大模型集体“失智”，“智商”非均匀下降，在一些节点会断崖式下跌。研究还设计四项对照实验，证明LLMs性能随输入长度增加显著且非均匀下降。
LLM加RL遭质疑：故意用错奖励，数学基准也显著提升，AI圈炸了
华盛顿大学等机构论文引爆AI界，其发现用虚假奖励训练Qwen2.5-Math-7B模型，也能提高MATH - 500成绩。虚假奖励对Qwen模型有效，但在其他模型上有限，凸显RLVR有效性与模型能力有关。
Claude 4发布！AI编程新基准、连续编码7小时，混合模型、上下文能力大突破
今天凌晨Anthropic开发者大会发布Claude 4，含Claude Opus 4和Claude Sonnet 4。前者是顶尖编码模型，后者是Sonnet 3.7重大升级。还发布系列产品，定价不变，已上线Amazon Bedrock。
马斯克官宣数字AI员工！世界首富也来养龙虾，测试阶段员工把它当真人
马斯克在X上宣布数字擎天柱/巨硬AI项目，它是能在电脑自动操作的数字员工，可模拟公司运作。该项目早有记载，此前印度小哥曾爆料。巨硬项目曾遇阻，现以数字擎天柱形式推出，由xAI与Tesla联合打造。