「学科考试基准」共找到 952 篇相关文章
1万tokens是检验长文本的新基准，超过后18款大模型集体失智
Chroma团队研究发现，将上下文扩展至1万tokens，18款主流大模型集体“失智”，“智商”非均匀下降，在一些节点会断崖式下跌。研究还设计四项对照实验，证明LLMs性能随输入长度增加显著且非均匀下降。
LLM加RL遭质疑：故意用错奖励，数学基准也显著提升，AI圈炸了
华盛顿大学等机构论文引爆AI界，其发现用虚假奖励训练Qwen2.5-Math-7B模型，也能提高MATH - 500成绩。虚假奖励对Qwen模型有效，但在其他模型上有限，凸显RLVR有效性与模型能力有关。
Claude 4发布！AI编程新基准、连续编码7小时，混合模型、上下文能力大突破
今天凌晨Anthropic开发者大会发布Claude 4，含Claude Opus 4和Claude Sonnet 4。前者是顶尖编码模型，后者是Sonnet 3.7重大升级。还发布系列产品，定价不变，已上线Amazon Bedrock。
让GPT-4.1「头皮发麻的考试」！OpenAI给大模型上强度，AI能赢吗？
OpenAI 公布 MRCR 评测标准数据集，其针对 AI 模型上下文能力进行「奥运会」级别测评。MRCR 提升了测试难度，能揭示 AI 能力边界，推动模型发展，帮助更合理应用技术。GPT4.1 在一些测试中表现出色，未来 AI 能力上限充满可能。
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。
刚刚，奥特曼发布GPT-5！人人免费用「博士级」智能，基准图错误遭全网吐槽
OpenAI 发布 GPT - 5，奥特曼连发推文介绍看点。它是集成模型，有免费版、Plus 和 Pro 计划，多领域跑分亮眼。不过直播现小 bug，跑分图出错，马斯克拆台，表现未达部分人预期。
多模态推理新基准！最强Gemini 2.5 Pro仅得60分，复旦港中文上海AILab等出品
现有多模态大模型benchmark对逻辑推理理解不足，复旦大学等单位提出MME - Reasoning评估其推理能力。对30 + 模型评测，最优得分仅60%左右，反映出模型多方面推理短板。
谷歌最新 Gemini Agent 爆击GPT-5.2？人类最后考试得分见分晓！网友：Altman又该发“红色警报”了
全球人工智能竞争升温，谷歌与 OpenAI 同日发布更新。谷歌推出全新 Gemini Deep Research 版本及嵌入式研究智能体 API，OpenAI 发布 GPT - 5.2。谷歌新工具能力提升，测试成绩佳，引发网友不同看法，二者竞争激烈。
多模态大模型理解物理工具吗？PhysToolBench提出了衡量多模态大模型对物理工具理解的基准
香港科技大学等团队提出 PhysToolBench，用于衡量多模态大模型对物理工具的理解。它将理解分为三个等级，测试 32 个模型，揭示了大模型在工具理解上的不足，也为未来发展指明方向。
具身智能大脑+首个SaaS开源框架，智源研究院刷新10项测评基准，加速群体智能新范式
智源研究院推出通用具身大脑RoboBrain 2.0与全球首个具身智能SaaS开源框架RoboOS 2.0并全部开源。前者突破主流AI模型瓶颈，后者实现大脑云端优化与小脑技能免适配注册，降低开发门槛。