「自动化评测」共找到 1071 篇相关文章
7个月翻一番！AI agent能力飙升，METR报告揭示指数级进化规律
非营利研究机构METR报告显示，Agent能力每7个月翻一番，这在9项基准测试中得到验证，任务涉及编程、数学等领域，大模型正迈向高度自动化，且Agent性能提升快，未来处理复杂任务能力或更强。
让GPT-4.1「头皮发麻的考试」！OpenAI给大模型上强度，AI能赢吗？
OpenAI 公布 MRCR 评测标准数据集，其针对 AI 模型上下文能力进行「奥运会」级别测评。MRCR 提升了测试难度，能揭示 AI 能力边界，推动模型发展，帮助更合理应用技术。GPT4.1 在一些测试中表现出色，未来 AI 能力上限充满可能。
正式版发布！DeepSeek-V4-Pro-0813
8月13日晚，DeepSeek-V4-Pro-0813正式版发布。此次升级将Agent维度提升至无短板的第一梯队，具备1M+384K长任务能力，接口双兼容，技术创新多。还公布评测对比、价格并发设定，给出实战代码案例与启示。
「10万小时人类数据」不搞对齐只靠规模，灵初智能Psi-R2登顶MolmoSpaces！
4月10日晚，灵初智能发布大模型、数据集与合作计划，包括策略模型Psi - R2、世界模型Psi - W0及近10万小时人类操作数据。其未走花哨对齐路线，靠系统协同，在MolmoSpaces评测中表现优异，体现自主研发路线先进性。
AI能否「圣地巡礼」？多模态大模型全新评估基准VIR-Bench来了
来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。
快慢思考不用二选一！华为开源7B模型实现自由切，精度不变思维链减近50%
华为发布openPangu-Embedded-7B-v1.1，参数7B却有双重“思维引擎”。采用渐进式微调策略和快慢思考自适应模式，可自由切换快慢思考，在多评测中精度提升，思维链减近50%。还推出openPangu-Embedded-1B小模型。
分裂的丰盛：AI时代的财富会落到谁手里？
作者重读《国富论》，借亚当·斯密的思考探讨AI时代财富分配。指出AI带来‘分裂的丰盛’，分析了AI自动化的两面性，结合历史案例说明生产率与工资增长的关系，还从三层分析AI对财富的影响，并给白领提出四条建议。
LM Studio宣布支持在Mac上跑Qwen3-Next 80B模型
LM Studio宣布支持基于MLX框架在Mac上运行阿里Qwen3-Next 80B模型。该模型虽总参数量达800亿，但每次推理仅激活30亿。第三方评测显示其4bit量化运行效果好，不过实现GGUF格式支持尚需时间。
CS博士求职8个月0 offer，绝望转行！斯坦福入学停滞，全美仅增0.2%
曾经热门的计算机专业渐成「冷门」，全美入学率仅增0.2%，斯坦福等校招生下滑。AI自动化初级编程岗位，致就业前景暗淡，如田纳西大学博士生求职8个月无果。不过也有人认为低迷或为短期，专家建议选培养可迁移技能学科。
苹果憋一年终超同参数 Qwen 2.5？三行代码即可接入 Apple Intelligence，自曝如何做推理
今年 WWDC 大会上，苹果推出专为增强 Apple Intelligence 功能的语言基座模型，含约 3B 参数紧凑型与基于服务器的混合专家模型。经优化可在苹果芯片高效运行，改进工具使用与推理能力，评测显示设备端模型表现优。