「自动化评估」共找到 1147 篇相关文章
刚刚，马斯克Grok 4.1低调发布！通用能力碾压其他一切模型
xAI 低调发布 Grok 4.1 并向所有用户开放，可多平台使用。该模型在真实世界可用性上显著提升，尤其在创造力等方面出色。它在多项评估中表现优异，通用能力领先，情感智能、创意写作佳，还降低了事实幻觉。
多模态长文本理解测评首发：46款模型无一攻克128K难关
香港科大等研究者联合提出MMLongBench，用于评估多模态模型长文本理解能力。它覆盖5大类型任务的16个数据集，对46个模型测试显示，闭源和开源模型在长上下文任务均面临挑战，OCR和跨模态检索能力是瓶颈。
离开OpenAI和Google后，两位大模型核心负责人决定卷下一代架构
曾是OpenAI的「强化学习最大主义者」Jerry Tworek，与谷歌Gemini预训练负责人Rohan Anil，共同创办Core Automation。他们探讨当前AI路线问题，认为下一代架构要能持续学习，还计划打造自动化AI实验室。
Google 开源 gws！一天暴涨 10K+ Star，把整个 Google Workspace 搬进终端。
Google 开源命令行工具 gws (Google Workspace CLI)，一天揽 10K+ Star。它动态构建命令界面，支持 Google Workspace 众多服务，兼顾人类与 AI 代理需求，还具备灵活认证等亮点，为 Workspace 自动化带来新可能。
直播预约 | 强化学习训练能否不依赖外部知识优化模型的弱点？
论文提出 SwS 框架，针对强化学习场景，利用模型自我感知弱点驱动自动化问题生成，合成针对性训练数据。还对其进行多项扩展，在多个基准测试集和模型上验证有效，性能提升显著。
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测，构建含35个基准测试的MedHELM综合评估框架。结果显示，DeepSeek R1以66%胜率领先，o3 - mini等模型也各有表现，还分析了成本效益。
刚刚，大模型棋王诞生！40轮血战，OpenAI o3豪夺第一，人类大师地位不保？
国际象棋积分赛成果出炉，OpenAI o3以人类等效Elo 1685分夺冠，Grok 4和Gemini 2.5 Pro紧随其后。Kaggle发布国际象棋文本排行榜，评估模型战略推理等能力，还推出相关数据集，虽有局限但意义重大。
利用大模型从开源情报中自动提取检测规则：LLMCloudHunter，有开源
随着网络攻击增加，威胁情报成主动安全关键。以色列本古里安大学发布LLMCloudHunter框架，用大模型从开源情报自动生成检测规则，评估显示其规则质量高，且大部分能编译成Splunk查询，软件已开源。
刚刚，Fable 5全球复活！限时7天，额度砍半
Anthropic官宣Fable 5回归，7月1日至7日限时开放，顶配套餐周使用额度砍半。虽更新安全防护，多数编码任务不受影响，但新防护有误伤，且Token消耗快，还拒绝部分正常提问。其自动化率显著提升。
Claude Code 桌面版烂爆了，Anthropic 终于把 “100% AI 编码”演砸了
Anthropic将Claude Code做成桌面应用，本值得期待，然而新桌面版却问题频出，如卡顿、崩溃、自动化功能不稳定等，还出现大量基础功能问题。此前Anthropic宣称代码由AI编写比例高，但产品质量堪忧。