「代码评估」共找到 2295 篇相关文章
多模态长文本理解测评首发：46款模型无一攻克128K难关
香港科大等研究者联合提出MMLongBench，用于评估多模态模型长文本理解能力。它覆盖5大类型任务的16个数据集，对46个模型测试显示，闭源和开源模型在长上下文任务均面临挑战，OCR和跨模态检索能力是瓶颈。
机器人长出800个心眼？阿里达摩院开源具身新大脑，硅谷又坐不住了
2026年具身智能竞争激烈，阿里达摩院开源RynnBrain“具身大脑”。它采用分层架构，在16项评测中超越前沿模型。还介绍了核心技术、训练策略等，且全系列模型、评测基准和代码均开源。
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测，构建含35个基准测试的MedHELM综合评估框架。结果显示，DeepSeek R1以66%胜率领先，o3 - mini等模型也各有表现，还分析了成本效益。
单张显卡跑出15倍推理速度，aiX-apply-4B小模型加速企业AI研发落地
3月25日，硅心科技发布专为代码变更应用场景设计的轻量级模型aiX - apply - 4B。该模型在准确率、推理速度等方面表现出色，超越部分千亿级大模型，还推出“大模型+小模型”协同架构释放企业算力价值。
比肩OpenAI Simple Codex，中国团队闯入Terminal-Bench全球第二！
Anthropic和OpenAI推出新模型后，基础大模型较量进入实战比拼。中国团队Feeling AI的CodeBrain - 1在Terminal - Bench 2.0榜单排全球第二，它聚焦代码编写运行，还能动态调整计划策略，展现出高含金量。
“Skills 不就是脚本套个壳吗？我十几年前就玩 AutoIt 了”
程序员常认为 Agent Skills 是脚本换壳，实则二者有本质差异。脚本按步执行，Skills 由 AI Agent 调度、用自然语言编排工作流。确定的事用代码，不确定的交给 Agent。Skills 降低成本、利于分享，进化快但有安全问题。
刚刚，大模型棋王诞生！40轮血战，OpenAI o3豪夺第一，人类大师地位不保？
国际象棋积分赛成果出炉，OpenAI o3以人类等效Elo 1685分夺冠，Grok 4和Gemini 2.5 Pro紧随其后。Kaggle发布国际象棋文本排行榜，评估模型战略推理等能力，还推出相关数据集，虽有局限但意义重大。
利用大模型从开源情报中自动提取检测规则：LLMCloudHunter，有开源
随着网络攻击增加，威胁情报成主动安全关键。以色列本古里安大学发布LLMCloudHunter框架，用大模型从开源情报自动生成检测规则，评估显示其规则质量高，且大部分能编译成Splunk查询，软件已开源。
GLM4.5实测：审美不如R1，全栈还不大可用，别急冲
7月29日智谱开源GLM - 4.5。作者实测发现其在UI设计审美不如R1，生成卡片表现不一，Coding能力勉强及格，全栈代码生成未达可用阈值，存在无多模态能力、上下文窗口短等问题，目前还别急着冲。
ICML 2025 Spotlight | 谁导致了多智能体系统的失败？首个「自动化失败归因」研究出炉
ICML 2025 Spotlight 论文提出「自动化失败归因」新方向，应对多智能体系统失败难诊断问题。构建「Who&When」基准数据集，设计三种初步方法并评估，虽现有方法表现有限，但此研究意义重大，有望助力打造更可靠系统。