「评测机制」共找到 1466 篇相关文章
兼顾效率、成本与能力,百灵开源旗舰推理模型 Ring-2.6-1T
5月15日,蚂蚁百灵开源旗舰级推理模型Ring-2.6-1T,权重文件上线Hugging Face、ModelScope平台。该模型有万亿参数,‘按需思考’,在代理执行、推理机制、训练范式三方面升级,评测表现出色。
给 Agent Skills 装上眼睛:MMSkills 用多模态技能包教会智能体看状态、做决策
上海交通大学和小红书团队推出面向通用视觉 Agent 的多模态技能框架 MMSkills,将可复用技能扩展为多模态程序性知识,通过 branch loading 调用视觉证据,在 GUI 与游戏任务评测中表现出色。
18个月,中国Token消化狂飙300倍!别乱烧钱了,清华系AI Infra帮你腰斩API成本
中国大模型API服务碎片化、“黑盒”问题严重,成本高。清程极智1月29日发布AI Ping,类似“中国版OpenRouter + Artificial Analysis”,可评测、路由大模型,帮开发者降低成本、提升效率,还能重塑服务市场秩序。
彻底戳穿AI「失忆症」!超越OpenAI全局记忆,中国队开源LLM记忆操作系统
大语言模型有「记忆」缺失问题,国内顶尖团队打造出操作系统级AI记忆框架MemOS并开源且可商用。它将「记忆」升为「一级资源」,用MemCube封装记忆,评测显示性能优于OpenAI全局记忆方案。
CL-Bench的故事没有结束,生成式CL-Bench:GENIUS来了
北大团队发布GENIUS,用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集,测试模型多方面能力。实验显示当前模型流体智力有短板,还提出免训练注意力校准机制提升性能。
GAIR Paper 107|高校联合腾讯发布 GameCraft-Bench:AI已能端到端开发游戏,Claude Opus 四成达到可玩水平
香港中文大学(深圳)等高校联合腾讯发布 GameCraft-Bench,旨在构建基于真实游戏引擎、产物完整可运行且能验证的 AI 游戏生成评测基准,解决现有基准难衡量端到端可玩性的问题,测试显示前沿模型在游戏生成上仍薄弱。
千问AI Arena上线:给Agent一个真实的战场
8月12日,阿里千问AI平台上线‘千问AI Arena’,这是面向AI Agent的挑战与评测平台。它从真实业务产生任务,征集解决实际问题的Agent方案。首个任务聚焦跨境电商,有丰富奖励和评审机制。
首发 | 陈天桥盛大团队,推出最强开源记忆系统EverMemOS
EverMind团队发布面向人工智能智能体的长期记忆操作系统EverMemOS。它在主流评测集表现超此前工作成新SOTA,受人类大脑记忆机制启发设计,有四层架构和三大特点,已开源,后续将推云服务。
VL-LN Bench:模拟「边走边问找具体目标」的真实导航场景
上海人工智能实验室等研究者完成VL - LN Bench,模拟真实导航场景。它构建自动化数据收集管线,依托InternVLA - N1训练评测。结果显示主动对话可提升表现,但当前方法在实例感知对齐等环节有短板。
DeepSeek-V3.2正式版发布,将开源模型的能力推向极致
DeepSeek-V3.2正式版开源,包含标准版和Special版。它采用稀疏注意力机制,降低计算复杂度。后训练阶段有多项算法改进,支撑高难度推理。还融合思考与工具使用,合成训练数据,在智能体评测表现优异。