「真机评测」共找到 1063 篇相关文章
说一个反常识的真相,Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性,以阿里国际站RealReplicaBench评测集为例,介绍电商场景任务,发现多数模型成功率低,其他领域类似,呼吁厂商努力,作者也计划自跑评测更新排名。
OpenAI谈:大模型为什么会有幻觉?如何避免?
OpenAI论文探讨大模型幻觉问题,指出评测缺陷,像多数AI模型评测非对即错,模型为得分会瞎猜。还从预训练和后训练阶段剖析根源,提议改造评测,引入置信度阈值和错误惩罚机制。
光刻机巨头ASML,108亿控股了一家大模型公司
光刻机巨头ASML领投法国AI明星公司Mistral AI的C轮融资,砸13亿欧元成第一大股东,推高其估值至100亿欧元。Mistral开源与商业化并行,ASML投资或提升光刻机效能。
开启Benchmark的Harness时代:15家学术机构联合发布HarnessEval
8月13日,DeepSeek开源Agent Harness dsh引发行业对“Harness”的关注。近日,MirroS联合多机构发布HarnessEval,将其概念引入评测系统。它使评测从Metric到Harness,形成可执行评测系统,已落地于交互式世界模型。
AAAI 2026|视频大语言模型到底可不可信?23款主流模型全面测评来了
合肥工业大学与清华大学团队推出视频大语言模型综合可信度评测基准 Trust-videoLLMs,对 23 款模型从五维度 30 项任务评测,揭示性能格局,指出模型现存问题,还开源评测框架等。
Auto-Research「终极大考」:新基准撕下大模型科研伪装
来自多所高校的研究者提出MLS - Bench,用于解决现有Auto - Research评测的归因问题。它含140个真实研究任务,校准受控修改范围,主实验显示当前模型在方法发现上有明显缺口,Auto - Research需更严格评测标准。
在「想象」中练就真机能力:RISE,让VLA强化学习告别真机试错
香港大学李弘扬老师团队提出 RISE 框架,通过组合式世界模型让机器人在虚拟空间强化学习,解决传统 VLA 模型落地难题,在长程任务中性能提升显著,重新定义智能体理解世界的方式。
存储大厂疯抢EUV光刻机
4月15日,光刻机巨头ASML发布2026年第一季度财报,虽受季节性等因素影响营收环比回落,但仍超预期。受AI基建投资热潮提振,其股价飙升,还回馈股东。存储客户订单大增,不过仍受出口管制困扰。
真香!我用AI做PPT的血泪史:从“能用”到“真香”,V3版到底解决了什么?
作者因公开分享需做PPT,尝试多种AI PPT工具后,自己围绕Agent攒了一个。从V1到V3版不断改进,V3用多Agent提示词用法,风格多样且规则减少,还给出3步制作PPT的方法及后续功能拓展想法。
Cursor 的困境:它真的找到 PMF 了吗?
知名投资人 Chris Paik 探讨 Cursor 困境,指出其依赖的‘无限使用’订阅模式易致成本与收入失衡。分析了商业模式与产品匹配的重要性,认为补贴非商业模式,Cursor 需明确用户需求本质。