「评测环境」共找到 1069 篇相关文章
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
人大高瓴-华为诺亚：大语言模型智能体记忆机制的系列研究
中国人民大学高瓴人工智能学院与华为诺亚方舟实验室聚焦大语言模型智能体记忆能力，形成含综述论文、数据集和工具包的研究体系。探讨记忆概念、重要性、实现与评测方法，还构建评测榜单、实现工具包。
AI最尴尬的短板，中国科学院出手了
7月24日，中科院计算所“知境”团队发布知境社会心智大模型技术体系，为现有大模型补社会心智短板。其建评测体系SoMBench，设计训练系统Zing，用部署架构Actio，在多评测超越GPT - 5.5等，应用前景广。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
Agentic Enterprise：生成式软件重新定义企业形态｜AGIX PM Notes
文章指出软件正从静态代码集合变为“Living Software”，企业是其理想训练环境。还提及市场资金流向、多起企业投资合作事件，如英伟达投资英特尔、OpenAI租服务器等，最后介绍了ETF流动性相关知识。
在边缘应用中，实现 Kubernetes 的主动扩缩容
Kubernetes已成为现代IT核心平台，在云环境应用广泛。但在边缘计算场景，其HPA功能有局限。文章介绍基于CPA构建自定义扩缩器，详述其评估算法、实现方式，经测试CPA比HPA表现更优，适合边缘环境。
性能逼近闭源最强，通义实验室开源Mobile-Agent-v3刷新10项GUI基准SOTA
通义实验室开源 Mobile-Agent-v3，覆盖多平台，7B 超同类开源，32B 挑战闭源强手。它有基于云环境的全链路开源方案、全栈 GUI 能力构建和可扩展环境强化学习体系，降低部署开销。
智元首发SOP系统：打破离线训练瓶颈，让具身智能在“干中学”
2025年VLA让机器人有通用性，但真实部署存问题。智元机器人具身研究中心提出SOP在线后训练系统，融合在线学习等，使机器人在真实环境持续进化，实验显示其能提升性能、效率，突破VLA瓶颈。
马斯克转发字节Seed&哥大商学院新基准：大模型搞金融，连查个股价都能出错
字节跳动Seed团队与哥大商学院推出开源金融搜索与推理基准测试FinSearchComp，含635个问题。评测显示大模型处理金融任务有差距，凸显金融AI能力评估重要性，还揭示了关键能力差距。
OpenAI为龙虾紧急收购了一家23人公司
OpenAI前脚挖来龙虾之父，后脚收购专注AI安全与评测的初创公司Promptfoo。该公司开源评测框架流行，有30多万开发者用户。收购后将补齐OpenAI在‘龙虾安全’方面关键一环，且继续保持开源。