「评测框架」共找到 2156 篇相关文章
OpenAI为龙虾紧急收购了一家23人公司
OpenAI前脚挖来龙虾之父，后脚收购专注AI安全与评测的初创公司Promptfoo。该公司开源评测框架流行，有30多万开发者用户。收购后将补齐OpenAI在‘龙虾安全’方面关键一环，且继续保持开源。
ICLR 2026｜多模态大模型真的理解情绪吗？MME-Emotion给出了系统答案
多模态大模型迅速发展，但能否理解人类情绪存疑，且缺乏系统性评测框架。香港中文大学和阿里通义实验室团队提出 MME - Emotion 评测基准，评测 20 个主流模型，发现模型情感智能不足，为后续研究提供参考。
POF | 西交大陈泽伟、陈刚等：面向可变形域非周期非定常流动的几何自适应时空深度学习框架
西交大陈泽伟、陈刚等人提出ViT - STFlowNet框架，用于可变形域非周期非定常流动预测。该框架融合自适应网格变换与ViT架构，克服传统方法局限，测试显示预测精度高、泛化能力好，为飞行器流场感知控制提供工具。
首个为具身智能而生的大规模强化学习框架RLinf！清华、北京中关村学院、无问芯穹等重磅开源
人工智能从‘感知’迈向‘行动’，具身智能成焦点。当前强化学习框架对具身智能支持受限，清华等机构联合开源面向具身智能的框架RLinf，提出混合式执行模式，设计灵活可扩展，在多方面表现出色。
竞赛编程Agent进入全球前十！南大、清华新模型CF rating超3500
大语言模型在竞赛编程场景易失败。南大、清华等研究者提出Solvita框架，由四个角色形成闭环，构建可训练图结构知识网络积累经验。实验显示其在多评测中表现强，提升不靠增加token。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
AI“压力面”，DeepSeek性能暴跌近30% | 清华&上海AI Lab
上海人工智能实验室等团队设计REST框架，在一个prompt里抛多个问题模拟多任务推理场景。测试发现即便顶级模型如DeepSeek - R1在“高压”下准确率也骤降，该框架能揭示模型差异，为评测提供新范式。
新颖的人形机器人训练框架
Robot - Trains - Robot (RTR)是新颖框架，机械臂教师支持引导人形机器人学生。它能以最少人工干预实现高效长期真实世界人形机器人训练，文中还介绍安装设置、使用指南等内容。
CVPR2025 | 多模态LLM评测Tutorial
多模态大语言模型（MLLMs）研究热门，有效评估成关注焦点。CVPR2025将举办多模态LLM评测Tutorial，梳理评估基准，探讨评估方法，聚焦‘幻觉现象’，团队经验丰富，覆盖多板块内容。
微软发布 Agent 安全框架 MAF
微软发布 Agent 安全框架 MAF，它是 AutoGen + Semantic Kernel 的统一继任者。有三层中间件，对 MCP 采样默认拒绝，还加了工具审批中间件，编排用图模型，为生产环境安全治理设计。