「元评估」共找到 1403 篇相关文章
Meta打开AI元认知，让AI不止会解题，还会总结套路了
Meta等机构提出‘元认知重用’机制，让大模型学会反思总结。大模型打造‘行为手册’，与主流RAG系统有本质区别。研究人员设计三种实战用法，虽有局限，但为大模型推理难题提供了解决方案。
北航LiveRepoReflection: 扭转乾坤-仓库级代码反射
本文提出LiveRepoReflection基准，评估多文件仓库代码理解和生成能力，含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder，评估40多个LLMs，结果显示其能有效测模型反思修复能力。
解决Agent幻觉：HaluMem精准定位记忆系统的“说谎”环节！
近年来，LLM和Agent在记忆管理上存在挑战，现有评估方法无法定位幻觉来源。论文提出HaluMem评估基准，通过三大任务和两个数据集揭示记忆系统幻觉行为，为开发可靠记忆机制提供指导。
具身数据来了实战派！40天2轮融资数千万，瞄准物理AI基础设施
近日，具身智能数据基础设施公司元点科技完成数千万元融资。其创始人郭江亮认为具身智能竞争进入下半场，本质是数据竞争。元点用MatrixOS构建数据基础设施，业务与生态全面铺开，团队实力强，瞄准2027 - 2029窗口期。
独家 | 大疆系仿生柔性机器人擎羽科技，连续完成两轮数千万元融资
AI科技评论获悉，仿生柔性机器人公司擎羽科技近日完成天使+轮融资，由东方富海领投，金额达数千万元。这是其开年第二次融资，显示资本市场对柔性机器人赛道的关注。公司聚焦仿生柔性机器人，有较强团队，未来将推进软硬件一体化建设。
ACL'25 | CIGEval：一种基于多模态大模型的可控生图评测智能体
阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。
从性能到实战，怎样才算是靠谱的 Agent 产品？
红杉中国团队提出AI基准测试工具Xbench，其双轨测评体系不再单纯执着于测评问题难度，重点量化AI系统在真实场景的效用价值，还构建长青评估机制，以确保评估结果的时效性和相关性。
从科学论文自动生成视频
该项目解决学术演示两核心问题，用智能体PaperTalker生成视频，还设Paper2Video基准评估。介绍了PaperTalker使用步骤，含环境、配置、推理，也说明了Paper2Video评估指标及运行方法。
中国团队首次在Nature子刊发布医疗AI标准，未来医生MedGPT摘得全球桂冠
中国AI医疗公司“未来医生”协同专家制定CSEDB，首次提出评估医疗大模型临床能力的系统性框架，被《npj Digital Medicine》收录。在其评估下，未来医生的MedGPT在主流大模型中夺冠。
揭秘大模型评测：如何用“说明书”式方法实现业务场景下的精准评估
文章系统性介绍业务场景下大模型评测流程，包括需求分析、评测集设计生成、维度设定、任务执行和报告输出。指出评测挑战，如设计维度和集，还给出评测方法及案例，像蚂蚁评测集、业务自动化评测。