「评估范式」共找到 1649 篇相关文章
跨越技术与法律的壁垒：AI赋能知识产权领域任务全能评测基准IPBench发布
本推文介绍arXiv论文《IPBench: Benchmarking the Knowledge of Large Language Models in Intellectual Property》。论文提出IPBench评估基准，构建含20个任务、10374个双语数据点的基准，评估17个主流模型，揭示现有模型在IP任务中局限。
全国首部AI智能体应用评估标准，现公开征集起草单位和个人
2025年成AI智能体元年，国务院提出目标，市场规模爆发增长。但企业部署面临“效能黑箱”，智合标准中心发起《企业级AI智能体应用效能评估规范》团体标准起草，现公开征集起草单位和个人。
AI 原生设备爆发，操作系统迎来更智慧、更流畅、更安全的范式革命
AI原生设备爆发，传统操作系统面临挑战，将迎来范式革命。vivo蓝河操作系统3（BlueOS 3）全栈自研，具备“天生更智慧、更流畅、更安全”特质，本文以此为例解读操作系统架构重塑。
生成式推荐！推荐系统新范式还是新噱头？【文末抽现金红包】
文章探讨生成式推荐是新范式还是噱头。分析其与判别式推荐区别、效果收益来源，结合Meta GR、快手OneRec实例，指出其有提升但非万能，不同团队应按需选择，还提及可能带来架构革新。
Vision-Zero：零数据VLM自我进化！陈怡然团队提出零监督训练新范式
陈怡然团队提出零监督训练新范式Vision-Zero，在多模态任务表现突出。它借鉴自博弈技术，设计自博弈框架，解决数据稀缺和知识天花板问题，还缓解跨能力负迁移，开源代码与模型可供研究。
北航LiveRepoReflection: 扭转乾坤-仓库级代码反射
本文提出LiveRepoReflection基准，评估多文件仓库代码理解和生成能力，含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder，评估40多个LLMs，结果显示其能有效测模型反思修复能力。
解决Agent幻觉：HaluMem精准定位记忆系统的“说谎”环节！
近年来，LLM和Agent在记忆管理上存在挑战，现有评估方法无法定位幻觉来源。论文提出HaluMem评估基准，通过三大任务和两个数据集揭示记忆系统幻觉行为，为开发可靠记忆机制提供指导。
ACL'25 | CIGEval：一种基于多模态大模型的可控生图评测智能体
阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。
从性能到实战，怎样才算是靠谱的 Agent 产品？
红杉中国团队提出AI基准测试工具Xbench，其双轨测评体系不再单纯执着于测评问题难度，重点量化AI系统在真实场景的效用价值，还构建长青评估机制，以确保评估结果的时效性和相关性。
从科学论文自动生成视频
该项目解决学术演示两核心问题，用智能体PaperTalker生成视频，还设Paper2Video基准评估。介绍了PaperTalker使用步骤，含环境、配置、推理，也说明了Paper2Video评估指标及运行方法。