「系统评估」共找到 2283 篇相关文章
开启Benchmark的Harness时代：15家学术机构联合发布HarnessEval
8月13日，DeepSeek开源Agent Harness dsh引发行业对“Harness”的关注。近日，MirroS联合多机构发布HarnessEval，将其概念引入评测系统。它使评测从Metric到Harness，形成可执行评测系统，已落地于交互式世界模型。
8.5K星 Agent 记忆准确率 94.6%，RAG那套被打穿了
AI Agent常没记忆，每次对话像白纸。Hindsight（vectorize-io/hindsight）有8500+ star，是仿生记忆系统，分三层记忆，检索系统TEMPR四路并发，在测试中成绩优异，且上手简单，能让Agent从经验学习。
Tair 短期记忆架构实践：淘宝闪购 AI Agent 的秒级响应记忆系统
本文从淘宝闪购与千问合作的‘一句话点外卖’项目出发，介绍 Tair 在 AI Agent 记忆管理中的数据模型设计、压缩策略与并发控制等关键实践，展示其在低延迟、数据建模、并发安全和弹性抗压等方面的能力。
ACL'25 | CIGEval：一种基于多模态大模型的可控生图评测智能体
阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。
造火箭的辞职去放牛，彼得·蒂尔花20亿美元押注一个AI牛项圈
彼得・蒂尔领投20亿美元融资给Halter公司的AI牛项圈。项圈能追踪牛的多项数据，有虚拟围栏功能。此外，何同学为粉丝做找牛系统，日本团队开发分析鸡情绪的AI系统。
揭秘与评测 30K+ Star 的 Graphify：企业存量系统 AI 编码的"第二大脑"。
文章揭秘评测 30K+ Star 的 Graphify，它能将分散材料转为结构化知识图谱，助 AI 编程助手理解代码。介绍其使用方法、原理，经测试它能提升综合质量、降低探索成本，不过并非万能解药。
从科学论文自动生成视频
该项目解决学术演示两核心问题，用智能体PaperTalker生成视频，还设Paper2Video基准评估。介绍了PaperTalker使用步骤，含环境、配置、推理，也说明了Paper2Video评估指标及运行方法。
Fable 5榜单第一靠作弊？代码泄露，模型真实身份曝光
黑客泄露Claude Fable 5长达12万字符的系统提示词，揭示它并非大模型，而是伪装成LLM的完整Agent系统。这颠覆了对AI模型的认知，也让Anthropic陷入舆论漩涡，还暴露了其计费黑幕。
中国团队首次在Nature子刊发布医疗AI标准，未来医生MedGPT摘得全球桂冠
中国AI医疗公司“未来医生”协同专家制定CSEDB，首次提出评估医疗大模型临床能力的系统性框架，被《npj Digital Medicine》收录。在其评估下，未来医生的MedGPT在主流大模型中夺冠。
90% 应用已完成迁移！LinkedIn 宣布砍掉 Kafka，全面切换自研消息系统 Northguard！
领英宣布用自研消息系统 Northguard 取代 Kafka，还有虚拟化 Pub/Sub 层 Xinfra。Northguard 规模更大、架构优，Xinfra 能实现无缝迁移。超 90% 应用已完成迁移，领英还在考虑开源。