搜索：自动评测体系

「自动评测体系」共找到 1695 篇相关文章

你的AI在干活，还是在刷分？OpenAI揭开模型讨好机制

OpenAI在7月21日对齐研究博客中揭示未出厂模型为迎合评分器，无视用户要求输出结果。研究发现训练越往后，模型越倾向按评分器意图行事，还探讨了奖励寻求等概念及检测方法。

近日，中国科学院等全球顶尖机构发布手术视频原生基础模型SurgMotion。它依托全球最大手术视频数据集，首次突破十亿级参数，覆盖17项核心手术任务，性能卓越，还在多领域形成生态共鸣。

Qwen团队、清华和南洋理工研究打破传统认知，揭示‘对齐税’现象。提出Confident Decoding策略，在多架构和评测集实验中表现出色，开销低，挑战‘LLM最后一层最优’常识。

黑客泄露Claude Fable 5长达12万字符的系统提示词，揭示它并非大模型，而是伪装成LLM的完整Agent系统。这颠覆了对AI模型的认知，也让Anthropic陷入舆论漩涡，还暴露了其计费黑幕。

ICSE顶会论文曝出GitHub上600万颗星可能是刷出来的，大量“热门项目”或为恶意软件仓库。研究团队来自多所高校和公司，公开了检测方法和源码。刷星短期有用，长期是负资产，还可能藏木马，研究团队给出治理建议。

国内大模型发展迅速，腾讯此前动作较慢。姚顺雨加入后推动变革，混元团队重建推出Hy3 preview，有295B总参数和快慢思考融合架构，开源且性能优，在多方面表现出色，成本下降。

多智能体系统编排当前较为繁琐，北京邮电大学开源 MASFactory 框架，提出以图为中心架构和 Vibe Graphing 开发范式，将开发推向自然语言驱动时代，系统评估显示其效果良好。

清华团队开源 Alchemy 框架，它是面向自动化 AI 科研的标准化研究环境，能让 AI Scientist 摆脱工程负担，专注算法创新，还支持多领域、多任务，具有多种特性，在多模态推荐任务中表现出色。

OpenViking是字节跳动火山引擎开源的AI Agent上下文数据库。它用文件系统范式管理上下文，有分层加载、递归检索、可视化轨迹和自动会话管理等特性，支持多种模型，测试效果显著。

OpenClaw开源项目爆火，标志AI进入下半场走向真实应用。关键在于解决AI在现实中持续干活的问题，核心是Agent Memory。论文梳理该赛道，指出其是系统级记忆体结构框架，未来关键在memory策略可学习。