搜索：动态评估 - AI Reading Hub

「动态评估」共找到 1059 篇相关文章

Karpathy刚开源的autoresearch，我拿来优化龙虾skill，成功率从56%飙到92%

Karpathy发布开源项目autoresearch，可让AI优化AI。作者分享用其优化skill的实践，介绍优化流程，指出可将模糊表述拆成可判断是非题，还提及定义评估标准的方法与常见错误修正。此外，还能用于代码性能优化。

视觉 - 语言模型在具身环境中表现有局限，港大推出 EmbRACE - 3K 数据集应对。它含 3000 多个任务、2.6 万个决策步骤，有细致多模态注释。团队用其微调 Qwen2.5 - VL - 7B 模型，还建立新基准评估多个模型。

文章以租赁导购助理“小不懂”为例，介绍Tool Use训练数据合成方案。先分析训练数据的目标与难点，提出动态多智能体对话生成框架，阐述多轮数据、复杂问题合成及过滤方案，展示数据和模型效果，还提及未来工作方向。

清华大学团队受密室逃脱游戏启发，提出EscapeCraft：一个3D密室逃脱环境，用于评估多模态大模型在视觉环境中完成复杂任务推理的能力。该论文已入选ICCV 2025。研究评测了多个热门模型，发现它们在推理和探索行为方面存在诸多问题。

2026年2月底GitHub上claude - seo仓库有3500 star，五个月后达12.3K star。该项目作者一人开发，能给站点做SEO审计。它把判断层抽出开源，审计后可直接改代码。不过也有动态渲染弱等问题。

大模型竞技场LMArena官宣拿下1.5亿美元A轮融资，估值升至17亿美元。它前身是Chatbot Arena，由LMSYS创建，核心成员多为顶尖高校学霸。LMArena评估规则有趣，成新模型必测榜单，计划用新资金运营平台、扩团队。

来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。

AI 代理系统普及，工程团队面临测试概率性输出的挑战。Docker 的 Cagent 是一种 AI 代理确定性测试方法，采用 proxy - and - cassette 模型，虽处早期，但揭示了 AI 代理测试的不同方向。

来自清华AIR与UC Berkeley BAIR的团队提出全球首个连续时间具身世界模型ODEWorld。它学习世界在每个时刻的变化方向与速度，能任意帧率自由生成，统一了离散模型分散的生成能力。

Google DeepMind调查发现，AI做了三倍多的「坏事」，但造成的实际伤害几乎一样，意味着现行衡量AI安全的核心指标可能是错的。粗暴操控手法没用，隐蔽的更有效，且不同地区受AI影响有差异。