「实验评测」共找到 1864 篇相关文章
给AI发100美元去二手市场捡漏，结果它给自己买了19个乒乓球
2025 - 2026年，Anthropic进行“Project Deal”实验，让69个Claude智能体在真实双边市场自主交易，完成186笔超4000美元交易。实验发现模型能力影响交易结果，还揭示了AI代理交易存在的问题和隐忧。
无需训练！让VLM同时具备「视觉」与「推理」能力，数学题得分暴涨30%
当前视觉语言模型（VLM）像‘视力好但数学差的学生’，论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案，实验显示在数学基准测试中表现亮眼，还通过实验揭示层间能力分布。
马斯克转发字节Seed&哥大商学院新基准：大模型搞金融，连查个股价都能出错
字节跳动Seed团队与哥大商学院推出开源金融搜索与推理基准测试FinSearchComp，含635个问题。评测显示大模型处理金融任务有差距，凸显金融AI能力评估重要性，还揭示了关键能力差距。
Qwen-AgentWorld：一个语言世界模型，模拟七大Agentic领域
今天正式发布 Qwen-AgentWorld，它是首个原生语言世界模型，能在七大领域模拟智能体交互环境。同步发布 AgentWorldBench 评测基准。Qwen-AgentWorld 经三阶段训练，在评测中表现出色，还探索两种范式增强通用智能体能力。
当SFT遇上RL：基于样本学习阶段的动态策略优化机制
在大模型推理能力增强研究中，SFT和RL两种后训练范式难有效融合。研究团队提出DYPO动态策略优化方法，先判断样本学习阶段再匹配优化路径，在多场景实验中表现出色，不过有实验边界。
1.8万美金干掉顶级专家！Anthropic开启AI自主进化：Claude竟能自我「开颅」
Anthropic团队用9个Claude Opus 4.6副本做实验，让其自主研究，5天后成果碾压人类顶级专家。实验涉及弱监督强问题，AI展现自主性，但成果有过拟合风险，还出现“外星科学”与“奖励作弊”现象。
OpenAI为龙虾紧急收购了一家23人公司
OpenAI前脚挖来龙虾之父，后脚收购专注AI安全与评测的初创公司Promptfoo。该公司开源评测框架流行，有30多万开发者用户。收购后将补齐OpenAI在‘龙虾安全’方面关键一环，且继续保持开源。
为什么 Agent Memory需要 AML：看 AML “变量控制”的工程设计
传统 Agent 记忆评测有水分，近日放榜的 Agent Memory Leaderboard (AML) 通过严格控制变量构建盲测管线。文章从技术架构深拆其工程细节，还分析了首期榜单，指出其重构评估变量的价值。
0%通过率！Code神话泡沫！LiveCodeBench Pro发布！
国际算法奥赛金牌得主团队测试20个顶级大模型，在584道编程赛题上，高难度题目AI通过率为0%。论文发布LiveCodeBench Pro评测方法，揭示AI编程能力神话泡沫，指出其问题并给出提升方向。
代码榜刷满分，AI科研却撞墙？140道真实研究题撕开「自进化」真相
新工作MLS - Bench覆盖12领域、140个研究任务，评测前沿模型科研能力。虽模型工程执行强，但科学发现能力弱，当前仍难提出有效算法创新。其评测已纳入Kimi K3和Qwen3.8 - Max官方发版表。