「自动化评估工具」共找到 2880 篇相关文章
谷歌AlphaGenome横空出世！40亿年生命代码一键破解，或再夺诺奖
谷歌DeepMind发布AlphaGenome，可一次读取100万个DNA碱基，预测基因突变。它以长DNA序列为输入，预测数千种分子特性，克服了现有模型在序列长度和分辨率间的取舍问题，有望推动生物学研究和新疗法诞生。
半天16.5k Star，谷歌AI Agent强势开源，AI编程变天了！
Google推出轻量级且功能强大的开源AI Agent——Gemini CLI，能将Gemini带入用户终端，可利用Gemini 2.5 Pro编写代码等，半天获16.5k Star，还具备多种强大功能。
RL救不了泛化性！揭示LLM数学Reasoning的深层瓶颈
大型语言模型在数学竞赛级任务依赖机械化推理，现有评测集有缺陷。UC Berkeley团队提出OMEGA基准量化其数学泛化能力，实验揭示复杂度引发性能崩塌等问题，指出LLM创新组合难，给出改进方向。
刚刚，OpenAI最强推理模型o3-pro诞生！碾压Gemini 2.5 Pro击穿底价
OpenAI昨夜官宣上线最强推理模型o3 - pro，还将o3价格暴降80%。o3 - pro专为深度思考和提供超可靠答案而生，在多项测试中表现优异，虽有速度慢等限制，但优势明显，网友实测效果惊艳。
直播预约 | Evaluation论文分享@ICML&ACL2025
2025年6月11日20:00将直播分享Evaluation论文。多位嘉宾参与，涉及SyncPL奖励建模、文本事实一致性验证、大模型评测方法等多领域论文，涵盖模型优化、基准测试等内容。
阿里智能体多轮推理超越GPT-4o，开源模型也能做Deep Research
通义实验室推出自主信息检索智能体WebDancer，其通过系统化训练范式为构建智能体提供路径，也为在开源模型上复现Deep Research系统提供指导。它在多数据集测试中表现出色，团队还对其未来应用做了展望。
AI时代UI已死？Karpathy称产品要给AI开后门，还分享了自己的AI编程心法
Andrej Karpathy指出，只有复杂UI、无脚本支持、基于不透明二进制格式的软件产品，在AI时代会被淘汰。他给出风险评估清单，还分享AI编程心法，探讨编程中‘验证鸿沟’问题。
卷疯了！2.2k Star通用型、开源Agent平替Manus、GenSpark AI
2025 年是 Agent 之年，文中介绍了 Manus、GenSpark AI 两款闭源代理，还重点阐述开源的 II - Agent，它功能丰富，架构设计合理，在 GAIA 基准测试评估，性能可平替前两者。
建模世界偏好：偏好建模中的Scaling Laws
研究首次揭示人类偏好建模遵循Scaling Law，从论坛收集数据在Qwen 2.5模型训练，发现测试损失随训练规模指数增长线性下降。提出建模世界偏好，论文和模型已开源，还探讨了偏好建模可扩展性等问题。
北大校友、OpenAI前安全副总裁Lilian Weng关于模型的新思考：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算研究进展，探讨激励模型思考方式，介绍思维链、并行采样、序列修订等策略，还提及强化学习、外部工具使用及未来研究方向。