「自动化评估」共找到 1147 篇相关文章
从答题到做实验：SciAgentGym让大模型进入科学工作流
复旦大学NLP实验室提出SciAgentGym，为科学智能体搭建工作流环境，还设计了评测集SciAgentBench。实验显示模型接入工具能提升成功率，但长流程任务性能下降。论文还提出SciForge构建训练数据，提升了模型表现。
让思考更准更长！强化学习新算法FIPO来了
阿里通义实验室Qwen Pilot团队发布系列博客剖析大模型强化学习机制与局限，推出新算法FIPO。该算法引入Future - KL机制，解决‘推理长度停滞’问题，在多项测试表现优异，还介绍招聘信息。
龙虾也能养龙虾！UCSD发布AIBuildAI智能体，MLE-Bench榜单第一
加州大学圣地亚哥分校团队推出AIBuildAI智能体，用户用自然语言描述任务，它就能自动完成AI模型开发。在OpenAI MLE - Bench测试中，其以63.1%获奖率居首，性能媲美人类专家。
The Batch：924｜GPT-5.4：性能更高，价格也更高
OpenAI更新旗舰模型GPT-5.4，有Thinking和Pro两个版本，扩展工具使用能力，多基准测试达当前先进水平，但定价高。虽在部分任务表现超Claude，挑战Gemini地位，不过成本也更高。
Karpathy刚刚敲响警钟：大模型的“终极之战”打响！Agent大军即将全面接管研发
Andrej Karpathy发布新项目autoresearch，人改提示词，AI改训练代码。经约2天微调，找到约20个降低验证损失的修改，提升排行榜成绩。Agent还发现多项重要改进点，未来前沿LLM实验室或走此路。
迎接「万物皆可RAG」时代：最新综述展示50多种多模态组合的巨大待探索空间
大模型常采用RAG技术，多模态崛起使RAG向MM - RAG发展。目前MM - RAG研究初级，华中科技大学等研究者发布综述，覆盖所有模态组合，剖析工作流，提供构建系统的一站式指南。
谷歌发布首个AI+教育RCT实验，传统教材要凉？
谷歌论文提出Learn Your Way AI增强型教科书系统，有两阶段AI生成框架，构建完整学习体验。经专家评审和RCT证明，使用该系统的学生学习效果和体验更好，还介绍了其可用场景。
全新唇同步技术OmniSync，遮挡，侧脸不在话下
唇同步对创建逼真视频内容很重要，但现有方法在身份一致、姿势变化等方面有局限。中国人大携手快手提出OmniSync，引入无需掩膜的训练范式，保证身份和姿态一致，能适应复杂场景，还建立AIGC - LipSync基准。
最强编码模型Claude 4来了！Mcp集成无需Client，扩展提示缓存增强Agent长上下文保持能力
Anthropic 昨日推出新一代 Claude 模型，包括 Claude Opus 4 和 Claude Sonnet 4，在编码、高级推理和 AI Agent 方面树立新标准，有卓越编码能力、显著提升的 Agent 能力、全新 API 功能，Claude Code 也全面上市。
对谈openai首席产品，AI时代的产品思路。
知名播客主理人Lenny对OpenAI CPO Kevin Weil进行访谈，分享了OpenAI内部的产品哲学，包括Model Maximalism、Iterative Deployment、Evals等方法论，还谈及AI技术演进、未来机遇等思考，鼓励培养核心能力应对AI变革。