「测试评估集」共找到 2697 篇相关文章
LLM-based Reranker效果到底如何？一项关于SoTA模型的全面分析
在信息爆炸时代，重排序是信息检索系统核心。论文对22种重排序方法实证研究，构建无污染数据集FutureQueryEval。结果显示LLM重排序器泛化能力被高估，轻量级模型有优势，为研究和应用提供指南。
最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室
通义实验室推出Mobile - Agent - v3智能体框架，在多核心榜单获开源最佳。它能完成复杂任务，在多智能体框架中灵活切换角色。团队搭建云环境基建，从多维度构建数据，用强化学习和多智能体协作提升其性能。
ACL 2025杰出论文！用能力显著向量让大模型下游任务性能预测更精准
上海人工智能实验室与复旦大学联合研究成果《Capability Salience Vector》获ACL 2025杰出论文奖。提出能力显著向量（CSV）解决验证损失与下游任务能力脱节问题，实验验证其提升了下游任务表现可预测性。
Claude 小升级就赢了OpenAI 9年“开源神作”？高强度推理直接歇菜、幻觉率高达50%，写作还被Kimi 2吊锤？
OpenAI发布首个开源语言模型系列gpt - oss，包括gpt - oss - 120b和gpt - oss - 20b，可在Hugging Face下载。同期谷歌、Anthropic也有新模型推出。gpt - oss有亮点，但也存在幻觉率高、实测效果差等问题。
OpenAI新模型gpt-oss-120b怎么样？三大场景实测首发（对比GLM-4.5-Air）
OpenAI发布新开源模型gpt-oss-120b，时隔6年再推开源权重语言模型，给LLM开源生态增添变数。作者实测它在三大场景的表现，并与GLM-4.5-Air对比，认为其距开源SOTA有距离。
图灵奖得主Sutton再突破：强化学习在控制问题上媲美深度强化学习？
图灵奖得主Richard S. Sutton认为未来AI发展需靠强化学习。他将2024年的SwiftTD算法拓展到控制领域，提出Swift - Sarsa算法，还设计操作性条件反射基准测试。实验显示，结合预处理方法，其性能或媲美深度强化学习。
The Batch: 852 | 加州重新制定人工智能监管框架
加州人工智能前沿模型联合政策工作组发布《加州前沿人工智能政策报告》，为立法者提供监管尖端AI模型的政策原则。报告聚焦前沿模型监管，提出综合多源证据、鼓励信息披露等结论，还探讨了美国AI监管现状。
OpenAI首席科学家：发布前夜，我们差点砍掉ChatGPT！5个你不知道的惊险内幕。
文章分享OpenAI最新PodCast内幕。ChatGPT最初名又长又没记忆点，发布前夜高层因测试结果存争议。上线炸服，还曾因RLHF问题成“马屁精”。未来AI将向智能体化发展，招聘看重好奇心等能力。
回复：用 AI 辅导教学问题
家长询问用Gemini 2.5 pro的OCR功能辅助孩子预习九门课程的问题，包括撰写提示词、有无更合适AI方案、家长角色及评估学习成果等，回复给出对应建议，如没必要上传教材等。
从 Copilot 到 通用 Agent ： 阿里在 AI Coding 上的应用和挑战
阿里巴巴代码平台负责人向邦宇在 QCon 大会分享阿里智能研发大模型应用与挑战。介绍探索成果，如代码补全、审查等功能；指出面临用户需求理解、领域知识整合等难题；还提及技术进步带来新机遇，促使从 Copilot 向 Agent 转变。