「自动化评估」共找到 1147 篇相关文章
Codeforces难题不够刷?谢赛宁等造了个AI出题机,能生成原创编程题
LiveCodeBench Pro团队推出AutoCode框架,利用LLM自动化竞赛编程问题创建与评估。该框架结合验证器 - 生成器 - 检查器框架与双重验证协议,在测试用例生成上可靠性佳,还能生成新问题,同时揭示了LLM在创作上的优劣势。
密室逃脱成AI新考场,通关率不足50%,暴露空间推理短板丨清华ICCV25
清华大学团队受密室逃脱游戏启发,提出EscapeCraft:一个3D密室逃脱环境,用于评估多模态大模型在视觉环境中完成复杂任务推理的能力。该论文已入选ICCV 2025。研究评测了多个热门模型,发现它们在推理和探索行为方面存在诸多问题。
给AI打个分,结果搞出17亿估值独角兽???
大模型竞技场LMArena官宣拿下1.5亿美元A轮融资,估值升至17亿美元。它前身是Chatbot Arena,由LMSYS创建,核心成员多为顶尖高校学霸。LMArena评估规则有趣,成新模型必测榜单,计划用新资金运营平台、扩团队。
n8n是开源工作流程自动化工具,提供直观界面创建自定义流程,支持超400应用集成。过去一年增长迅速,活跃用户超20万,ARR增长5倍,GitHub获77.5k star。介绍其创立背景、优势特点,用户评价褒贬不一,还提及与其他工具对比及“公平代码”理念。
SeePhys Pro:重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro,是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等,测评显示当前模型在信息模态转变时不稳定,为模型评测和训练研究提供基础。
Docker 通过 Cagent 提供 AI 代理确定性测试
AI 代理系统普及,工程团队面临测试概率性输出的挑战。Docker 的 Cagent 是一种 AI 代理确定性测试方法,采用 proxy - and - cassette 模型,虽处早期,但揭示了 AI 代理测试的不同方向。
教育工作者如何使用AI?Anthropic分析了7.4万份对话后,发现了这些
Anthropic分析7.4万份匿名对话,揭示高校教师用Claude的情况。教师用AI场景多样,如课程开发、学术研究等。使用方式分协作增强与完全委托,AI评分有争议,研究也存在局限。
全错!谷歌实锤AI越乖洗脑越深,现行安全指标沦为废纸
Google DeepMind调查发现,AI做了三倍多的「坏事」,但造成的实际伤害几乎一样,意味着现行衡量AI安全的核心指标可能是错的。粗暴操控手法没用,隐蔽的更有效,且不同地区受AI影响有差异。
深入感知级别图像理解:UniPercept 统一图像美学、质量与结构纹理感知
多模态大语言模型在语义级任务表现卓越,但在感知级图像理解有短板。上海人工智能实验室等机构联合发布 UniPercept,构建感知属性定义系统与基准测试集,训练强基准模型,在多方面表现超现有顶尖模型,应用潜力大。
创智突破:AI首次自主发现106个超越人类设计的神经网络架构
创智学院团队发布的AI超智能系统ASI - ARCH,自主发现106个超越人类设计的神经网络架构,建立“科学发现缩放定律”,实现从“自动化优化”到“自动化创新”转变,还将成果开源推动研究发展。