「自动评测体系」共找到 1694 篇相关文章
南大团队直击大模型高分神话：人类90分，最强模型仅49分
南京大学傅朝友团队在Google Gemini评测团队邀约下推出视频理解新基准Video - MME - v2。它有创新的分层能力体系与组级非线性评分，经超3300人工时标注。评测显示模型与人类差距大，还揭示传统Acc指标虚高、‘Thinking’并非总增益等现象。
首篇自进化智能体系统技术报告出炉：Token成本直降近10倍，省钱又高效！
全球首个基于‘上下文信息密度最大化’的自进化智能体系统GA发布技术报告。它在多基准测试表现惊艳，能省近10倍Token，还能自我进化。报告深度解读设计理念，剖析自进化能力与智能体设计思路。
基于大模型（LLM）的自选股智能分析系统，让AI帮你盯盘，每天自动推送分析报告
daily_stock_analysis是基于LLM的自选股智能分析系统，免费零成本运行，获6.3万Star。它多市场覆盖、聚合多源数据，自动生成决策报告并推送。有零成本运行等五大亮点，还给出上手步骤、适合人群。
不止Deep，更要Wide：清华、无问芯穹发布多智能体系统WideSeek-R1，4B模型比肩671B模型！
清华与无问芯穹的RLinf团队提出「广度扩展」，发布多智能体系统WideSeek-R1。它采用「Lead-agent-Subagent」框架，经MARL端到端训练，4B模型在广度搜索任务表现比肩671B模型，且在标准QA任务也出色。
SOTA大模型遇上加密数据评测：Qwen3未破10%，o1也栽了丨上海AI Lab等联合研究
当前推理模型在基准测试中性能卓越，但在密码学领域推理能力待探索。上海AI Lab等推出CipherBank评测，用海量真实隐私场景数据和多类型密码算法挑战SOTA大模型，结果显示模型表现不佳，还分析了模型“犯难”原因。
SIGIR 2025 | 视频检索新范式！北邮、北大等联合提出AV-NAS：首个音视频哈希搜索架构，让Mamba与Transformer自动“组队”
北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。
你的 Harness 工作流真的在进步吗？我们用一场考试撕掉了遮羞布
文章指出Harness工作流常靠‘主观vibes’驱动，缺乏有效评价体系。为此推出Harness Eval评测系统，包含出题、答题、改卷等环节，形成闭环，帮助工作流持续改进，还能提升整体通过率。
openJiuwen社区开源新招：重磅发布JiuwenSwarm，拉开群体智能“养蜂”序幕
openJiuwen社区开源蜂群智能体JiuwenSwarm，落地Coordination Engineering范式。它有全栈技术体系，支持人以HOTS和HITS模式参与协同，实战效果佳，且在评测中表现亮眼，全套能力开源。
AI如何看懂足球？上海交大团队打造Multi-Agent系统，全面解析“美丽足球”！
现有足球AI研究存在不足，上海交大团队打造Multi - Agent系统。他们构建SoccerWiki知识库、SoccerBench评测基准和SoccerAgent多智能体系统，该系统多工具协作，实验中碾压GPT - 4，数据和代码将开源。
VQA高分是在看图，还是在记答案？ReKey只更新决定答案的那一小块
视觉问答模型准确率提升，但高分可能源于记忆。浙江大学等团队提出 ReKey，保留真实场景，只更新决定答案的视觉线索，使评测面向未见过内容，且多数环节可自动完成。