「自动评测体系」共找到 1695 篇相关文章
MLLM集体翻车，缺乏婴儿级常识！业界首个核心认知基准发布，LeCun转赞
当前大模型在12项核心认知上普遍落后人类10 - 30%，越大的模型越易靠「背答案」糊弄。团队公开首个系统评测框架和题库，用Concept Hacking方法识破模型真假理解，指出模型存在核心知识缺失等问题。
MSRA首测AI从零建仓库：能写、能跑，但不一定对丨ACL'26
微软亚洲研究院工作RepoGenesis被ACL 2026高分录用，它是面向多语言、仓库级、端到端Web微服务生成的基准。输入贴近实际，用多维度评测开源Agent和商业IDE，还拓展模型微调。但也有边界，未模拟真实复杂需求。
大模型开网店，谁是经营高手？E-Commerce Bench开源揭秘
为评估模型长程经营能力，联合淘天集团发布E-Commerce Bench，以10万本金、365天经营网店来评测。从多维度评估18个模型，结果差异大，还发现单一指标会掩盖模型表现，评估基准潜力大。
AI Coding 之后，如何让 Agent 进入企业研发全链路？得物推荐的 Harness 实践
得物资深技术专家白忠魏在AICon大会分享实践。团队目标是将AI Coding扩展为全链路方法，介绍了PDCA循环、全链路前提、七阶段护栏等探索，还提及用知识体系和混合Agent架构解决问题，已有阶段性成果。
突破具身智能任务规划边界，刷新具身大脑多榜单SOTA，中兴EmbodiedBrain模型让具身大脑学会「复杂规划」
当前主流大语言模型在具身任务场景面临瓶颈，中兴星云大脑团队推出具身视觉 - 语言基础模型 EmbodiedBrain，构建全流程创新框架，在架构、数据训练、评估体系等方面有突破，还将开源成果推动生态发展。
OpenAI发布GPT-5.1 Codex Max，编程能力比Gemini 3更强、更持久
为换回注意力，OpenAI紧急发布GPT - 5.1 Codex Max。它在编程测试中表现优于Gemini 3 Pro，还实现24小时项目级开发。引入自动压缩与扩展推理改进，效率提升，现已多途径可用，API访问将开放。
北大字节开源首个时空推理视频模型！思考过程全透明，性能超越GPT-4o
北大和字节联合团队推出开源模型Open-o3 Video，将显式时空证据嵌入视频推理全过程，采用non-agent架构，性能超越GPT - 4o等闭源模型。该模型构建了STGR语料体系，采用双阶段训练，实验表现优秀。
Code2Video：全新AI教学视频生成框架，助力高质量教学
生成式模型在生成专业教育视频时受限，新加坡国立大学Show Lab提出Code2Video框架，以代码为中心，由三个协作智能体组成，能通过Python代码自动生成高质量教育视频，代码驱动生成优势明显。
一个Markdown就是一名员工！YC CEO给年轻人的忠告：现在一个人能顶400人，大厂中层最该被AI替换
YC总裁Garry Tan在深度对谈中表示，传统SaaS模式或失效，个人开发者效能因AI提升。他强调创业别追热点，应关注兴趣与独特知识，还指出大公司中层官僚体系未来可用Agents替代。
刚刚，杨植麟亲自开源Kimi K2.5！国产大模型打架的一天
今天国产大模型热闹非凡，Kimi更新至K2.5版本。它是万亿参数的MoE基础模型，开源且在多项评测表现佳，视觉与编码能力强，还引入Agent Swarm功能，实测展示其解决各类复杂任务能力。