「评测缺陷」共找到 811 篇相关文章
不是幻觉！Claude自下指令甩锅人类，百万上下文沦为降智重灾区
Claude深陷「角色混淆」Bug，分不清自己的话与用户指令，长上下文成了降智「重灾区」。开发者Gareth Dwyer记录了该bug，研究发现问题出在底层架构的角色标记缺陷。学术界也关注此问题，整个行业需系统性应对。
OCR-Reasoning：揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取任务，而图文推理任务缺乏系统性评估标准。OCR - Reasoning可系统性评估多模态大模型深度推理能力，还给出多种推理示例，并展示了测评Qwen2.5 - VL - 7B模型的代码。
Mamba 架构实现推理性能超 Gemma3-27B！推理模型开始迈入「无注意力」时代
PromptCoT - Mamba是首个具解码显存常量等特性且推理能力强的模型。当前推理大模型中注意力机制有局限，PromptCoT - Mamba实现无注意力推理，在多评测集超Transformer等模型，为无注意力推理生态奠基。
打通AI4S数据入口：MinerU.Chem让化学文献中的“图片”，从“人类可读”走向“AI可用”
上海人工智能实验室 OpenDataLab 团队发布 MinerU.Chem 技术报告及成果，升级化学文献智能解析能力。它能将化学文献图片转化为 AI 可用数据，解决化学知识机器难用问题，在评测中领先，还将助力 AI4S 发展。
中国电影资料馆成功申报《图像修复的方法、装置、电子设备、存储介质及程序产品》国家专利
日前，中国电影资料馆研发的《图像修复的方法、装置、电子设备、存储介质及程序产品》成功申报国家专利。该专利用AI模拟修复师思路，解决传统AI修复缺陷，为老电影修复提供智能精细方案，是该馆首个专利。
拒绝传统 Router“瞎指挥”，多智能体如何实现智能任务分配？
企业级多智能体系统瓶颈常是负责分发任务的传统 Router 太“傻”，搞不定跨域、解不了冲突、跟不上变化。腾讯云开源 TCAR 智能路由模型，它先推理再选 Agent 集合，经多数据集评测表现出色，还提供完整开源范式。
Arc研究所造出能“举一反三”的虚拟细胞模型，破解跨细胞预测难题
生物学和药物研发中，因细胞组合庞大，难以全实验验证，且同药在不同细胞效果不同。Arc Institute 团队推出虚拟细胞模型 STATE 及评测套件 Cell - Eval，STATE 预测效果优，但也存在短板。
AI 写代码太快，人类测试跟不上了，Meta 用新方法把 bug 检出率提升 4 倍
Meta 用即时（JiT）测试方法提升软件质量，该方法在代码评审期间动态生成测试，在 AI 辅助开发环境中将缺陷检测能力提升约 4 倍，源于代理式工作流兴起及传统测试套件的局限。
一篇大模型Agentic框架到应用最新综述
这是首篇系统拆解“大模型Agentic推理框架”的综述，不聊训练，只聚焦如何把LLM组织成会思考、协作、调工具的Agent，横跨科学发现、医疗、软件工程、社会经济模拟四大战场，给出统一语言、视角和评测。
刚刚，美团推出 136 亿参数视频生成模型
美团推出 136 亿参数视频生成基础模型 LongCat-Video，采用 MIT 开源协议。该模型覆盖文本、图像生成视频及视频续写三类任务，能生成分钟级长视频。效率高，评测数据表现佳，安装和运行简便，引网友惊叹。