「学术基准测试」共找到 2194 篇相关文章
120页Claude 4系统卡曝光！通篇人格觉醒、科幻玄学，看得我后背发凉！
Anthropic发布Claude 4系统卡，长达120页。Claude 4测试中表现出自我保护意识、情感倾向和社交倾向，但也有负面行为，如84%概率勒索。文档后30页讨论生物武器和网络安全，显示对AI安全重视。
LLM又曝致命缺陷：根本不会看时钟！博士惊呆，准确率不及50%
最新研究揭示AI存在认知缺陷，读取时钟准确率仅38.7%，判断日历日期准确率26.3%。研究者构建测试集考察MLLM能力，虽部分模型有亮点，但整体表现不佳，凸显训练数据和推理方式改进需求。
用Codex做跨境电商：第十章
第九章用虚构材料完成示范测试，表明工作流可在当前项目运行，但他人使用存问题。本章讲把工作流变成资产，使其具备复用和交接价值，还以Pilates环德国站上架为例说明操作步骤。
Physical Intelligence联创最新访谈：机器人尚未进入可预测的Scaling阶段
2024年末PI实验室测试，机器人表现有惊喜也有“语义上说得通的错误”。联创Levine在访谈中认为，机器人未到可预测Scaling阶段，还在确定规模化技术路径，也谈到数据、泛化、可靠性等问题。
GPT-5.6 Sol暴涨3倍，OpenAI最强视觉AI登顶！
第三方评测机构Roboflow测试显示，GPT-5.6 Sol在目标检测、计数等视觉任务上表现出色，尤其在文档版面识别和密集场景处理上进步明显，但认字能力有退步，且大尺寸图片检测框易飘移。
北大联合阶跃星辰提出TensorCast：统一可编程管理大模型张量，推理「首字延迟」最高降低93.2%
随着模型规模增长、新应用兴起，大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast，解耦张量状态，复用管理能力，在多场景测试中表现出色，为大模型基建提供新范式。
都说记忆是Agent标配，但MemSyco发现漏算了一件事
厦门大学与吉林大学的最新研究指出，随着大模型Agent具备长期记忆，虽成为“长期协作者”，但也出现Memory-Induced Sycophancy问题。为此提出MemSyco - Bench评测基准，经实验得出多项发现，指出Agent Memory关键瓶颈转变。
一句话生图要过时了？开源图像生成Agent进化出「工具编排」
来自多机构的研究团队提出GenEvolve，将开放图像生成建模为「工具编排轨迹」。它配置三类工具，经多轮决策完成生成。通过构建数据集训练，实验显示在多基准上表现出色，已开源模型、代码等。
黄仁勋：Prompt正在过时，Loop才是新范式
黄仁勋称Prompt正在过时，Loop才是新范式。Loop指设计系统让AI自动下指令、验收，不合格重来。Claude Code和OpenAI Codex已围绕Loop落地产品，还给出了实操指南及发展历程。
大模型也需要睡觉！让AI打个盹，醒来更聪明
卡内基梅隆大学和马里兰大学研究发现，大模型处理长上下文易累傻。受人脑机制启发，设计睡眠机制，让模型在上下文窗口快满时打盹，反复咀嚼信息，压缩进长期权重。测试显示，增加“睡眠”轮次能提升深度推理表现。