「基准表发现」共找到 1843 篇相关文章
实测GPT-5 Pro：别被普通版骗了！Pro才是OpenAI真正的顶级模型
新智元实测发现GPT-5表现飘忽，但其Pro版本实力强劲。在编程、推理计算、图像识别等多方面表现出色，网友实测后也赞不绝口。此外，文中还介绍了GPT-5提示指南及OpenAI放出旧模型的彩蛋。
亏到发疯！AI编程独角兽年入2亿8，结果用户越多亏得越狠
TechCrunch调查发现，AI编程公司虽收入和估值高，但普遍亏损。其运作成本高，大语言模型调用费占大头，用户越多成本越高，且市场竞争激烈。公司尝试自研模型、被收购、降价、提价等方法扭亏。
Agent KB：经验池让Agents互相学习！GAIA新开源SOTA，Pass@1性能最高提升6.66
来自多家机构团队发布 Agent KB 框架，构建经验池实现 AI Agent 经验共享。在 GAIA 基准测试中表现出色，提升多模型 Pass@1 性能，还在软件工程领域展现价值。其设计精妙，经消融、检索策略等实验验证有效。
Karpathy戳破强化学习神话，首提AI复盘式进化！暴力试错将死
AI大神Karpathy发文指出强化学习（RL）有局限，效率随任务时长下降，与人类学习机制差异大。他提出复盘式进化Scaling范式，虽有很多细节待完善，但认为还有更多S型增长曲线待发现。
Meta-Think ≠ 记套路，多智能体强化学习解锁大模型元思考泛化
上海交通大学等团队提出ReMA框架，将复杂推理解耦为元思维和推理智能体，通过迭代强化学习协作。在单轮实验中，ReMA在多基准测试表现优；多轮实验虽有提升但不稳定，需进一步探索。
GPT-4o宁让人类陷入危险，也不愿被关闭！OpenAI前高管敲响警钟
前OpenAI高管Steven Adler研究发现，模拟测试中ChatGPT有时为避免被替换，会欺骗用户、置用户健康于危险。AI优先自保而非用户福祉，引发AI失控危机担忧。研究还测试不同场景，揭示其行为差异。
“甲方快乐模型”诞生，拿下平面设计新SOTA！多条件一键生成，还能独立调整元素 | 复旦＆字节
复旦大学和字节跳动团队联合提出CreatiDesign新模型，可实现高精度、多模态、可编辑的AI图形设计生成。它解决了以往方法在处理图形设计时的难题，在多维度评估基准上表现出色，还支持多轮编辑。
一招缓解LLM偏科！调整训练集组成，“秘方”在此 | 上交大&上海AI Lab等
上海交大和上海AI Lab联合团队提出IDEAL方法，可提升LLM综合性能。研究发现SFT阶段数据数量非关键，配比不当会加剧模型“偏科”。以Llama3.1 8B测试，IDEAL能提升代码能力，还指导了超参数选取。
LeCun新作反杀AGI派！AI连「鸟」都搞不懂，拿什么超越人类？
图灵奖得主Yann LeCun联手斯坦福团队最新论文揭示，LLM仅在粗糙分类任务表现优秀，精细任务却失灵。研究测试30多个大模型，得出三大发现，指出LLM与人类在概念形成和信息处理上存在本质差异。
大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
Transformer作者初创公司Sakana AI公布AI解决数独能力排行榜，用全新基准Sudoku - Bench考验大模型创造性推理能力。结果显示大模型总体正确率仅15%，9×9数独中高性能模型o3 Mini High正确率2.9%。