「测试评估集」共找到 2678 篇相关文章
谷歌深夜放出 IMO 金牌模型，多项测试力压 Grok 4、OpenAI o3！网友评论两极分化
昨夜谷歌向 Google AI Ultra 订阅用户推 Deep Think 功能，Gemini 2.5 Deep Think 模型获 IMO 金牌。它是多智能体模型，通过并行思维输出答案，在多领域及测试中表现佳，但网友评价不一。
MMAR与AudioTrust技术解读，音频大模型评测前沿进展分享 | AI Bench Talk直播预告
司南评测集社区 CompassHub 收录多维度评测集。此次 AI Bench Talk 直播聚焦音频大模型，将分享评估其深度推理能力的 MMAR 及全方位可信评估框架 AudioTrust，还设圆桌讨论多模态/音频大模型相关议题。
马斯克发布 Grok 4 模型：推理能力较前代提升 10 倍，各学科测试接近满分
xAI 发布 Grok 4 及 Grok 4 Heavy 模型，推理能力较前代提升 10 倍，多测试接近满分。马斯克称其为世界最好 AI。它在多方面表现出色，如长任务能力强、推理效率佳等，但代码能力欠佳，且付费昂贵。后续还将推多款模型。
GPT-5编程成绩有猫腻！自删23道测试题，关键基准还是自己提的
有人发现OpenAI测试GPT-5编程能力时，用的SWE-bench Verified子集仅477题，自行省略23题。若这些题默认零分，其得分比Claude Opus 4.1低。且该基准还是OpenAI自己提出的。
打穿 AI 智商测试！GPT-6 Astra 的符号世界模型，是突破还是钞能力刷分？
OpenAI的GPT-6 Astra亮相，在ARC - AGI - 3测试成绩逼近100%，远超GPT - 5.6 Sol。它生成的符号世界模型被认为是AI迈向高级推理必经之路。不过出题人指出其靠Harness加持，离AGI还远。
a16z：AI 产品初期用户流失高很正常，M3 留存才是评估 PMF 的关键
a16z研究团队分析数百家AI企业后发现，将衡量用户留存率基准点从M0后移至M3，能更清晰评估PMF和GTM策略。AI产品留存曲线分获客、留存、扩张三阶段，M12/M3比率是预测长期留存关键指标。
代季峰陈天桥联手AGI首秀炸场！最强开源深度研究模型，GAIA测试82.4分超OpenAI
MiroMind ODR是代季峰加盟陈天桥后的技术首秀，GAIA测试82.4分超OpenAI。它全开源可复现，包括MiroFlow、MiroThinker等四个子项目。团队还曾推出MiroMind - M1，专注提升数学推理能力。
超10万亿Tokens的高质量数据集是怎么炼成的？专访中国电信天翼AI阮宜龙
中国电信天翼AI打造超10万亿Tokens高质量数据集，依托星辰MaaS平台构建“数据—模型—服务”闭环。其与研究院推进技术研发并落地产品，建“三全”星辰大模型体系，还在多行业展现应用价值。
68页论文再锤大模型竞技场！Llama4发布前私下测试27个版本，只取最佳成绩
《排行榜幻觉》论文指出Chatbot Arena存在问题，如少数大厂私下多版本测试选最优、数据访问不平等、用Arena数据训练可提性能、模型被大量静默弃用等，研究团队给出改进建议，官方也进行了回应。
斯坦福英伟达推出测试时强化学习：微调开源模型胜过顶级闭源模型，仅需几百美元
斯坦福、英伟达等提出TTT - Discover方法，基于开源模型gpt - oss - 120b，在测试阶段引入强化学习更新模型权重。它采用熵目标函数和PUCT启发机制，解决分布外问题，成本低且表现优，但目前适用于连续奖励场景。