「科学评测」共找到 893 篇相关文章
近期，谷歌发了两篇Agent Scaling论文，有点东西
2025年LLM社区有Test - Time Scaling和Agent化两条主线，但‘更多agent是否更好’无人能定量回答。谷歌两篇论文将agent scaling拆成可预测、可度量的科学问题，涉及预算感知和多agent盈亏平衡点。
实测GPT Image 1.5，拼尽全力还是没能打败Banana。
作者实测OpenAI新发布的GPT Image 1.5，将其与Google的Banana Pro对比，从信息准确性、真实质感、精准编辑、世界知识四个维度评测，发现GPT Image 1.5有提升但仍有不足，Google进化速度惊人。
所有大模型，都学物理学：北大物理系一篇研究，震撼了AI圈
北大等机构团队跨界用物理学最小作用量原理，提出新颖方法估计 LLM 生成方向性，揭示其背后‘物理定律’。发现 LLM 生成有细致平衡现象，还能用物理指标给大模型画像，让 AI 研究提升到‘物理科学’高度。
3亿美金种子轮！ChatGPT大神联手DeepMind牛人，要造一个真正的“AI科学家”
9月30日，OpenAI的ChatGPT创造者之一William Fedus和谷歌DeepMind的GNoME项目负责人Ekin Dogus Cubuk成立Periodic Labs，获3亿美元种子轮融资。公司要创造“AI科学家”和自主实验室，从物理科学切入，解决超导、半导体等领域问题。
大模型顿悟原理！Meta新论文说清楚了
Meta超级智能实验室（FAIR）最新论文把大模型顿悟（grokking）现象的数学机制说清楚了。提出Li2数学框架，将两层神经网络的grokking动态分三阶段，还推导了泛化缩放定律等。
T2R-Bench发布：业内首个由表格生成报告工业基准
为解决大语言模型将表格信息转化为报告的难题，研究团队提出“表格到报告”任务，构建双语基准T2R - bench，其涵盖多垂域表格，还设计评价指标体系，实验显示大模型在该基准上提升空间大。
“神经-符号”融合规划器性能显著超越o1：借鉴人类运动学习机制｜中国科学院磐石研发团队
中国科学院磐石研发团队提出新型“神经 - 符号”融合规划器，融合神经与符号规划系统优势，借鉴人类运动学习机制构建双向规划机制，在规划覆盖率和效率上显著超越OpenAI o1，已加入“磐石·科学基础大模型”。
看遍奥斯卡后，VLM达到电影摄影理解新SOTA｜上海AI Lab开源
上海人工智能实验室等推出ShotBench、ShotVL及ShotQA，ShotBench含超3.5k问答对，ShotQA约7万个问答对。ShotVL在ShotBench评测中表现出色，3B参数的ShotVL-3B增益达19.0%，超越GPT - 4o等。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
红杉中国推出 Agent 基准测试「xbench」，双轨评估体系，关注 AI 真实场景的效用
红杉中国开放AI和Agent基准测试工具「xbench」，采用双轨评估体系，构建多维度测评数据集。首期发布两个核心评估集并排名，提出垂类Agent评测方法论。该工具旨在解决现有评估问题，关注AI真实场景效用。