「真实世界测试」共找到 2937 篇相关文章
扩散模型+自进化：这篇论文让Deep Researcher错误率直降70%
论文提出测试时扩散深度研究代理（TTD-DR），将报告生成建模为扩散过程，有组件自进化机制和动态闭环设计。实验显示其在多领域研究任务超现有方案，为AI研究助手落地提供新范式。
大模型再爆弱点！旧记忆忘不掉，新记忆分不出，准确率暴降 | ICML'25
弗吉尼亚大学和纽约大学研究人员用「前摄干扰」概念设计测验PI - LLM，测试大语言模型（LLM）上下文检索能力。结果显示，随干扰增加，模型准确率对数下降至零，提示工程效果有限，需调整模型架构或训练范式。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
o3绞尽脑汁仅答对40%的题目，开源模型基本乱猜？MMSI-Bench：多图空间智能试金石
文章介绍了MMSI - Bench，这是用于评估MLLM多图像空间推理能力的VQA基准。它人工构建样本、全面分类任务、采用多样真实数据。实验显示MLLM在多图像空间推理有短板，还开发自动化错误分析流程助力改进。
Knowledge还是Reasoning？具体分析LLM答案正确，不代表思考过程靠谱的问题
斯坦福/加州大学团队指出大模型答案正确不代表思考过程靠谱，传统评估忽略思考路径问题。团队提出双维度评估框架，透视模型思考过程，还测试发现不同领域决胜关键、最佳训练法不同，且框架正解锁新场景。
AI七个月突破数学家“围剿”反超人类！14位数学家深挖原始推理token：不靠死记硬背靠直觉
大模型o3 - mini - high在7个月内，于FrontierMath基准测试中，答题得分从2%提升到22%，超人类团队平均水平。数学家分析其推理记录，发现它靠直觉而非死记硬背解题，但也存在缺乏创造力等局限。
LeCun有了新证据！大模型思考与人类思考存在本质差别
Yann LeCun参与的研究用信息论揭示大语言模型与人类在‘理解世界’上的本质差异。研究引入新量化框架，分析主流大模型，发现AI与人类在‘理解’上有三大核心差异，对当前AI发展趋势提出挑战。
时隔一年，再次使用7个国产AI大模型写高考作文，国产模型的进步也太大了！有彩蛋。
去年评测国产模型写高考作文能力时，各模型问题不少，如用词重复、字数不足。今年再次测试7个国产模型，能力有指数级提升，文采惊人，扣题方面通义千问和文心一言表现出色。文末还有海外模型“翻车”彩蛋。
多模态大模型不会画辅助线？最新评估得分：o3仅25.8%，远低于人类82.3% | 清华腾讯斯坦福联合
清华、腾讯、斯坦福等团队发布RBench - V基准测试，评估大模型视觉推理能力。结果显示，主流大模型如o3、Gemini2.5等准确率远低于人类，开源模型表现更差，暴露出大模型在复杂多模态推理任务中能力不足。
半年3轮10亿，他们都投了这家已经把机器人卖到500个家庭的公司
未来不远机器人半年获3轮10亿融资，字节跳动等入局。其全产业链闭环强大，展会表现优，已进入500多家庭。靠全栈自研、贴合需求等策略，在赛道脱颖而出，认为家用机器人应重真实落地。