「基准测试成本」共找到 3431 篇相关文章
o3绞尽脑汁仅答对40%的题目，开源模型基本乱猜？MMSI-Bench：多图空间智能试金石
文章介绍了MMSI - Bench，这是用于评估MLLM多图像空间推理能力的VQA基准。它人工构建样本、全面分类任务、采用多样真实数据。实验显示MLLM在多图像空间推理有短板，还开发自动化错误分析流程助力改进。
Knowledge还是Reasoning？具体分析LLM答案正确，不代表思考过程靠谱的问题
斯坦福/加州大学团队指出大模型答案正确不代表思考过程靠谱，传统评估忽略思考路径问题。团队提出双维度评估框架，透视模型思考过程，还测试发现不同领域决胜关键、最佳训练法不同，且框架正解锁新场景。
时隔一年，再次使用7个国产AI大模型写高考作文，国产模型的进步也太大了！有彩蛋。
去年评测国产模型写高考作文能力时，各模型问题不少，如用词重复、字数不足。今年再次测试7个国产模型，能力有指数级提升，文采惊人，扣题方面通义千问和文心一言表现出色。文末还有海外模型“翻车”彩蛋。
OpenAI很看好！首个SWE-1模型发布，软件开发或将提速99%
Windsurf发布首个前沿模型SWE-1，目标将软件开发提速99%。它不只能写代码，还能协助软件工程流程。有三个系列模型，SWE-1运行成本低，SWE-1-lite对所有用户开放，SWE-1-mini适用于低延迟场景。
本周六直播预约 | Test-Time Reasoning综述分享！
当大模型训练成本飙升、数据枯竭，推理阶段扩展Test-Time Scaling（TTS）成研究热点。论文提出四维正交分析框架，梳理主流技术路线，提炼发展路径，给出操作指南与未来思考，本周六将直播分享该综述。
腾讯 Hy3 一手实测，Agent 能力提升不止一点
作者拿到 Hy3 模型测试资格，介绍其架构、性能和价格优势，还在 WorkBuddy 里实测它完成运营工作、选编辑助教、开发新功能等任务的效果，最后评价 Hy3 能力、价格、适配方面的表现，并分析 WorkBuddy 领先原因。
豆包 2.1 Pro：属于普通人的代码能力
作者分享用AI写代码的经历，指出豆包2.1 Pro强化Coding Agent端到端交付能力，成本低。还展示用它做的多个案例，如歇后语扭蛋机、文件整理工具等，认为其能解决日常问题，降低Coding门槛。
Qwen3.7：智能体新前沿
阿里云正式发布面向智能体时代的Qwen3.7-Max模型，将通过API提供服务。它能力全面，编程、办公、长周期执行等表现出色，适配多框架，在多场景评测中领先，能驱动生产力跃升，还经多实战测试验证实力。
谷歌Gemini 3.2偷跑上线！2200行代码一镜到底，Claude/GPT坐不住了
发布会未开，谷歌Gemini 3.2 Flash网页端静默上线，编码实力强悍，代码量大幅提升。其核心技术是蒸馏与稀疏化，推理成本大降。Gemini App集成第三方应用，谷歌I/O大会多款产品将曝光，此次发布对谷歌至关重要。
字节、快手、小红书之后，阿班押注下一代种草要从“围观”走向“体验”
Dreamova 创始人阿班在经历字节、快手、小红书工作后创业，定位 AI 时代「体验式生活方式平台」。他认为 00 后不满足围观式种草，要自己体验。产品让用户将喜欢的生活方式一键变成体验视频，可代入调整。