「软件评测」共找到 1196 篇相关文章
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
红杉中国推出 Agent 基准测试「xbench」，双轨评估体系，关注 AI 真实场景的效用
红杉中国开放AI和Agent基准测试工具「xbench」，采用双轨评估体系，构建多维度测评数据集。首期发布两个核心评估集并排名，提出垂类Agent评测方法论。该工具旨在解决现有评估问题，关注AI真实场景效用。
把 Gemini 和 GPT 放到《我的世界》当教练，谁能看懂机器人的微操？
国立清华与英伟达团队研究《VLM-AR3L》，把Gemini 2.0、GPT-4.1等拉进考场，评估视觉裁决能力。结果显示Gemini综合最稳，开源小模型特定场景反超。还提出VLM-AR3L框架破使用瓶颈，实战超人类手写奖励。
Claude不到4%，全军覆没！一场大考撕碎Agent「全自动办公」幻想
新智元报道，UniPat AI的SaaS - Bench实战考卷，用23个真系统、106个任务测试Agent。结果显示，Claude Opus 4.7完全通过分数仅3.8%，多数模型全军覆没，暴露了Agent在真实环境中的四种致命缺陷。
6 天、96 万行 Rust、直接合并？Claude Code 被 Bun 的内存泄漏拖垮后，Bun 让 Claude 亲手重写了自己
2026 年 5 月，Bun 创始人 Jarred Sumner 宣布将合并 Rust 重写版本，终结 Zig 版。此次迁移仅用六天，涉及 96 万行代码。此前，Bun 内存泄漏影响 Claude Code，促使 Anthropic 让 Claude 重写 Bun。不过，AI 重写也引发对代码质量和流程的争议。
全球第一，13个SOTA！我们找到了龙虾界掌管GUI的神
明略科技推出自研 GUI-VLA 智能体模型 Mano-P 1.0，不依赖 API 对接与浏览器场景，可操作桌面软件与网页界面。它在 13 个多模态基准榜单达 SOTA，支持本地运行，数据零上云，采用分阶段开源策略。
Generalist最新长文定调：具身原生才是正道，中国玩家原力灵机已交卷
Generalist创始人Pete Florence团队释出GEN-1技术博客，否定世界模型与VLA之争，强调具身智能应回归目标，主张从零训练。中国原力灵机DM0也采用具身原生路线，在RoboChallenge评测中成绩优异。
两月蒸发1.6万亿：SaaS 被AI「杀死」了吗？ | GAIR 025
今年初，北美软件股两月蒸发超1.6万亿美元，引发对SaaS未来的担忧。雷峰网圆桌中，何润、Daniel、吴昊三位行业老兵探讨现状与未来，认为AI冲击下，SaaS虽面临挑战，但不会被杀死，正全面转型。
Agentic AI 时代，软件工程如何被重塑｜QCon北京2026即将开幕
QCon全球软件开发大会·2026北京站4月举办，以“Agentic AI时代的软件工程重塑”为主题。大会有主题演讲探讨Agentic AI边界，设多个专题解析工程化核心，还关注AI向物理世界延伸，讲师分享一线实践经验。
OpenAI新模型Day0就被嫌弃！排名拉垮，不如一月底发布的国产模型
OpenAI推出GPT - 5.4 mini和nano模型，主打快速经济，针对编程等优化。但评测中GPT - 5.4 mini排名不佳，不如国产Kimi 2.5，且价格对比有争议。不过与自家旧版比有提升，网友测试有亮点。