「SaaS - Bench」共找到 215 篇相关文章
美团LongCat扎扎实实做了件难事：LLM数学新天花板AMO-Bench
美团LongCat团队联合高校推出AMO - Bench，用50道原创奥赛级难题评估LLM数学能力。它解决现有基准测试痛点，经四重把关构建，测试显示顶级模型表现不佳，也揭示模型提升空间大。
姚顺雨入职腾讯50天后，发布了首篇署名论文：CL-Bench
2月3日姚顺雨加入腾讯50天后发布首篇署名论文《CL-bench: A Benchmark for Context Learning》。该论文做了新的benchmark，测试显示前沿模型平均分仅17.2%，指出模型在上下文学习尤其是归纳能力上的短板。
空间智能终极挑战MMSI-Video-Bench来了，顶级大模型全军覆没
上海人工智能实验室 InternRobotics 团队推出空间智能视频基准 MMSI-Video-Bench，对主流多模态大模型进行评测。该基准题型全面、问题具挑战性，视频数据多样，能针对性测评。结果显示模型与人类差距显著，明确了能力瓶颈。
深度对话 Benchmark 合伙人：AI 打破了 SaaS 的 3322 规则改变创造本质
Benchmark 合伙人 Eric Vishria 与 Banana Capital 合伙人 Turner Novak 对话，分享 AI 时代创业看法、投资策略等。他认为 AI 打破 SaaS 增长法则，关注创始人叙事、学习能力，坚持投资非凡公司，还谈了对上市、估值等的观点。
AI能否「圣地巡礼」？多模态大模型全新评估基准VIR-Bench来了
来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。
VL-LN Bench：模拟「边走边问找具体目标」的真实导航场景
上海人工智能实验室等研究者完成VL - LN Bench，模拟真实导航场景。它构建自动化数据收集管线，依托InternVLA - N1训练评测。结果显示主动对话可提升表现，但当前方法在实例感知对齐等环节有短板。
T2R-Bench发布：业内首个由表格生成报告工业基准
为解决大语言模型将表格信息转化为报告的难题，研究团队提出“表格到报告”任务，构建双语基准T2R - bench，其涵盖多垂域表格，还设计评价指标体系，实验显示大模型在该基准上提升空间大。
你的「龙虾」真记得你吗？剑桥发布长期个性化记忆基准ATM-Bench
剑桥大学团队开源面向AI个人助理的长期记忆基准测试ATM - Bench，评估AI面对真实生活数据时能否「记住你」。实验结果不佳，专用和通用智能体系统准确率低，凸显长期个性化记忆问答难题。
微软 CEO 萨提亚·纳德拉：智能体即产品，SaaS 已死？
微软 CEO 萨提亚·纳德拉在 Build 大会后接受专访，称正经历软件与智能范式巨变，AI 驱动的智能体网络将重塑企业软件未来，SaaS 会融入其中。他还分享了 AI 时代软件与商业模式变革的核心洞察。
龙虾也能养龙虾！UCSD发布AIBuildAI智能体，MLE-Bench榜单第一
加州大学圣地亚哥分校团队推出AIBuildAI智能体，用户用自然语言描述任务，它就能自动完成AI模型开发。在OpenAI MLE - Bench测试中，其以63.1%获奖率居首，性能媲美人类专家。