「基准测试成本」共找到 3481 篇相关文章
爬网页要收费了！AI应用成本再度增高！Cloudflare宣布新实验
Cloudflare宣布“按爬取付费”实验，新注册服务网站默认阻止AI爬虫，爬虫需附带支付意图才能访问。此举旨在让内容创作者从AI公司获利，不过也会使AI训练成本上升，还可能引发连锁反应。
微软推出深度视频探索智能体，登顶多个长视频理解基准
尽管LLMs和VLMs在视频分析和长语境处理有进展，但处理数小时长视频有局限。微软提出智能体Deep Video Discovery (DVD)，以简洁框架在LVBench取得高准确率，将以MCP Server形式开源。
为 OpenAI 秘密提供模型测试， OpenRouter 给 LLMs 做了套“网关系统”
OpenRouter成立于2023年初，为用户提供统一API Key调用各类模型，OpenAI会用其秘密测试。平台token用量高速增长，还发布模型用量排行榜引关注。创始人认为大模型非赢家通吃，未来想成agent最佳推理层。
AI能否「圣地巡礼」？多模态大模型全新评估基准VIR-Bench来了
来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。
首个开源「智能视频剪辑系统」，11个工作流覆盖所有视频制作场景，成本巨低！
今天分享开源智能视频制作系统OpenMontage，号称首个。它有11条完整生产流水线，覆盖几乎所有视频类型；有49个生产工具、400+个Agent技能。其成本低，功能丰富。
从Debugger到Developer : 低代码时代新基准NoCode-bench，SWE-Bench作者力荐
浙江大学牵头联合多机构推出全新评估基准NoCode - bench，直面自然语言驱动功能添加任务，发现当前最佳LLM成功率仅两成。它构建严谨，任务挑战大，指明AI软件开发改进方向，且已开源。
开源Agent新标杆：通义WebSailor多榜夺魁，挑战OpenAI高难度Agent基准BrowseComp
信息爆炸时代，传统搜索引擎难满足需求，开源Web Agent在极端复杂任务表现不佳。阿里巴巴通义实验室推出WebSailor，通过创新数据构造和训练方法，在BrowseComp等挑战上取得突破，缩小与顶级封闭系统差距。
真实科研水平集体不及格！全新基准SFE给主流多模态LLM来了波暴击
上海人工智能实验室AI4S团队推出SFE评测基准，首创三级评估体系，涵盖五大科学领域66项任务。评测显示主流MLLMs在高阶科学任务有挑战，不同模型、学科表现有差异，还构建了SciPrismaX平台推动AI科学评估生态发展。
AI 开发时代的“能力暴露与禁止空间”方法论：TPDD 与高层测试闭环
文章指出大模型加速软件开发范式演进，AI 深度介入开发带来新生产路径，但也放大风险。作者提出 TPDD 方法论，通过提前定义测试点与边界条件，平衡能力利用与风险控制，确保系统可控、安全、可持续。
AI五小时发现MoE新算法，比人类算法快5倍，成本狂降26%
加州大学伯克利分校团队提出ADRS系统研究方法，基于OpenEvolve框架优化算法。以EPLB算法为例，新算法比人类算法快5倍，成本降26%，且Nature也报道过AI创造新算法新闻。