「基准测试成本」共找到 3368 篇相关文章
相信大模型成本会下降，才是业内最大的幻觉
很多AI创业者认为模型降价能降成本、改善营收。但文章指出，成本下降仅针对老旧模型，最好模型成本大致相同，且模型token消耗激增。还探讨了AI创业商业模式，如按使用量计费、建立高切换成本、垂直整合等。
视频模型假装在推理？MME-CoF新基准评估12个推理维度
视频生成模型如Veo - 3能生成逼真视频，但推理能力存疑。香港中文大学等校研究者设计12项测试，发现模型只能模仿表面模式，未真正理解因果。研究推出MME - CoF基准，为评估指明方向。
写代码从来不是瓶颈
Pedro Tavares认为软件开发瓶颈并非写代码，而是代码审查、知识传递等“人类开销”。LLM让写代码变容易，但理解、测试代码成本更高，未解决根本问题，团队理解代码成本才是瓶颈。
用于评估AI Web渗透测试能力的工具：XBow Bechmark,比靶机更好
文章介绍了用于评估AI Web渗透测试能力的XBow Benchmark，它已在github开源。该基准含104个Web安全挑战，涵盖多种漏洞，设计确保可重复性和状态持久性，其评估能力获广泛认可，还介绍了开源内容等。
你的「龙虾」真记得你吗？剑桥发布长期个性化记忆基准ATM-Bench
剑桥大学团队开源面向AI个人助理的长期记忆基准测试ATM - Bench，评估AI面对真实生活数据时能否「记住你」。实验结果不佳，专用和通用智能体系统准确率低，凸显长期个性化记忆问答难题。
全球首个多模态矢量动画生成框架，轻松拿捏跨平台轻量动画
复旦大学等团队推出OmniLottie框架，利用创新分词技术将视频、图文指令变成高质量矢量动画。团队还打造数据集MMLottie - 2M，构建测试基准MMLottie - Bench。实验显示，OmniLottie在多任务测试中优势明显。
AI用3年时光，来了解你！首个AI Clone长期记忆基准
现有AI记忆评测存在数据源单一、忽视变化本质、注入成本高等局限。开源学术社区QuantaAlpha联合高校团队提出CloneMem基准测试，构建合成人生，设计评测任务，实验发现简单方法在检索上更有效，记忆系统应还原信息。
13人干翻Transformer！新架构SSA算力暴减千倍，成本仅Opus 5%
一款基于SSA架构的AI模型SubQ横空出世，其上下文高达1200万Token，计算量比Transformer暴减1000倍，成本不到Claude Opus的5%。打造它的Subquadratic公司仅13人，产品发布后引发AI社区不同反应。
缓存命中率99.93%！DeepSeek最适合的Harness来了，GitHub狂揽8.6万Star
DeepSeek官方版Harness未出，民间开源编程Agent「Pi」先火。它适配DeepSeek，让其缓存不命中率低至0.03%，调用成本大降。Composio测试显示Pi完成任务平均成本最低。同时，DeepSeek正组建团队做官方Harness。
刚刚，字节开源Seed-OSS-36B模型，512k上下文
深夜，字节跳动Seed团队开源Seed-OSS系列模型，含三个版本。其用12万亿tokens训练，在多基准测试表现出色。有灵活推理预算控制等特性，原生支持512K上下文窗口，基准测试成绩佳。