「基准测试成本」共找到 3481 篇相关文章
Claude Code新功能Auto Mode能否替代人工审核？首个压力测试来了
随着AI coding agent走向“直接执行开发操作”，Anthropic为Claude Code推出Auto Mode。香港科技大学与ETH Zurich研究团队对其进行首个系统压力测试，发现Auto Mode端到端误放行率达81.0%，部分危险操作绕过审核。
一个模型超了DeepSeek R1、V3，参数671B，成本不到350万美元
Deep Cogito 是旧金山 AI 初创公司，开源四款混合推理模型。最大 671B MoE 模型性能超 DeepSeek v3 等，推理链比 DeepSeek R1 短 60%，训练成本不到 350 万美元。核心方法是迭代蒸馏与增强。
OpenClaw 技术闭门：测试将比代码更值钱，Agent Computer 会是新的硬件形态
OpenClaw 持续发酵，从极客「玩具」变为生产力工具。闭门分享中，开发者们探讨了其在实际业务中的应用。如代码成负债，测试更重要；不同用户对 OpenClaw 认知差异大；Platform Engineering 成工程师核心，还提及 Agent Computer 新硬件形态等。
只要强化学习1/10成本！翁荔的Thinking Machines盯上了Qwen的黑科技
新智元报道，翁荔的Thinking Machines研究同策略蒸馏策略，能以1/10强化学习成本，结合同策略训练优势与密集奖励信号。该策略受DAGGER启发，扩展Qwen3团队工作，可在Tinker复现，还能用于个性化和持续学习。
火线解析MiniMax招股书！全球领先大模型成本只有OpenAI 1%，果然拳怕少壮
上海大模型独角兽MiniMax通过港交所聆讯冲刺IPO。它是全球化AGI科技公司，全模态能力领先且成本低。技术上各模态模型表现出色，采用“模型即产品”模式获客，财务业绩向好，团队年轻高效。
CVPR 2025 Highlight｜北大联手智元发布首个基于说明书的家电操作评测基准
北大联合智元团队提出全新家电操作评测基准 CheckManual，被 CVPR 2025 接收并评为 Highlight。它有拟真说明书与多样资产、契合实际的评测任务、首个操作规划模型 ManualPlan 等优势，还做了相关实验。
百度用50天将视频价格打到行业70%！内部负责人：成本优化还有空间
8月21日百度蒸汽机音视频一体化模型重大升级，实现多人有声视频一体化生成。有五大核心技术突破，价格低至行业70%。源于算力和工程优化积累，未来还会优化成本，其盈利不依赖调用次数，带动平台生态升级。
EMNLP 2025 | T2R-bench: 业内「首个」工业级表格生成报告评测基准
中国电信人工智能研究院推出业内首个面向真实工业场景的“表格到报告”基准T2R-bench，涵盖多领域真实表格、问题与人工标注关键点，配套创新性三维度评测体系。实验显示主流大模型在该任务上表现欠佳，提升空间大。
0成本升级，快手OneSearch-V2全量上线，生成式搜索进入「懂你」时代
快手技术团队在 OneSearch 基础上推出 OneSearch-V2 框架，解决电商搜索复杂查询理解不足等问题。该系统全量上线，不增成本与时延，业务收益显著，还缓解信息茧房与长尾稀疏问题。
EMNLP25 | 北大x腾讯光子发布 C3 Benchmark：中英双语语音对话模型“地狱级”测试基准，直击语音对话模型软肋！
近年来语音对话模型受关注，但处理人类对话复杂现象的效能缺乏研究。北大联合腾讯光子构建中英双语C3 Benchmark数据集，评估模型应对复杂对话的能力，结果揭示性能瓶颈，为模型优化提供参考，代码和数据已开源。