「评测环境」共找到 1120 篇相关文章
Agentic Enterprise:生成式软件重新定义企业形态|AGIX PM Notes
文章指出软件正从静态代码集合变为“Living Software”,企业是其理想训练环境。还提及市场资金流向、多起企业投资合作事件,如英伟达投资英特尔、OpenAI租服务器等,最后介绍了ETF流动性相关知识。
在边缘应用中,实现 Kubernetes 的主动扩缩容
Kubernetes已成为现代IT核心平台,在云环境应用广泛。但在边缘计算场景,其HPA功能有局限。文章介绍基于CPA构建自定义扩缩器,详述其评估算法、实现方式,经测试CPA比HPA表现更优,适合边缘环境。
性能逼近闭源最强,通义实验室开源Mobile-Agent-v3刷新10项GUI基准SOTA
通义实验室开源 Mobile-Agent-v3,覆盖多平台,7B 超同类开源,32B 挑战闭源强手。它有基于云环境的全链路开源方案、全栈 GUI 能力构建和可扩展环境强化学习体系,降低部署开销。
智元首发SOP系统:打破离线训练瓶颈,让具身智能在“干中学”
2025年VLA让机器人有通用性,但真实部署存问题。智元机器人具身研究中心提出SOP在线后训练系统,融合在线学习等,使机器人在真实环境持续进化,实验显示其能提升性能、效率,突破VLA瓶颈。
马斯克转发字节Seed&哥大商学院新基准:大模型搞金融,连查个股价都能出错
字节跳动Seed团队与哥大商学院推出开源金融搜索与推理基准测试FinSearchComp,含635个问题。评测显示大模型处理金融任务有差距,凸显金融AI能力评估重要性,还揭示了关键能力差距。
OpenAI为龙虾紧急收购了一家23人公司
OpenAI前脚挖来龙虾之父,后脚收购专注AI安全与评测的初创公司Promptfoo。该公司开源评测框架流行,有30多万开发者用户。收购后将补齐OpenAI在‘龙虾安全’方面关键一环,且继续保持开源。
代码Agent的苦涩教训!首次拆解上下文检索,直指自动化软件瓶颈
ContextBench首次从「过程」评测代码智能体,揭示当前模型多读少用、被关键词误导等深层问题。它基于真实问题修复任务,由专家标注「黄金上下文」,用多指标评估。研究显示,复杂架构未必效果好,模型重召回轻精确等。
为什么 Agent Memory需要 AML:看 AML “变量控制”的工程设计
传统 Agent 记忆评测有水分,近日放榜的 Agent Memory Leaderboard (AML) 通过严格控制变量构建盲测管线。文章从技术架构深拆其工程细节,还分析了首期榜单,指出其重构评估变量的价值。
全球TOP 13战队翻车实录!机器人极限求生,比科幻片还残酷
第五届ATEC科技精英赛线下赛,13支精英战队机器人在真实世界极限挑战中状况百出。比赛打破舒适区,考验机器人行走、操作等能力,暴露了环境感知、智能决策、硬件算力等技术瓶颈。
0%通过率!Code神话泡沫!LiveCodeBench Pro发布!
国际算法奥赛金牌得主团队测试20个顶级大模型,在584道编程赛题上,高难度题目AI通过率为0%。论文发布LiveCodeBench Pro评测方法,揭示AI编程能力神话泡沫,指出其问题并给出提升方向。