「测试框架」共找到 3114 篇相关文章
高智商 ≠ 高财商?50天实盘测试:LMArena 高分王者也可能是「韭菜」
伊利诺伊大学厄巴纳 - 香槟分校团队开发 LiveTradeBench,让大模型在真实金融市场交易,检验其能力。它全面开源,有实时数据、组合决策等创新,50 天实测揭示模型财商差距。
同一个模型,换套框架成绩差27%:SWE-bench分数到底谁说了算?
编程Agent评测是笔糊涂账,SWE - bench虽成事实标准,但分数不适合直接横向比较。基元律动等机构发布Claw - SWE - Bench基准,将模型、harness和任务集拆分,通过实验揭示harness对成绩影响大,还解决通用Agent评测问题,推出低成本Lite版。
多模态RAG哪家强?9 个 Embedding、4 类 MLLMs、4 大框架实景比拼
现有文档 RAG 评测存在不足,华南理工和华科推出 DOUBLE - BENCH 进行多模态 RAG 实战评测,结果显示检索是瓶颈,模型爱胡说。快手开源 Keye - VL - 1.5 - 8B,PaperAgent 有实操指南。
国产GPU首获全球顶级推理框架「原生门票」:MUSA合入SGLang主线
近日,摩尔线程举办「SGLang × MUSA Meetup」,分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系,代码合入主线,还在多方面取得成果,众多开源项目核心维护者参与探讨国产 AI 算力。
快手可灵也吃上了香蕉,一通离谱prompt测试,好好玩要爆了
ChatGPT发布三周年,快手可灵AI视频「O1模型」登场,号称“全球首个统一多模态视频模型”。实测显示它能一站式搞定视频修改、镜头延展等操作,还推出了图片O1模型,在图片生成方面表现出色。
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的?
文章介绍了开源推理引擎 vLLM 和 SGLang,包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术,SGLang 基于 RadixAttention 优化。二者竞争激烈,性能趋同,还获投资与基金会关注,受科技公司青睐。
OpenAI新幻觉论文惹争议!GPT-5拉胯是测试基准有问题??
OpenAI新论文《语言模型为何会产生幻觉?》提出,模型有幻觉是因标准训练和评估流程倾向奖励“猜对”。GPT - 5不爱猜测,在榜单表现不佳,网友质疑论文是为GPT - 5挽尊,论文引发网友多方向讨论。
隐藏超多上下文工程(Context Engineering)技巧的框架,来试一试吧!
文章指出多数人构建的AI Agent像Shallow Agent,处理复杂任务能力弱。以Claude Code等为例,介绍深度Agent架构的秘密,如冗长提示词、规划工具等,还推出开源包deepagents方便上手。
统一框架下的具身多模态推理:自变量机器人让AI放下海德格尔的锤子
当前先进机器人无法像人类自如用工具,现有多模态系统有局限。自变量机器人提出端到端统一架构,以统一表示学习和多任务多模态生成解锁具身多模态推理能力,实现范式转换。
开源AI开发生态大洗牌:低代码平台逆袭,传统LLM框架日渐式微
第十届527蚂蚁技术日,蚂蚁对现有开源生态全面剖析,发布2025大模型开源生态全景图。分析显示开源生态有三个主导技术赛道,还总结出七大趋势,为从业者提供生态演进规律参考。