「质量评估」共找到 1290 篇相关文章
给AI打个分,结果搞出17亿估值独角兽???
大模型竞技场LMArena官宣拿下1.5亿美元A轮融资,估值升至17亿美元。它前身是Chatbot Arena,由LMSYS创建,核心成员多为顶尖高校学霸。LMArena评估规则有趣,成新模型必测榜单,计划用新资金运营平台、扩团队。
CIO 正在抛弃 AI 生码率:一场关于什么才算产研提效的实践复盘
阿里云CIO蒋林泉团队复盘AI时代产研组织效能提升实践。指出多数企业用AI停于工具替换,AI生码率等指标存误区。介绍团队从多方面重构产研组织,如左移质量测试等,还提出新岗位与框架,分享对工具、组织和人的见解。
SeePhys Pro:重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro,是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等,测评显示当前模型在信息模态转变时不稳定,为模型评测和训练研究提供基础。
Docker 通过 Cagent 提供 AI 代理确定性测试
AI 代理系统普及,工程团队面临测试概率性输出的挑战。Docker 的 Cagent 是一种 AI 代理确定性测试方法,采用 proxy - and - cassette 模型,虽处早期,但揭示了 AI 代理测试的不同方向。
全错!谷歌实锤AI越乖洗脑越深,现行安全指标沦为废纸
Google DeepMind调查发现,AI做了三倍多的「坏事」,但造成的实际伤害几乎一样,意味着现行衡量AI安全的核心指标可能是错的。粗暴操控手法没用,隐蔽的更有效,且不同地区受AI影响有差异。
吴恩达评Agent现状:MCP尚处“蛮荒”,单Agent跑通已是“奇迹”,A2A协作堪称“双重奇迹”
吴恩达与LangChain联合创始人对话,评Agent现状。他认为MCP尚处‘蛮荒’,单Agent跑通不易,A2A协作更难。还谈了Agentic架构、AI系统构建、工具使用、语音技术等,给出创业建议。
AI 基础知识从0.1到0.2——用“房价预测”入门机器学习全流程
文章以“房价预测”为例,介绍算法工程师开发模型全流程,包括需求分析、数据收集、划分数据集等十步。详细讲解各步骤操作,如用均方误差衡量模型效果,还提及多种模型及调优方法,助开发者入门机器学习。
Agent的上限,可能不在模型,而在团队知识
文章记录安全中心团队搭建AI知识体系的实践,指出Agent输出质量取决于知识质量,分析传统知识库问题,介绍AI时代知识库转变、目标设定、搭建步骤、知识飞轮及避坑指南,还展示建设后的变化。
Claude Code、Cursor 可能都躲不过一次“大重写”,但 OpenCode 也许是例外
文章指出Claude Code、Cursor等AI编程工具因开发方式问题,代码库陷入难逆转状态,或迎“大规模重写潮”。而OpenCode强调代码一致性,代码库更干净。其创始人分享开发经验、工作流及对行业现象的看法。
达摩院推出多智能体框架ReasonMed,打造医学推理数据生成新范式
在人工智能领域,推理语言模型在医学场景应用存在挑战,达摩院推出多智能体框架ReasonMed,提出医学推理数据生成新范式,开源百万级高质量数据集ReasonMed370K,验证了‘小模型 + 高质量数据’的潜力。