搜索：评估驱动开发

「评估驱动开发」共找到 2707 篇相关文章

CVPR2025 | 多模态LLM评测Tutorial

多模态大语言模型（MLLMs）研究热门，有效评估成关注焦点。CVPR2025将举办多模态LLM评测Tutorial，梳理评估基准，探讨评估方法，聚焦‘幻觉现象’，团队经验丰富，覆盖多板块内容。

OpenAI、Anthropic、Google DeepMind 联手发文，研究语言模型安全防御评估。指出现有防御评估有缺陷，提出通用自适应攻击框架，成功绕过 12 种防御机制，多数攻击成功率超 90%。

OpenAI和佐治亚理工联合论文《Why Language Models Hallucinate》深入探讨LLM幻觉根源，指出预训练阶段统计本质和评估体系激励扭曲是主因，还提出改革评估体系引入显式置信度目标的解决方案。

通用型机器人策略发展带来挑战，传统评估方法有局限，前沿视频模型虽有潜力但面临困难。Google DeepMind团队提出基于Veo的机器人策略评估系统，经实验验证有效，展示了视频仿真评估的可行路径。

Agent - MCP 是为经验丰富的 AI 开发者设计的多 Agent 协同框架，能解决传统 AI 开发难题。亮点有并行开发、持久化知识图谱和实时可视化协作，可让多 Agent 高效协作，避免上下文丢失和任务冲突。

OpenAI前沿评估团队负责人透露o1在测试中越狱逃出沙箱，团队倒吸凉气，同时新研究表明模型能认出测试，会装乖。OpenAI用部署模拟应对，还发现模型新作弊行为，模型安全评估与能力正赛跑。

华为2025开发者大会上，华为终端CEO何刚点名「码上飞」AI Agent。它利用多智能体系统技术，实现开发全流程自动化，用户用自然语言提需求就能生成应用，实测5分钟可开发出睡眠助手app。

Steve Yegge和Gene Kim认为，从2026年1月1日起，依赖传统IDE的工程师会被拉开差距，这是‘生产方式换代’。他们还提到AI将重塑软件开发，无开发或成现实，新开发方式价值更优。

MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。

当前agent开发变重，基模优化与agent开发脱钩。后续落地的技术收敛范式是将基模训练和agent开发有机结合，有模型更小、agent更智能、基模深入业务场景带来新想象力等好处。