搜索：评估范式 - AI Reading Hub

「评估范式」共找到 1649 篇相关文章

Fable 5解禁即翻车！写一行代码就降智，开发者破防

消失19天的Fable 5解禁即翻车，因过度审查和双标机制，让开发者破防。但抛开护栏，它执行复杂任务能力强。A社同期发布的Sonnet 5也遭群嘲，此外，A社还提出评估框架并向政府让步。

多校联合团队发布ProjDevBench，评估AI编程智能体端到端项目开发能力。结果显示，六种主流智能体总体提交AC率仅27.38%，从零构建任务中性能大幅下滑，还揭示了智能体多方面短板。

中山大学和华为联合提出低成本开源方案 SWE-Factory，可自动收集代码打造高质量代码评估数据集。它能解决传统构建流程繁琐、依赖人工的问题，实现全流程自动化，还构建了 SweSetupBench 数据集，表现出色。

论文评估20余个开源推理模型在多领域表现，发现多数模型数学成功难迁移。揭示微调方法（RL vs SFT）决定能力泛化，SFT像‘填鸭’，RL似‘思维健身’，为构建通用推理智能体提供新路径。

文章指出当前医疗AI真实能力与临床期待有落差，为此中国医生联合制定全球首个评估医疗AI临床适用性标准，完成对主流模型测评，中国企业打造的MedGPT夺冠，还推出‘未来医生’平台服务患者。

阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。

文章反思‘知识库+Prompt工程+工具调用’轻量级Agent构建模式局限，指出其难应对知识质量、语义理解与规模化维护挑战。提出从‘Prompt驱动’到‘上下文工程’、从‘搭积木组装’到‘全链路闭环’的范式跃迁，并介绍MktAI知识体系建设。

文章围绕“AI颠覆的第一个职业会是程序员吗”展开讨论。嘉宾认为AI Coding尚处早期，有潜力成新工程范式。它面临“幻觉”、上下文窗口限制等瓶颈，未来开发者角色或转变为“业务翻译者”和“需求架构师”。

过去一年大晓机器人在具身智能行业成果显著，首创研发范式和数据采集方案，推出世界模型并实现端侧部署，其行业方案进入真实场景。它从具身第一性原理出发，让信息低成本入模转化为生产力。

Notion负责人复盘Agent开发历程，指出AI替代的是流程。他们将模型、产品和权限接入同一框架，历经多次重构，还探讨了组织管理、评估体系、软件工厂等内容，分享对CLI和MCP的看法及产品定价策略。