「自动化评估」共找到 1147 篇相关文章
Fable 5解禁即翻车！写一行代码就降智，开发者破防
消失19天的Fable 5解禁即翻车，因过度审查和双标机制，让开发者破防。但抛开护栏，它执行复杂任务能力强。A社同期发布的Sonnet 5也遭群嘲，此外，A社还提出评估框架并向政府让步。
AI编程真面目：完整项目通过率仅27% | 上交大新基准
多校联合团队发布ProjDevBench，评估AI编程智能体端到端项目开发能力。结果显示，六种主流智能体总体提交AC率仅27.38%，从零构建任务中性能大幅下滑，还揭示了智能体多方面短板。
OpenAI去年挖的坑填上了！奖励模型首现Scaling Law，1.8B给70B巨兽上了一课
全新奖励模型「POLAR」采用对比学习范式，摆脱对海量人工标注依赖，有强大Scaling潜力。它衡量训练与目标策略「距离」作奖励信号，用自动化合成数据预训练，小模型能超越大数十倍规模对手。
数学推理热潮下的冷思考！如何训练真正"全能"的推理模型？
论文评估20余个开源推理模型在多领域表现，发现多数模型数学成功难迁移。揭示微调方法（RL vs SFT）决定能力泛化，SFT像‘填鸭’，RL似‘思维健身’，为构建通用推理智能体提供新路径。
DeepSeek-OCR是「长文本理解」未来方向吗？中科院新基准给出答案
DeepSeek-OCR的视觉文本压缩技术降低长文本处理成本，中科院自动化所等团队推出VTCBench基准测试评估模型视觉认知，含三大任务及衍生版本，测试结果有‘U型曲线’，还评测多种尖端模型。
医疗AI质变时刻来临！国产医疗AI率先突破，临床诊疗能力问鼎全球
文章指出当前医疗AI真实能力与临床期待有落差，为此中国医生联合制定全球首个评估医疗AI临床适用性标准，完成对主流模型测评，中国企业打造的MedGPT夺冠，还推出‘未来医生’平台服务患者。
Harness Engineering实践，做了一个平台让AI一晚上自动评测和优化你的系统
作者分享搭建小平台实现全自动化评测与系统优化的实践，包括创建评测任务、集、报告等，通过钉钉文档、绘报等案例展示操作，还能自动优化系统，不过需系统UI规范、AI Coding含量高。
不再迷信Hackathon，把Agent推翻重做了4次！Notion负责人复盘：做AI产品如何避免“逆流而上”？
Notion负责人复盘Agent开发历程，指出AI替代的是流程。他们将模型、产品和权限接入同一框架，历经多次重构，还探讨了组织管理、评估体系、软件工厂等内容，分享对CLI和MCP的看法及产品定价策略。
斯坦福发布预警信号：生成式AI正如何重塑就业市场？年轻职场新人首当其冲
斯坦福大学Erik Brynjolfsson教授领衔的论文，用海量高频薪资数据研究AI就业效应。发现高AI暴露职业中年轻职场新人就业显著下降，自动化型AI应用致就业降，增强型则无，还给出年轻人受影响大的原因。
专治AI生图「人脸崩坏」，8倍速碾压GPT！新版FLUX.1多方位刷新SOTA
FLUX.1 Kontext是融合即时文本图像编辑与文本到图像生成的新一代模型，支持文本与图像提示，角色一致性强，速度快达GPT - Image - 1的8倍。它能解决AI生图“人脸崩坏”等问题，评估显示性能优异。