「动态评估」共找到 1059 篇相关文章
Fable 5解禁即翻车!写一行代码就降智,开发者破防
消失19天的Fable 5解禁即翻车,因过度审查和双标机制,让开发者破防。但抛开护栏,它执行复杂任务能力强。A社同期发布的Sonnet 5也遭群嘲,此外,A社还提出评估框架并向政府让步。
AI编程真面目:完整项目通过率仅27% | 上交大新基准
多校联合团队发布ProjDevBench,评估AI编程智能体端到端项目开发能力。结果显示,六种主流智能体总体提交AC率仅27.38%,从零构建任务中性能大幅下滑,还揭示了智能体多方面短板。
可灵2.5Turbo实测|顶尖AI视频模型,真能打平CG吗?
可灵发布2.5 Turbo版本视频模型,进步显著,提示词理解、高速动态表现、风格稳定性都有提升,价格还更划算。经多场景测试,其在特定场景下内容质量能与CG媲美,开始理解动作背后逻辑。
中山大学&华为联合提出 Issue Resolution 数据集构建神器SWE-Factory:每条只要$0.024
中山大学和华为联合提出低成本开源方案 SWE-Factory,可自动收集代码打造高质量代码评估数据集。它能解决传统构建流程繁琐、依赖人工的问题,实现全流程自动化,还构建了 SweSetupBench 数据集,表现出色。
TreeHop:无需LLM的高效多跳问答新范式
多跳问答(MHQA)任务有挑战,现有方法依赖LLM,计算成本高、延迟显著。TreeHop研究提出新方案,摒弃LLM,通过嵌入空间动态更新,降低延迟、减少模型参数量,还在主流数据集表现佳,适合工业应用。
数学推理热潮下的冷思考!如何训练真正"全能"的推理模型?
论文评估20余个开源推理模型在多领域表现,发现多数模型数学成功难迁移。揭示微调方法(RL vs SFT)决定能力泛化,SFT像‘填鸭’,RL似‘思维健身’,为构建通用推理智能体提供新路径。
医疗AI质变时刻来临!国产医疗AI率先突破,临床诊疗能力问鼎全球
文章指出当前医疗AI真实能力与临床期待有落差,为此中国医生联合制定全球首个评估医疗AI临床适用性标准,完成对主流模型测评,中国企业打造的MedGPT夺冠,还推出‘未来医生’平台服务患者。
北大伯克利联手“拷问”大模型:最强Agent也才40分!新基准专治“不听话”的AI分析师
北大与伯克利团队推出IDA - Bench新基准,模拟真实数据分析场景,解决现有基准无法评估大模型在动态交互中可靠性的问题。测试显示,顶尖大模型成功率最高仅40%,不同模型还暴露多种问题。
GPT-5编程专用版发布!独立连续编程7小时,简单任务提速10倍,VS Code就能用
OpenAI推出GPT-5-Codex特化版模型,支持独立连续编程7小时,有IDE插件版。新模型有“真·动态思考”能力,简单任务提速10倍,复杂任务推理更久。还重构了Codex产品体系,升级IDE扩展等。
不再迷信Hackathon,把Agent推翻重做了4次!Notion负责人复盘:做AI产品如何避免“逆流而上”?
Notion负责人复盘Agent开发历程,指出AI替代的是流程。他们将模型、产品和权限接入同一框架,历经多次重构,还探讨了组织管理、评估体系、软件工厂等内容,分享对CLI和MCP的看法及产品定价策略。