「测试范式」共找到 2589 篇相关文章
模型汤新做法!Meta|提出“类别专家汤”:SoCE,大幅提升模型性能,刷新SoTA!
大语言模型领域,提升性能常需高算力、大量数据和长时间训练。Meta提出新型模型汤技术SoCE,通过分析类别相关性操纵模型权重,在BFCL上刷新SOTA记录,为开源社区指明低成本进化之路。
Loop Engineering 实战:实现从日志扫描到预发部署的全自主闭环
文章分享 Loop Engineering 实战经验,指出传统维护循环存在看不见、记不住、没闭环问题。介绍了从 Prompt 到 Loop 的四代 AI 工程化范式,阐述 Loop 原理、组件及落地实践,还提及范式迁移和踩坑教训。
美团LongCat扎扎实实做了件难事:LLM数学新天花板AMO-Bench
美团LongCat团队联合高校推出AMO - Bench,用50道原创奥赛级难题评估LLM数学能力。它解决现有基准测试痛点,经四重把关构建,测试显示顶级模型表现不佳,也揭示模型提升空间大。
这个 Agent Team,终于不是"角色扮演"了
作者测试了 MiniMax 新出的 Agent Team,通过深度研究公司、整理会议逐字稿、做直播数据分析三个测试,展现其优势。指出 Agent Team 核心是对抗式质量门禁,是复杂任务兜底系统,而非简单 prompt 编排。
Claude悄悄更新了Skills生成器,这绝对是一次史诗级升级。
Anthropic的Claude悄悄更新了Skills生成器Skill - creator,此次是史诗级升级,新增评估系统、基准测试、多代理并行测试、描述调优等4个全新能力,还演示了其使用方法和效果,建议更新并优化评估所有Skills。
视频生成Prompt何须仅是文字!字节&港中文发布Video-As-Prompt
AI视频生成中,依赖抽象语义控制的创作因缺乏统一条件表征而困难。字节与港中文团队提出Video - As - Prompt框架,引入‘视频参考’范式,实现抽象语义下可控视频生成范式统一,代码和数据集已开源。
大模型在具身推理上「翻车」了?4496 道题全面揭示短板
美国东北大学等提出BEAR基准评估MLLM具身智能子能力,用4496道题测试20个模型。发现多模态大模型具身能力不足,还分析错因,开发BEAR - Agent提升模型具身推理能力,在仿真测试中效果显著。
伯克利斯坦福联手造出「科研预言家」:77%准确率押注研究想法前景
伯克利和斯坦福团队让GPT - 4.1变身「科研预言家」,从顶会提取想法对比案例训练,不借助实验验证,靠推理押注。其在公开题库测试、人类专家团战等测试中表现出色,还能预测AI新点子。
九成以上模型止步白银段位,只有3个铂金!通用AI下半场评测标准来了
OpenAI研究员姚顺雨提出AI发展步入新阶段,下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架,剖析多模态大模型短板,推出五级评估体系和测试集,测试结果暴露模型弱点,引发社区积极反响。
3个月手搓Gamma架构,这个团队打造出了场景白盒化推理的“下一代内容OS”
AI应用从生成范式转向任务执行范式,Pi团队3个月手搓Gamma架构,打造出场景白盒化推理的“下一代内容OS”。Pi将AI生成与人的编辑能力结合,解决传统创作难题,实现创作全流程系统内闭环。