「黑盒测试框架」共找到 3144 篇相关文章
GPT-5.2已上线24小时:差评如潮!
OpenAI 十周年推出号称强大的 GPT - 5.2,却差评如潮。它在 SimpleBench 测试结果不佳,回答不稳定,编程和艺术创作效果差,情商低、不通人性,审查和安全拒绝机制也饱受诟病。
中科院首提「AI哲学」,万字解读:为自身立命,为AI立心
中科院吴怀宇教授首次系统性提出「AI哲学」体系,以「感智境行」为核心架构,探讨智能本质、人机边界等,为人类应对AI冲击提供认知框架,也为AI赋予意识根基,涉及多学科,具多方面价值。
多模态大模型理解物理工具吗?PhysToolBench提出了衡量多模态大模型对物理工具理解的基准
香港科技大学等团队提出 PhysToolBench,用于衡量多模态大模型对物理工具的理解。它将理解分为三个等级,测试 32 个模型,揭示了大模型在工具理解上的不足,也为未来发展指明方向。
仅需10%思维链标注,等同全量性能!中科院发布推理监督新范式
中科院计算所团队提出新框架PARO,让模型学习固定推理模式自动生成思维链,只需标注1/10数据就能达全量人工标注性能,适合规则清晰领域,为推理监督提供新思路。
让VLM学会「心中有世界」:VAGEN用多轮RL把视觉智能变成「世界模型」推理机器
当前VLM智能体面对复杂视觉任务表现不佳,美国西北大学等机构联合研究成果VAGEN,提出创新强化学习框架,奖励正确思考过程,让VLM在行动前构建内部世界模型,效果超多款闭源大模型。
字节突然开源Seed-OSS,512K上下文碾压主流4倍长度!推理能力刷新纪录
字节跳动突发开源360亿参数的Seed-OSS-36B,呼应OpenAI开源策略。它有512K超长上下文,引入“思考预算”机制。多项基准测试达开源SOTA,字节Seed团队此前也开源多个项目。
实测谷歌AI故事书,我实现漫画和绘本自由了
谷歌Gemini推出免费StoryBook工具,30秒左右可生成10页故事书,支持中文且内容有趣。测试显示,它在图像风格、故事创作上表现出色,还能作学习和展示工具,获网友好评。
The Batch:834 | 更一致的人物与风格
德国 Black Forest Labs 的 FLUX.1 Kontext 系列文本生成图像模型,可可控编辑图像。有 max、pro 和 dev 版本,功能含角色一致性和图像编辑,在测试中表现优,公司计划公开专有评估基准。
ACL'25 | CIGEval:一种基于多模态大模型的可控生图评测智能体
阿里国际AI团队提出CIGEval,这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱,通过任务拆解与工具调度提升评估准确性与可解释性,已在ComfyUI - Copilot上线。
SeePhys Pro:重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro,是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等,测评显示当前模型在信息模态转变时不稳定,为模型评测和训练研究提供基础。