搜索：AI模型测试 - AI Reading Hub

「AI模型测试」共找到 13686 篇相关文章

AI 时代的新可观测性：不只看系统崩没崩，还要看模型有没有胡说

New Relic首席技术战略官Nic Benders与主持人探讨可观测性从传统到AI驱动的演进，提及LLM与统计方法协同处理海量数据，还讨论了监控AI系统的难题及可观测性核心是理解业务目标。

阿里等联合推出 Omni - WorldBench 评估框架，指出多数高颜值 AI 视频在物理规律和交互逻辑上有缺陷。该框架含提示词套件和量化评估框架，对 18 款模型测评，为 4D 世界模型研发指明方向。

上海交通大学等团队构建v-HUB评测基准，分析多模态大模型视频幽默理解能力。评测7个前沿模型发现，模型依赖文字、主动发现笑点能力弱，声音作用有限，还需考虑隐形线索。

ARC Prize官方给Opus 5的ARC - AGI - 3成绩为30.2%，但开发者Jeremy Berman让其借助电脑，正确率飙升至96.2%。还开源代码，换用Codex等测试效果差。表明模型强时，简单环境更佳。

新论文以国际天文学和天体物理学奥林匹克竞赛 (IOAA) 为基准测试，证明 GPT - 5 和 Gemini 2.5 Pro 能在天文奥赛获金牌。研究还分析不同模型表现、与人类成绩对比及错误类型，强调需全面评估模型科研潜力。

如今AI渗透工业各环节，形成“大小协同”格局，但面临场景复杂、数据孤岛等挑战。西门子凭借深厚积累构建工业体系，其Industrial Copilot等产品落地中国，还自研基础模型突破瓶颈，围绕‘AI for Real’理念布局。

Greptile基于每月用AI审核的十亿行代码发布AI编程年度报告，显示AI助力下代码生产量飞涨，但论坛对此多存怀疑，还分析了不同大模型SDK下载量、模型适配场景等，也给出2025年关键论文。

Scale AI发布首个原生音频多轮对话基准Audio MultiChallenge，撕开大模型靠合成语音评测维持的假象。实验显示，Gemini 3 Pro等模型在真实场景表现不佳，还揭示了模型在语音交互中的三大失败模式。

Google 一天内三个端侧 AI 项目爆发，包括离线听写 App Eloquent、端侧 AI 示例集 AI Edge Gallery 和端侧大模型推理运行时 LiteRT-LM。云端大模型竞争趋同，端侧 AI 是差异化战场，Google 全栈布局有优势。

京东系统性开源系列AI能力，从大模型到Agent等。JoyAgent 3.0升级，开源DataAgent和DCP模块；OxyGent多智能体框架让开发者自由组合。还有京医千询2.0等，意在推动AI在各行业落地。