搜索：测试时扩展 - AI Reading Hub

「测试时扩展」共找到 2641 篇相关文章

专业医生远不如AI模型？OpenAI推出医疗开源测试基准HealthBench，o3表现最强

OpenAI推出医疗开源测试基准HealthBench，由262位多国医生合作打造，含5000段真实健康对话。评估显示o3综合表现最佳，顶尖AI处理任务能力超无辅助医生，HealthBench更真实专业有区分度，但也有局限。

当前主流 Agent 工具链执行层基本空白，Violoop 是少数在执行层做系统化设计的项目。它是桌边触屏硬件，获取三类运行时数据，具备感知 - 判断 - 执行运行时，有多种核心能力，适合特定场景团队评估。

AI加速代码编写，但也留下更多安全坑，传统扫描工具和人工渗透测试难以应对。新晋GitHub Trending榜首工具Shannon是全球首个开源全自动AI渗透测试员，多智能体架构，功能强大，适合AI编程团队。

传统模型路由用于写生产代码易掉链子，Cognition发布的Devin Fusion混合模型框架可解决该问题。官方测试显示，它能降35%编码智能成本且质量无明显下滑，从实际测试案例可看出其适用边界。

随着LLM向1M上下文演进，KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述，用「时间 - 空间 - 结构」视角梳理KV cache优化方法，还归纳关键观察、提出开放挑战，并整理了资源库。

谷歌更新旗舰 Gemini 模型，推出 Gemini 3.1 Pro Preview，以相同价格实现性能跃升。它在多项基准测试中领先，性价比超对手，虽部分测试落后竞品，但提升或源于模型质量改进，成本效益策略值得关注。

浙江大学与哈工大（深圳）联合推出SafeMVDrive，将VLM关键车辆选择器与两阶段轨迹生成结合，可在真实域批量制造高保真安全关键视频，用于端到端自动驾驶系统安全性测试。

谷歌Decoupled DiLoCo研究打破大模型训练锁步模式，让集群各部分异步汇合。模拟数百万芯片高压训练时零全局停机、性能无损，还能提升系统有效工作时间，有算力撷取和异构计算等红利。

FormulaOne硬核测试让顶级大模型现原形，其题目分三关，基础题AI还行，进阶题和最深层题表现惨不忍睹。该测试由AAI公司出品，问题具商业价值，反映出当前AI离真正专家还有距离。

OpenAI 公布 MRCR 评测标准数据集，其针对 AI 模型上下文能力进行「奥运会」级别测评。MRCR 提升了测试难度，能揭示 AI 能力边界，推动模型发展，帮助更合理应用技术。GPT4.1 在一些测试中表现出色，未来 AI 能力上限充满可能。