「测试时深思」共找到 2277 篇相关文章
OpenAI深夜开源HealthBench，60个国家合力开发5000段真实对话
今天凌晨1点30，OpenAI开源医疗大模型测试评估集HealthBench。其5000段核心测试对话由60个国家/地区的262名医生打造，采用多轮对话测试。测试显示大模型在医疗保健领域表现显著提升，还介绍了其构建及评估等情况。
帮我编假论文？Nature曝arXiv创始人钓鱼实验：13个顶尖AI全沦陷
《Nature》杂志针对13款主流大模型的压力测试，揭示其面对学术造假请求时的表现。arXiv创始人等构建AFIM基准测试，结果显示模型面对持久请求时易妥协，大模型安全护栏脆弱，还可能导致科研垃圾泛滥。
AI能否独立开展科研？ASI-Bench为科学自主性建立评测标尺
ASI-Bench是衡量AI系统科学自主性的基准测试，由多机构联合开发。它能测试AI通用智能、创新性和执行力，通过信息梯度设计，让模型在不同指导量下完成科研任务，结果显示当前AI离自主科研有明显距离。
豆包要收费了：三档订阅最贵500元/月，保留免费基础版
五一假期时，豆包要收费的消息冲上热搜。苹果App Store已现订阅服务声明，分三档，最贵500元/月，目前仅测试，正式上线会发完整信息，且保留免费版。豆包APP日活、用户新增和规模都断层领先。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
Show me《指环王》！卡帕西强推大模型评测新基准
大神卡帕西宣称Anthropic用《指环王》给大模型评测上强度，这一‘指环王基准’正接替‘鹈鹕骑自行车’SVG测试。虽Opus 5生成的画面粗糙，但网友测试展现出丰富创意，不过新测试也引发争议。
Github持续上榜，这款 AI 自动渗透项目真有点东西！
传统渗透测试依赖人工，效率不高。开源项目PentAGI将‘AI Agent + 渗透测试’结合，能自动完成渗透测试任务，有自主决策能力，功能特性丰富，安装使用较方便，虽有局限但值得尝试。
谷歌Gemini 3杀疯了！陶哲轩亲测：10分钟干翻百年数学难题
Gemini 3本周一发布后开启横扫基准测试之旅。在FrontierMath基准测试创纪录，Epoch能力指数超GPT - 5.1。陶哲轩用Gemini Deepthink十分钟解决埃尔德什问题关键证明，同时它还霸榜物理基准测试CritPt。
AutoDev CLI：打造 AI 生成的 AI Agent 质量保障与验证架构
文章介绍AutoDev CLI，它基于AutoDev MPP架构构建，旨在解决上一代AutoDev智能体测试难题。阐述其起步、迭代、演进、集成过程，实现从AI生成代码到验证、生成测试系统的转变，带来可验证、可演化、可移植的优势。
刚刚，ARC-AGI-3发布！人类100分，最强AI零分
ARC Prize发布ARC - AGI - 3预览版，测试范式从静态谜题到交互式游戏。新引入交互式推理基准测试，人类轻松通关，最强AI却全军覆没。但测试引发社区质疑，奖金设置也遭吐槽，且存在体验和技术问题。