「性能测试」共找到 3392 篇相关文章
ClockBench：一个简单的钟表测试让AI全线溃败
ClockBench测试让11个多模态大模型与5个普通人认钟表时间，人类平均准确率89.1%，最好的AI仅13.3%。AI在复杂钟面表现差，却能处理抽象指令。该测试暴露视觉AI空间推理缺陷，对评估有启发。
Meta 开源 Pyrefly，Rust 中的高性能 Python 类型检查器
Meta 开源处于 alpha 阶段的 Pyrefly，它是用 Rust 编写的高性能 Python 类型检查器，灵感源于 Pyre 等工具，旨在取代 Instagram 代码库的 Pyre。它性能出色，还计划今年夏天进 beta 阶段。
从性能到实战，怎样才算是靠谱的 Agent 产品？
红杉中国团队提出AI基准测试工具Xbench，其双轨测评体系不再单纯执着于测评问题难度，重点量化AI系统在真实场景的效用价值，还构建长青评估机制，以确保评估结果的时效性和相关性。
HexStrike代理：让大模型继承专家经验，显著提升渗透测试效率
HexStrike是开源渗透测试工具，以MCP为底座。其核心智能组件IntelligentDecisionEngine是专家系统，将安全专家经验规则化，通过知识库和算法提供工具选择和参数优化，提升渗透测试效率。
测试时也能RL，英伟达等提出全新范式：TTT-Discover
近日，斯坦福、英伟达、Together AI 等联合开源全新测试时新范式 TTT - Discover，在测试阶段用强化学习微调模型，以刷出 single best 结果，用几百美元就刷新诸多领域 SOTA。
华为推出软工代码智能体SWE-Lego，解锁SFT训练极致性能
华为研究团队推出仅基于监督微调（SFT）的软件工程代码智能体SWE-Lego，无需复杂RL流程，在SWE-bench Verified基准中表现出色，项目已开源。它有数据、训练和测试时扩展三大创新。
一个Dispatch Dtype引起的fp8 quant kernel性能问题
文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题，因错误使用`c10::Float8_e4m3fn`数据类型，未用硬件加速指令，通过软件调用致性能下降，现已修复，vLLM也应用此修复。
华为+DeepSeek，推理性能创新高！技术报告也公布出来了
华为昇腾在部署超大规模MoE时推理性能创新高，全面超越英伟达Hopper架构。其采用‘以数学补物理’方式，还将全面开源。团队从多方面优化，在不同硬件上取得优异性能，本周还将举办技术披露周。
浅析 Amazon S3 Files：工作机制、性能边界与选型思路
4月7日，AWS发布新服务Amazon S3 Files，可将S3存储桶作为高性能共享文件系统挂载到计算节点。本文分析其底层实现、工作机制、性能边界，与其他对象存储文件化方案对比，指出适用场景。
MetaGPT 用户智能体发布，开启端到端自主软件测试新范式！
当前AI软件领域代码生成智能化发展快，但测试验收仍靠手动，效率低。MetaGPT推出用户智能体，研究团队发布RealDevWorld框架和AppEvalPilot实现端到端自动化评测，解决复杂软件质量评估难题。