「基准评测」共找到 1324 篇相关文章
OpenAI久违发了篇「正经」论文:线性布局实现高效张量计算
OpenAI 近日发布研究论文,提出用于高效张量映射的统一代数框架 Linear Layouts,解决了 Triton 等深度学习编译器中长期存在的难题。该框架是使用二元线性代数的张量布局通用代数形式,评估显示其优化版 Triton 性能有提升。
低Token高精度!字节复旦推出自适应推理框架CAR
字节与复旦大学研究人员提出自适应推理框架CAR,能根据模型困惑度动态选短答或长推,在多基准测试中平衡了准确性与效率,打破长文本推理必然性能更好的认知。
“最强编码模型”上线,Claude 核心工程师独家爆料:年底可全天候工作,DeepSeek不算前沿
Anthropic 开发者大会发布 Claude 4 ,含 Opus 4 和 Sonnet 4 型号,在基准测试表现出色。核心工程师预测年底软件工程智能体能力,谈 RL 及 DeepSeek,还提到模型自我意识、推理计算瓶颈等问题。
T-RO综述重构Foundation Model时代机器人操作知识版图
近日,论文《Embodied Robot Manipulation in the Era of Foundation Models: Planning and Learning Perspectives》被IEEE Transactions on Robotics接收,它以High - Level Planning和Low - Level Action Modeling为主线,梳理Foundation Model时代机器人操作发展,分析了现存问题及关键缺口。
OpenAI Astra发布在即,全自动网络攻防能力已突破天际!
OpenAI即将发布的模型Astra,在内部评测中获ExploitBench满分,还发现两个零日漏洞。它能力远超上一代GPT - 5.6 Sol且更听话。不过为安全考虑,OpenAI部署监控,还放慢其研究速度。
Claude一举扫清2000阶以下哈达玛矩阵!AI开始清空数学“待解列表”
Anthropic研究员携手Claude做出668阶哈达玛矩阵,解决该问题。此问题曾难倒人类数学家30年,被收录进FrontierMath基准测试。此次还扫清2000阶以下所有悬而未决的哈达玛矩阵阶数。
80%代码由Claude合并,Anthropic内部人员点破Agent真相:「Close the Loop」
Anthropic团队研究产品经理Theo演讲指出,Claude已深入其工程流程,超80%代码由它合并。模型角色转变,能力提升,失败率下降。开发者应升级研发战术,如刷新评估基准、精简“脚手架”、闭环设计。
阿里重磅开源!Open Code Review:一周 5k star,为你的代码保驾护航
阿里开源 Open Code Review,它前身是内部 AI 代码评审助手,经大规模验证。该工具结合确定性工程与 Agent,解决通用 Agent 评审代码的问题,在准确率、效率等方面表现出色,还介绍了使用方法和评估方式。
这张信息图,居然是8B开源模型做的??
商汤新开源的 8B 多模态模型 SenseNova U1,架构独特,图像评测表现好,信息图生成能力强、延迟低。它具备图文交错能力,适合自媒体、敏感行业等,有在线体验和开源代码入口。
成功率最高暴跌36.9%!南洋理工首个“模糊指令”测试,直击具身智能落地软肋
南洋理工大学MARS Lab团队联合发布测试基准REI-Bench,量化现有具身智能大模型缺陷。在其测试下,主流任务成功率最高降36.9%。研究还剖析错误原因,给出解法,望引起学界重视。