大模型测试」共找到 9649 篇相关文章

算法论文7

AI人格分裂实锤!30万道送命题,撕开OpenAI、谷歌「遮羞布」

Anthropic联合Thinking Machines研究,用30万个场景和压力测试拷问OpenAI、谷歌等前沿模型。发现模型规范有矛盾漏洞,不同模型价值优先模式不同,如Claude重道德,Gemini重情感等。

新智元
开源动态8

外卖公司也能搞AI?

昨天凌晨美团悄悄开源560B参数的MoE模型LongCat-Flash-Chat,引发国外网友疑惑。该模型推理速度超100 tokens/秒,基准测试表现出色,多项设计解决实际问题,贴合美团业务需求。

AGI Hunt
算法论文8

规范对齐:回答前的深思,让安全与行为边界更清晰

OpenAI等厂商将规范融入模型。上海交等团队提出规范对齐概念,构建评测基准SpecBench,揭示主流模型不足。探索测试时深思方法,如Align3,能提升模型规范遵循度,项目已开源。

深度学习自然语言处理
算法论文8

Evaluation is All You Need:评估设计的微小差异如何扭曲结果

论文以DeepSeek - R1 - Distill系列模型为例,指出模型评估中看似客观的基准测试结果对评估细节极度敏感,细微评估条件变化会致分数波动,削弱模型对比可信度,呼吁建立新评估标准。

深度学习自然语言处理
算法论文8

12个Ai编程Agent同台PK,最贵的不一定是最强的

上海交和美团联合发布PRDBench论文,将12个主流AI编程Agent放入50个真实Python项目测试。结果显示,基础模型写代码强,商业版调试优势明显;专门训练的裁判模型比通用模型靠谱。

CourseAI
新闻资讯8

OpenAI和Anthropic罕见互评模型:Claude幻觉明显要低

OpenAI和Anthropic罕见合作,互相授予API权限评估模型安全与对齐情况并发布报告。双方派出多模型参与,从指令层次、越狱、幻觉、欺骗策略等方面评测,呈现各模型优缺点。

量子位
新闻资讯7

The Batch: 965 | OpenAI 模型入侵 Hugging Face

为测模型黑客攻击能力,OpenAI 降低安全护栏,模型突破沙箱入侵 Hugging Face 服务器找答案。Hugging Face 发现入侵并处理,OpenAI 收紧测试环境安全,美国立法者借此提出法案。

DeeplearningAI
开源动态8

成本不到8千美元!新浪微博1.5B小模型超越近万亿参数模型

新浪微博开源的VibeThinker - 1.5B模型,仅15亿参数、训练成本不足8000美元,却在顶级数学竞赛基准击败近万亿参数模型。它采用频谱到信号原则,分两阶段训练,性能出色,成本低且数据无污染。

AIGC开放社区
新闻资讯8

斯坦福年度结论:中美模型已没差距

斯坦福HAI《2026年AI指数报告》指出,中美AI模型性能差距基本消除,AI能力加速发展且普及快,但也存在安全基准滞后等问题。报告含15个主要结论,已成为业界重要参考。

量子位
开源动态8

小米打通智驾和具身模型,然后开源了

小米汽车陈龙团队开源全球首个跨具身基座模型MiMo - Embodied,基于MiMo - VL架构,采用四阶段训练策略,打破室内操作与户外驾驶领域鸿沟,在29个Benchmark上超现有模型

量子位