「测试套件规模」共找到 2144 篇相关文章
文言文秒杀所有大模型!100%攻击成功,轻松突破安全防线
南洋理工等机构团队提出基于文言文语境的自动化黑盒测试框架CC - BOS,利用果蝇算法和8维策略空间,暴露主流大语言模型安全盲区,实验显示对6款主流模型攻击成功率达100%。
做RAG这一年,最后悔的就是上知识图谱
基于知识图谱的检索增强生成在问答任务中存在三元组索引丢失上下文语义问题,作者提出MDER - DR双阶段框架,在标准测试和特定数据集上性能提升最高66%,还具备多方面优势。
The Batch:924|GPT-5.4:性能更高,价格也更高
OpenAI更新旗舰模型GPT-5.4,有Thinking和Pro两个版本,扩展工具使用能力,多基准测试达当前先进水平,但定价高。虽在部分任务表现超Claude,挑战Gemini地位,不过成本也更高。
震惊海外开发者!BOSS直聘3B小模型比肩80B,怎么做到的?
BOSS直聘楠北阁团队发布3B轻量端侧小模型Nanbeige4.1-3B,性能震惊海外开发者。团队从多方面改进,如优化推理和偏好对齐,重构训练数据,采用多种强化学习算法,使其性能比肩大模型。
MMLU已死?「人类最后考试」登Nature:全球AI模型集体不及格!
AI发展迅猛,现有基准测试难以跟上其步伐。近1000名研究人员组成的全球联盟创建「人类最后的考试」(HLE),涵盖多领域难题,目前最强AI准确率不足50%,凸显AI与人类专家的差距。
吴恩达复盘百度岁月:我带过的自动驾驶、智能音箱都成了!Altman 我也带过,但 Gemini 3 比 ChatGPT 强
吴恩达团队提出新版图灵测试界定 AGI,避免行业泡沫。在播客中他还谈及 AI 关键议题,指出 AGI 短期难实现,规模化非唯一路径,AI 不会大面积取代岗位,中美 AI 各有优势等。
The Batch: 906 | AI 巨头分担维基百科的成本
维基百科成立25周年,维基媒体基金会与Amazon、Meta等多家AI公司达成合作,推出Wikimedia Enterprise计划,允许合作方高速大规模访问数据。维基百科需资金支持,AI公司也需其数据训练模型。
清华联手千问重塑归一化范式,让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式,但面临权衡取舍。近日,清华黄高团队联合千问团队提出SiameseNorm,构建参数共享的平行通路,实现稳定训练并提升性能。
前 Codex 大神倒戈实锤!吹爆 Claude Code:编程提速 5 倍,点破 OpenAl 死穴在上下文
OpenAI Codex 早期研发者 Calvin French - Owen 在播客中锐评代码智能体,偏爱 Claude Code,称其搭配 Opus 模型写代码速度提 5 倍。他强调上下文管理重要性,还对比了 Claude Code 与 Codex 产品理念差异。
挺意外的,Agent长期记忆潜力被AMemGym挖出来了
论文提出交互式在线策略评测框架AMemGym,它能反映AI助手长期记忆能力、驱动Agent自我进化记忆。它以结构化状态演化为骨架支撑自由对话评测,还对主流记忆系统做了扫描,带来评估与训练范式转换。