「模型评估」共找到 7939 篇相关文章
75%预训练数据都能删！Jeff Dean新作：全自动筛除低质量数据
Google DeepMind团队开发的DataRater可全自动评估数据质量，用元学习筛选有价值数据，提升模型训练效率。它能减少计算量、提高性能，在低质量数据集效果佳，还能跨模型规模泛化。
DeepSeek-OCR是「长文本理解」未来方向？中科院新基准VTCBench给出答案
DeepSeek - OCR的VTC技术可实现高压缩率，降低长文本处理成本。但视觉语言模型能否理解压缩信息存疑，中科院等推出VTCBench评估，测试模型认知极限，还推出VTCBench - Wild检测鲁棒性。
北航LiveRepoReflection: 扭转乾坤-仓库级代码反射
本文提出LiveRepoReflection基准，评估多文件仓库代码理解和生成能力，含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder，评估40多个LLMs，结果显示其能有效测模型反思修复能力。
碾压DeepSeek V3！开源AI Agent专属模型，1万亿参数、工具使用能力超强
国内大模型平台月之暗面开源了模型Kimi - K2，这是混合专家模型，总参数1万亿。它针对AI Agent优化，工具使用能力强。测试显示其性能碾压DeepSeek V3等模型，训练流程还有独特技术创新。
DeepMind 最新研究：智能体就是世界模型！
DeepMind研究科学家Jon Richens团队在ICML 2025发表论文，从第一性原理证明智能体就是世界模型，回答了AI界多年的根本问题，还带来多个有趣推论，引发AI社区热烈讨论。
网易游戏 Tmax 平台实践：基于 Fluid 的云原生 AI 大模型推理加速架构
网易游戏打造 Tmax AI 机器学习平台，但大模型推理业务规模爆发带来资源弹性等挑战。经评估，选用 Fluid + AlluxioRuntime 构建三层架构，有自动预热等配置，带来性能、成本等多方面收益。
Redis 之父：哪怕被喷我也得说，AI 远远落后于人类程序员！开发者跟评：用大模型气得我自己写代码都有劲儿了
Redis之父Antirez分享开发经历称人类程序员仍比大模型出色，举例说明在解决Redis复杂bug时，人类的创造力能想出奇特有效的解法，而大模型较难做到。开发者看法不一，有将其当助手，也有认为它会干扰思路。
AI视觉创作总差点意思？中科大等综述500+篇文献，系统分析生成一致性
中国科学技术大学等多机构研究者发表综述，梳理超500篇论文，揭示扩散模型视觉内容合成“一致性危机”，介绍三类一致性关系、加强位置、评估问题，指出未来模型需具备冲突感知等能力。
管你模型多大，250份有毒文档统统放倒，Anthropic：LLM比想象中脆弱
Anthropic等联合研究打破传统观念，只需250份恶意文档就能在参数规模从6亿到130亿的LLM中植入后门，且与模型规模及训练数据量无关。研究还测试了特定后门攻击，评估了多种训练配置。
专业医生远不如AI模型？OpenAI推出医疗开源测试基准HealthBench，o3表现最强
OpenAI推出医疗开源测试基准HealthBench，由262位多国医生合作打造，含5000段真实健康对话。评估显示o3综合表现最佳，顶尖AI处理任务能力超无辅助医生，HealthBench更真实专业有区分度，但也有局限。