「评估模型」共找到 8002 篇相关文章
LLM应用测试范式的进化
文章指出传统软件测试方法在LLM应用中存局限，探讨将其与AI评估结合应对挑战。抽象出LLM应用三层架构模型，分析传统测试范式适用性，介绍AI安全分析方法，阐述测试挑战、范式转变及协同测试策略。
LLM加RL遭质疑：故意用错奖励，数学基准也显著提升，AI圈炸了
华盛顿大学等机构论文引爆AI界，其发现用虚假奖励训练Qwen2.5-Math-7B模型，也能提高MATH - 500成绩。虚假奖励对Qwen模型有效，但在其他模型上有限，凸显RLVR有效性与模型能力有关。
4 个月 3000 万美金 ARR，做 AI 评测榜单的 LMArena 为何值 17 亿美金
AI评测产品LMArena半年前种子轮获1亿美金，现完成超1.5亿美金A轮融资，估值达17亿美金。其核心产品Chatbot Arena可对比AI模型回答并构建榜单，公布的数据或解答了其估值高的疑问。
告别AI“乱画图表”！港中文团队发布首个结构化图像生成编辑系统
现有AI生图工具在结构化图像生成上问题多，理解与生成能力有鸿沟。港中文等校联合团队提出首个综合性方案，涵盖数据集构建、模型优化、评估基准三大模块，助多模态模型画准图，推动其发展。
老外给中国 AI 开源厂商打分：第一梯队是 DeepSeek 和 Qwen。
Nathan Lambert发布“中国开源模型开发商排名”，评估19家实验室贡献，第一梯队是DeepSeek和Qwen。还介绍字节跳动豆包、小米、百度文心一言发展情况，如豆包月活全球第二，小米模型效率突破，文心一言企业应用领先。
刚刚，DeepSeek多模态技术范式公布，以视觉原语思考
DeepSeek发布多模态模型并公布技术报告，提出‘以视觉原语思考’。该模型解决多模态大模型‘指代鸿沟’问题，有把坐标变思维单元、7056倍视觉压缩、精心设计冷启动数据等创新，实验在多任务上超主流模型。
腾讯混元图像3.0开源榜一，工业级800亿参数可商用，附提示技巧
28日，腾讯开源800亿参数的工业级原生多模态生图模型HunyuanImage 3.0，个人和月活≤1亿公司可免费用。它是全球参数量最大、性能最好的开源图像生成模型，技术强、评估表现优，官方还整理了提示词手册。
Cursor只排第6！136国用户实测25款AI编码工具，第一名73%胜率，还是个新面孔
Design Arena评测平台用对抗式评测方法，让用户对AI模型生成的设计作品投票，评估其设计美学表现。文章总结了上榜的编码工具，如new.website胜率约73%排第一，还对比了不同类型模型的排名情况。
MLLM集体翻车，缺乏婴儿级常识！业界首个核心认知基准发布，LeCun转赞
当前大模型在12项核心认知上普遍落后人类10 - 30%，越大的模型越易靠「背答案」糊弄。团队公开首个系统评测框架和题库，用Concept Hacking方法识破模型真假理解，指出模型存在核心知识缺失等问题。
DeepSeekV3.2技术报告还是老外看得细
ChatGPT三岁生日时，DeepSeek两款开源模型DeepSeek-V3.2和DeepSeek-V3.2-Speciale引发热议。它们在智能体评测中表现出色，缩小了开源与闭源模型差距，还降低了成本，给硅谷闭源AI公司带来压力。