「大语言模型评估」共找到 8108 篇相关文章
全国首部AI智能体应用评估标准，现公开征集起草单位和个人
随着大模型热潮进入深水区，企业急需业务智能体，但因缺乏可量化评估标准，AI智能体应用面临选型、验收、优化困境。智合标准中心发起《企业级AI智能体应用效能评估规范》团体标准起草工作，现公开征集起草单位和个人。
剑桥揭开大模型翻车黑箱！别再怪它不懂推理，是行动出错了
剑桥大学等机构研究指出，大模型执行长时任务易翻车，问题不在推理而在执行能力。研究人员评估多个指标，发现单步准确率提升可让任务长度指数增长，还研究了自条件化等影响及模型规模的作用。
DoorDash 如何打造了一款不完全依赖大型语言模型（LLM）的 AI 购物助手
DoorDash 分享对话式 AI 助手 Ask DoorDash 的架构，它借助 LLM、AI 代理等构建系统。测试显示其提升了结账转化率等指标，还构建自动评估框架改进质量衡量，架构分离协调与业务功能。
传统训练效率很低？我们靠 “给模型降噪” 重新审视长上下文建模难题
文章指出长上下文模型处理长文本时易受噪声干扰，提出新评估指标IG分数和“上下文去噪训练（CDT）”方法。实验表明CDT优于现有策略，经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。
AI集体“听不懂”！MMAR基准测试揭示音频大模型巨大短板
MMAR基准测试对30款音频相关模型进行测试，结果显示，多数开源模型面对复杂音频推理任务远未达实用水平，音乐任务中所有模型表现不佳，且有显式推理能力的模型表现更优。
人类记忆 vs 大模型记忆，到底差在哪？
这篇发表于 2025 年 10 月《Trends in Cognitive Sciences》的文章，探讨用人类“情景记忆”研究成果改进记忆增强型大语言模型。指出现有 AI 记忆系统存用数据低效，呼吁构建“类人情景记忆”AI，还剖析差异并给出评估方法和展望。
让GPT-4.1「头皮发麻的考试」！OpenAI给大模型上强度，AI能赢吗？
OpenAI 公布 MRCR 评测标准数据集，其针对 AI 模型上下文能力进行「奥运会」级别测评。MRCR 提升了测试难度，能揭示 AI 能力边界，推动模型发展，帮助更合理应用技术。GPT4.1 在一些测试中表现出色，未来 AI 能力上限充满可能。
首个代码世界模型引爆AI圈，能让智能体学会「真推理」，Meta开源
Meta重组后的AI部门推出首个代码世界模型CWM，是320亿参数开放权重LLM。它与传统大模型思路不同，能模拟代码执行。CWM在通用编程与数学任务表现不错，Meta还开放相关检查点以支持研究。
我宣布，这就是现在人声最真实的AI音乐模型。
作者体验Minimax新推出的音乐模型Music 2.5，称其真实感强，中文无敌，咬字清晰，能唱维语等多语言。搭配粉丝开发的小工具，可尝试多种曲风，价格实惠，但功能有待完善。
NeurIPS 2025 Spotlight | 让检索、推理真正「合体」的小而强模型，AceSearcher来了
近期，多所高校研究团队发布 AceSearcher 模型，它是让同一语言模型在推理时兼任双角色的合作式自博弈框架，以两阶段训练为骨架，将推理与检索结合，提升复杂检索任务效果，在多任务上表现出色。