「MMMC评测集」共找到 1089 篇相关文章
EMNLP25 | "大模型在环"技术新突破：Dial-In LLM 推动中文客服意图聚类新范式
本文提出LLM-in-the-loop意图聚类框架，以传统聚类为骨架，微调后的中文LLM做语义裁判和命名批注。在10万+真实客服通话数据集上超越基线，解决现有方法依赖词向量、缺乏可解释性、调用大模型成本高的问题。
Meta全开源HumanCLAW：基础模型正进入具身智能的决策层
过去基础模型主要理解和描述物理世界，如今开始进入机器人控制栈。Meta等提出HumanCLAW，将高层行动与低层运动控制分开。评测显示当前模型在行动决策上存在不足，未来可从多方向推进研究。
都说记忆是Agent标配，但MemSyco发现漏算了一件事
厦门大学与吉林大学的最新研究指出，随着大模型Agent具备长期记忆，虽成为“长期协作者”，但也出现Memory-Induced Sycophancy问题。为此提出MemSyco - Bench评测基准，经实验得出多项发现，指出Agent Memory关键瓶颈转变。
AI胡说八道这事，终于有人管了？
AI大模型幻觉问题棘手，GPT - 5幻觉率降低。苏黎世联邦理工学院和MATS研究提出低成本、可扩展检测法，精准识别实体级幻觉，分类器超现有基准，还能识别逻辑错误，团队已公开数据集。
只训练数学，却在物理化学生物战胜o1！新强化学习算法带来显著性能提升，还缓解训练崩溃问题
上海创智学院、上海AI Lab的MM - Eureka系列工作提出新强化学习算法CPGD，缓解训练崩溃问题，提升性能。还构建多模态强化学习框架，推出MMK12数据集和MM - PRM模型，开源相关成果。
全球最大AI榜单塌房！52%高分答案全是胡扯，硅谷大厂集体造假？
2025年底，《LMArena is a cancer on AI》一文引发关注，其指出LMArena这个权威大模型评测平台问题严重。Surge AI调查发现，52%获胜回答事实错误，39%投票结果与事实相悖，Meta还曾为榜单优化模型。
面对无解问题大模型竟会崩溃？港中文&华为联合提出首个大模型推理可靠性评估基准
港中文和华为诺亚实验室联合提出ReliableMath基准，探究大模型推理可靠性。提出评估准则，构建含可解与不可解问题的ReliableMath数据集，实验揭示大模型缺陷，还提出提高可靠性的对齐策略。
真实音频场景，大模型集体挂科！首个原生语音基准MultiChallenge
Scale AI发布首个原生音频多轮对话基准Audio MultiChallenge，撕开大模型靠合成语音评测维持的假象。实验显示，Gemini 3 Pro等模型在真实场景表现不佳，还揭示了模型在语音交互中的三大失败模式。
让 AI 自己做增长：基于OPC和Harness思想的自主增长系统探索
文章围绕让AI自主做增长，基于OPC和Harness思想构建自主增长系统展开。介绍了系统背景、做法、多Agent架构落地方案，还提及踩坑问题、解决方案及对未来的思考，如完善数据集、探索OPC + AI Agent模式。
「推理革命」爆发100天：DeepSeek-R1复现研究全揭秘！
本文深入梳理围绕DeepSeek-R1的复现研究，解析监督微调、强化学习等关键技术细节，介绍相关数据集、训练方法及奖励机制等，还探讨了推理语言模型更多发展方向，为研究提供基础。