「评估策略」共找到 1560 篇相关文章
4万星开源项目被指造假！MemGPT作者开撕Mem0：为营销随便造数据，净搞没有意义的测试！
高人气开源智能体记忆项目Mem0在论文中称在LOCOMO上打败所有人，MemGPT联合创始人公开指控其测试无意义、数据造假。二者都为解决大模型长期记忆问题，Letta认为能力比工具重要，并给出评估智能体记忆能力的方法。
万字硬核解读SAM 3：不止分割一切，它开始理解世界了
Meta的SAM 3能理解语义，实现可提示概念分割。它支持开放词汇、全实例分割等，架构有创新，数据引擎高效。评估显示其性能优异，与MLLM结合成SAM 3 Agent后推理分割能力强，但在专业领域和复杂场景有局限。
vivo发布端侧多模态模型，只有3B可理解GUI界面，20项评测表现亮眼
vivo AI Lab发布端侧多模态模型BlueLM - 2.5 - 3B，融合文本与图文能力，支持长短思考模式切换。它在20余项评测中表现出色，参数量小，训练和推理成本低，有精巧结构、高效策略，还有高质量数据和高性能平台支撑。
从社区数据出发，再看大模型开源开发生态全景与趋势
蚂蚁开源先后在527蚂蚁技术日和外滩大会发布大模型开发生态开源项目全景图1.0和2.0版本。2.0版更新评估方法，呈现生态新变化，还分析技术趋势、开发者分布，提及项目进出情况及TensorFlow衰落等。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。
蚂蚁 | 提出代码检索/重排基准：CoREB，揭开高分榜背后的三大幻觉，现已接入MTEB
蚂蚁研究人员提出代码检索与重排评测基准CoREB，解决现有基准相关性软、数据污染、任务方向单一问题。它已集成进MTEB，收录19个模型×6个任务评测结果，为代码检索模型评估提供新基线。
人类最后考试登上Nature：全球50个国家近千名顶尖学者打造的AI测试集
人类最后的考试（HLE）登上Nature，这一测试集由全球50个国家近千名顶尖学者打造，含2500道高难度试题。现有的人工智能评估工具已跟不上技术演进，HLE能测出AI极限，让顶尖机器暴露短板。
挺意外的，Agent长期记忆潜力被AMemGym挖出来了
论文提出交互式在线策略评测框架AMemGym，它能反映AI助手长期记忆能力、驱动Agent自我进化记忆。它以结构化状态演化为骨架支撑自由对话评测，还对主流记忆系统做了扫描，带来评估与训练范式转换。
先验+后验加持，大模型能否 hold 住推理预测的现实「溢出」？
多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。