「实验评测」共找到 1864 篇相关文章
挤干大模型高分「水分」！最强模型仅49分，南大傅朝友发布Video-MME-v2
南京大学傅朝友团队在 Google Gemini 评测团队邀约下推出视频理解新基准 Video-MME-v2。它有创新的分层能力体系与组级非线性评分，揭示模型与人类的巨大鸿沟、传统 Acc 指标虚高、“Thinking”并非总是增益等现象。
成立7个月首发声！百亿美金独角兽万字雄文：攻克LLM推理非确定性难题
估值120亿美元的Thinking Machines Lab成立7个月首次公开研究成果，揭示LLM推理非确定性的真凶是kernel缺乏批处理不变性。介绍了实现批处理不变性的方法，还通过实验展示其效果及对同策略强化学习的意义。
MiniCPM-o 4.5 技术报告发布：全双工全模态 API 开放，RTX5070即可实时运行
面壁智能联合多机构发布 MiniCPM-o 4.5 技术报告，公开 Omni-Flow 框架。该模型 9B 参数实现端到端全双工全模态，开放在线 Demo、API 等，最低 12GB 显存 GPU 可运行，在多维度评测表现出色。
小模型用不好Skill？新范式让模型学会Skill的底层逻辑，3B模型推理token省5倍，性能反超
浙江大学联合美团龙猫团队、清华大学推出SKILL0，提出技能内化思路。它在训练中引入关键机制，让小模型把技能内化到参数里。实验显示，其效果出色，token效率高，为小模型成领域专家提供新方向。
「Next-Token」范式改变！刚刚，强化学习预训练来了
微软新研究提出「强化预训练（RPT）」新范式，将下一个 token 预测任务重新定义为推理任务，可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点，实验显示其提升了语言建模能力。
困住医疗AI的死循环，终于有国产玩家跑通了
文章指出医疗AI行业因数据、模型、场景闭环断裂陷入困境，整体渗透率低。讯飞医疗的星火医疗大模型V3.5评测和临床落地表现出色，其构建自强化循环体系，跑通死循环，或使行业马太效应渐显。
神秘模型「大象」：仅100B拿下SOTA，Token效率超高！
神秘模型「大象」面纱揭开，它出自蚂蚁Inclusion AI团队，仅100B大小，是同规模SOTA且省Token。经多方面实测及权威榜单评测，它快、准、省，能胜任多数日常工作，但也有不擅长的领域。
小红书提出社交大模型RedOne 2.0：兼听、敏行
在SNS内容爆炸式增长的当下，传统SFT训练方法有局限。小红书NLP团队推出RedOne 2.0社交大模型，采用以RL为核心的三阶段渐进式训练方法，实验显示其性能优异，还能转化商业价值。
MiniMax M2 发布即爆，拿下开源模型第一名
10月27日，MiniMax发布新一代文本大模型M2及由其驱动的MiniMax Agent。M2是专家混合模型，参数达230B但激活仅10B。它在开源模型评测中夺冠，能低成本、高速度支撑工作流，开发者评价高。
从数据分布视角，重新认识下CoT
本文从数据分布视角重新审视大语言模型的思维链（CoT）推理。指出CoT并非真正推理，而是模仿，其效果受训练与测试分布差异影响。通过实验揭示CoT在分布偏移时性能退化，提醒勿过度依赖。