「基准测试集」共找到 2449 篇相关文章
Kimi开源新线性注意力架构,首次超越全注意力模型,推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构,用新注意力机制首次超越全注意力模型。长上下文任务中,它减少75%的KV缓存需求,推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
当 AI 下场炒 A 股,「推理」成了新的直觉
海外“AI Trading Battle”实验中,不同大模型交易表现差异大。港科大等团队提出RETuning方法,基于A股数据集验证,显著提升大模型金融预测准确率、推理可解释性,是综合改进方案,但有算力等局限。
震撼实锤!清华姚班校友揭「1.4×加速」陷阱:AI优化器为何名不符实?
为降低大模型预训练成本,近年新优化器频出,宣称加速1.4×到2×却难落地。斯坦福研究指出方法学缺陷,对比不同缩放范式加速差异,给出优化器设计见解,证实严格基准评测必要。
训练提速5倍,响应缩短50%:动态自感知能力,重塑高效LLM Reasoning范式
大型语言模型“思维链”技术有冗余,传统优化方案存在静态先验与动态能力错配问题。论文提出的DR.SAF框架赋予模型动态自感知能力,通过三模块协作,实现推理“精准瘦身”,解决根本冲突。
OpenAI女CEO太狠了!智商148,GPT-5才是真印钞机
GPT-5智商高达148,在多基准测试表现亮眼获英伟达认可。OpenAI借“路由器”为ChatGPT商业化铺路,它能分流降成本、让免费用户接触深度思考模型,还可变身广告分配器,实现AI广告变现。
1句话高质量生成游戏3D动作,北大新方法刷新动画制作SOTA
北京大学提出ReMoMask:基于检索增强生成的Text - to - Motion框架,集成三项关键创新。在标准基准测试上,相比RAG - T2M,在HumanML3D和KIT - ML上FID分数分别提升3.88%和10.97%。
只需一次指令微调,大模型变身全能专家天团,8B模型性能反超全微调基线 | ACL25 Oral
预训练大模型适应专业领域需高昂微调成本,稀疏混合专家架构虽能提升推理效率,但从头训练耗资源。浙大与Thomson Reuters团队提出SIMoE,单阶段微调就能升级大模型,还解决传统方法两大局限,在性能和效率上双突破。
Transformer八子初创:AI横扫NP难题竞赛,Top 2%选手竟是智能体!
Transformer作者Llion Jones初创公司测试AI智能体,其在NP难题竞赛中排第21。Sakana AI与AtCoder合作构建ALE - Bench,设计ALE - Agent参赛成绩优异,不过它也有调试难等局限,未来待改进。
最大的开源GraphRag:知识图谱完全自主构建|港科大&华为
香港科技大学KnowComp实验室与香港华为理论部提出AutoSchemaKG框架,可自主构建知识图谱,无需预定义模式。该系统利用大模型提取知识三元组并归纳模式,构建了ATLAS系列知识图谱,经测试表现优异。
LLM又曝致命缺陷:根本不会看时钟!博士惊呆,准确率不及50%
最新研究揭示AI存在认知缺陷,读取时钟准确率仅38.7%,判断日历日期准确率26.3%。研究者构建测试集考察MLLM能力,虽部分模型有亮点,但整体表现不佳,凸显训练数据和推理方式改进需求。