算法论文7
1万tokens后18款大模型集体“失智”
量子位
AI 摘要
Chroma团队研究18款主流大模型发现,上下文到1万tokens,模型准确率剩50%。四项对照实验证明,模型性能随输入增长显著且非均匀下降,受语义、结构等因素影响。
阅读原文 · 量子位
1万tokens是检验长文本的新基准,超过后18款大模型集体失智
Chroma团队研究发现,将上下文扩展至1万tokens,18款主流大模型集体“失智”,“智商”非均匀下降,在一些节点会断崖式下跌。研究还设计四项对照实验,证明LLMs性能随输入长度增加显著且非均匀下降。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
字节发现DeepSeek弱点 实测V4.1结果不同
本文报道字节Seed团队发现DeepSeek V4基础模型因分块KV压缩存在周期性相位敏感性弱点,作者复刻实验实测现役DeepSeek V4.1-Flash,讨论了长上下文评测的盲区,新版本弱点已明显减轻。
AI科技评论
新闻资讯9
GPT-6 Astra证明57年摆圆难题
本文报道了数学爱好者nor借助GPT-6 Astra,完成了搁置57年的“圆内摆圆”问题中N≤20剩余5种情况的严格最优性证明,展现了AI在数学研究领域的新应用。
量子位
新闻资讯9
字节Seed实习生曝DeepSeek-V4技术缺陷
本文报道字节跳动Seed团队联合多校研究者,发现DeepSeek-V4因分块KV缓存压缩设计存在长文本检索周期性盲区,深入拆解缺陷根源,曝光传统大模型长文本评测的盲区。
InfoQ
算法论文9
RoboFoundry让具身智能自主进化
多家国内外高校和机构提出全新具身智能框架RoboFoundry,固定基座模型参数,仅进化模型周边的系统组件,实现具身智能体自主迭代升级,多项基准测试和真机实验性能提升显著。
机器之心