「上下文瓶颈」共找到 1209 篇相关文章
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
这个时代最缺的是「个人上下文」丨对话flomo浮墨笔记
量子位智库对话flomo浮墨笔记联合创始人刘少楠，探讨AI笔记产品发展。刘少楠分享了flomo定位、目标人群、降低门槛方法等，提及AI带来的认知变化，还谈了产品指标、功能考量、成本平衡等问题。
不是幻觉！Claude自下指令甩锅人类，百万上下文沦为降智重灾区
Claude深陷「角色混淆」Bug，分不清自己的话与用户指令，长上下文成了降智「重灾区」。开发者Gareth Dwyer记录了该bug，研究发现问题出在底层架构的角色标记缺陷。学术界也关注此问题，整个行业需系统性应对。
号称1200万token上下文的模型来了，数据亮眼但疑点重重
当地时间5月5日，Subquadratic公司推出模型SubQ，称是LLM智能重大突破，有1200万token上下文。数据亮眼，如在1M token场景比FlashAttention快52倍等，但也引发质疑，有人推测是对开源模型微调，官方未公布详细模型卡。
分钟级定位 IO 瓶颈：多租户云环境下的智能诊断
随着云上规模扩张，多租户云环境下 IO 请求量剧增，IO 问题排查难。阿里云操作系统控制台构建 IO 一键诊断能力，能快速识别问题类型、把握诊断时机、屏蔽复杂关联流程，还介绍了实现原理和案例。
DeepMind华人研究员Lun Wang离职，「评估」成制约模型能力飞跃的瓶颈
谷歌DeepMind研究员Lun Wang离职后发文指出，当下评估体系难以应对新模型，制约模型能力飞跃。现有评估多针对当前模型，新能力出现时往往无法预测，需构建能自我进化的评估系统。
10 万 Star 的反常识：AI 写代码的瓶颈从来不是代码本身
GitHub上的Superpowers开源项目，半年攒10.9万Star。它是AI编程工具的工作流操作系统，让AI像工程师工作，有面试需求、细化计划等流程，内置14个技能，安装简单，理念超前但也有局限。
大模型也需要睡觉！让AI打个盹，醒来更聪明
卡内基梅隆大学和马里兰大学研究发现，大模型处理长上下文易累傻。受人脑机制启发，设计睡眠机制，让模型在上下文窗口快满时打盹，反复咀嚼信息，压缩进长期权重。测试显示，增加“睡眠”轮次能提升深度推理表现。
从上下文工程到 AI Memory，本质上都是在「拟合」人类的认知方式
文章结合胡塞尔现象学，探讨从上下文工程到AI Memory，指出它们本质在‘拟合’人类认知。介绍二者概念及构建方法，对比人类与AI记忆异同，还通过与胡塞尔对话，思考AI意识等哲学问题。
Google | 溯源分析RAG系统错误，提出选择性生成框架，让RAG问答准确率提升10%
Google对RAG系统错误深入分析，引入‘充分上下文’概念，指出幻觉或因上下文不足。构建评估器，提出选择性生成框架，结合多信号决策，实验显示可让RAG问答准确率最高提升10%。