搜索：上下文信息密度

「上下文信息密度」共找到 1292 篇相关文章

免训练加速61倍！陈怡然团队新作DPad：仅关注「彩票token」

杜克大学陈怡然团队新作DPad，发现扩散大语言模型关注少量「中奖」token，推理速度可提61 - 97倍，还增强模型语境学习能力。DPad免训练零成本挑关键信息，实现「少算多准」。

OpenAI昨夜发布ChatGPT智能体，它整合网站交互、信息整合、对话交互三项能力，能智能选最优路径完成任务。在多项评估中表现领先，还有多重安全措施。今日向部分用户开放。

多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法，在不影响性能前提下降低推理成本，适用于多场景。

今年4月，OpenAI发布ChatGPT「记忆」功能并不断升级，能形成个性化档案，但也带来问题，如提及伤心事、造成社死等，背后有无意的算法残忍和上下文崩塌两类问题。

通义实验室推出 WebDancer，解决自主信息检索智能体构建难题。它创新合成训练数据，采用两阶段训练策略应对开放网络训练挑战，在多个基准测试中表现卓越，未来还将拓展能力。

上交大、中山大学等发表长文对LLM Agents中的记忆、Skills、协议与Harness工程进行统一综述。介绍了从权重到上下文再到Harness能力的三次迁移，阐述记忆、技能、协议系统及Harness工程，还分析了模块间耦合。

作者本想退订Claude，因Anthropic发布Claude Skills改变主意。它是‘能力包’，含SOP、工具和资源，分层加载省上下文窗口。预设Skills可体验，官方开源，模块化设计利于挂载和按需加载，或形成Skills Market。

谷歌开源 Python 库 LangExtract，能让 LLM 依用户指令从非结构化文档提取结构化信息。它可处理临床记录等，具备精确源接地、可靠输出等特性，支持多模型，无需微调，适用于各领域。

介绍开源项目 `weathr`，它用 Rust 编写，将天气信息搬进终端并做成动画。数据源于 Open - Meteo，无需 API Key，跨平台支持，功能丰富，安装和使用方法多样，还给出国内使用小贴士。

马斯克和Karpathy点赞Kimi新论文《Attention Residuals》。该论文由杨植麟带队、苏剑林等参与，提出注意力残差（AttnRes），解决深层网络信息稀释问题，还通过工程折中降低成本，实验效果良好。