算法论文8

Elastic Attention让大模型学会“看人下菜碟”

深度学习自然语言处理2026-01-27

AI 摘要

汤泽成、邱全通团队：现有大模型全注意力机制计算成本高，混合策略又静态。为此提出Elastic Attention，引入路由器动态分配计算模式，训练快且效果好，对长文本LLM部署有价值。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

清华Jev-LDE：一次编辑暴涨ICL准确率

清华大学自动化系研究者针对大模型上下文学习（ICL）中示例选择成本高、效果不佳的问题，提出Jev-LDE方法，仅对初始检索示例做一次局部编辑，即可大幅提升1-shot准确率，推理成本增量很低。

本文是面向零基础的大语言模型入门长文，无需机器学习背景，只用简单例子讲清大语言模型的核心逻辑，覆盖从原理到产品化的全流程，适合新人系统学习。

本文报道字节Seed团队发现DeepSeek V4基础模型因分块KV压缩存在周期性相位敏感性弱点，作者复刻实验实测现役DeepSeek V4.1-Flash，讨论了长上下文评测的盲区，新版本弱点已明显减轻。

Perplexity核心搜索面向大模型检索，原有存储Amazon DynamoDB在高流量下存在延迟高、成本不可控问题，两名工程师两个月用Rust写出4万行自研CobbleDB，迁移后性能成本均大幅优化，后续计划开源。