搜索：线性注意力机制

「线性注意力机制」共找到 1036 篇相关文章

“谈故障色变”到有章可循：美图 SRE 故障应急与复盘实践

在 InfoQ 举办的 QCon 全球软件开发大会上，美图高级运维经理石鹏分享美图 SRE 团队故障应急与复盘实践，探讨故障应急各环节，剖析故障本质与原因，还交流 AIOps、LLM Ops 等技术。

在‘提示工程’后，‘上下文工程’成焦点。它是提示工程延伸，因信息过多模型会‘失焦’，上下文是稀缺资源。文章介绍高效上下文‘解剖学’、运行时检索策略、长周期任务应对方法等。

过去大模型依赖Transformer和NVIDIA GPU体系，硬件自主化难。中科院团队提出类脑大模型SpikingBrain，在超长文本处理上百倍加速，在国产MetaX GPU平台稳定训练76B模型，开辟新道路。

OpenAI进行重磅结构调整，ChatGPT「模型行为」团队并入Post - Training，前负责人Joanne Jang负责新OAI Labs。同时，OpenAI揭秘AI产生「幻觉」的罪魁祸首是「应试」评估体系。

Anthropic宣布成立「AI精神病学」团队，作为可解释性研究一部分，将研究模型人格、动机等致其行为异常的因素。团队现正招聘研究科学家，不过此举措也引发争议。

文章从传统思路出发，用Python实现极简大语言模型，介绍从零基础到Bigram模型的过程，包括词汇表、模型训练推理等内容，还讲解了PyTorch基础，最后实现pytorch版Bigram模型，后续将实现完整GPT。

Anthropic 给 Claude 生成文字添加水印，方式独特且难去除。`watermarks-remover` 项目应运而生，针对不同水印机制分层处理，兼容多格式文件，有多种安装使用方式，还明确告知能力边界。

谷歌论文提出 Memory Caching 技术，通过架构机制创新赋予 RNN「可生长的记忆容量」，兼顾 Transformer 与 RNN 优势，能处理更长文本、降低推理资源门槛，实验显示有良好效果。

普林斯顿刘壮团队、陈丹琦参与推出开源通用视觉推理RL框架Vero。它构建的视觉推理器在30多项测试达8B视觉语言模型SOTA，解决了开源RL方案的问题，所有数据、代码、模型均已开源。

红外小目标检测存在目标小、背景干扰大难题，传统卷积易丢失特征信息。TGRS 2025论文提出FSConv模块，通过双域融合提升特征表达能力，具备多尺度特征保持、轻量化、自适应增强等优势，有广泛应用场景。