「分块注意力残差」共找到 237 篇相关文章
浙大提出Translution：统一Self-attention和Convolution，ViT、GPT架构迎来新一轮性能突破
近日，浙大与新加坡国立大学提出新型深度神经网络基础操作Translution，融合Self - Attention与Convolution优势，实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升，但对算力要求更高。
OpenClaw带火AI记忆，DeepMind用混合记忆把3D重建拉到近2万帧
近期，全球爆火的 Agent 私人助手 OpenClaw 接连更新，其长期记忆能力获关注。谷歌 DeepMind 联合加州大学伯克利分校提出 LoGeR 架构，将 3D 重建扩展到极长序列，在多数据集上表现超越先前方法。
使用 Node.js + OpenAI + MongoDB 实现文本向量知识库搜索
本文介绍用 Node.js、OpenAI Embedding API 和 MongoDB 实现文本向量知识库搜索系统，涵盖环境准备、文本切分与向量存储、本地语义检索等，还提及用 MongoDB Atlas 提升性能及后续延伸方向。
开会最怕那一声尖叫，被腾讯会议用声链干掉了
开会时多人用多台设备入会常出现啸叫、回声问题，以往解决方法成本高或体验差。腾讯会议‘声链’以纯软件方案解决此问题，让设备自由开麦，声音更自然稳定，体现技术价值。
Anthropic：上下文工程在AI Agents的正确打开方式！
在‘提示工程’后，‘上下文工程’成焦点。它是提示工程延伸，因信息过多模型会‘失焦’，上下文是稀缺资源。文章介绍高效上下文‘解剖学’、运行时检索策略、长周期任务应对方法等。
视频生成比播放还快：开源VDN-H3，14秒视频11秒搞定
近期，网络出现“无限流”视频，源于MiniMax H3。OpenVDN团队开源Video Delta Net（VDN），基于MiniMax H3使视频生成速度提升75到90倍，14.4秒的768p视频11.23秒就能生成。它采用混合思路，性能提升显著。
苹果新论文发出惊人一问：What do your logits know?
苹果AI研究团队提交论文《你的logits知道些什么？（答案可能会让你惊讶！）》，触及大模型底层逻辑及苹果看重的用户隐私与数据安全。研究通过实验揭示模型信息留存状态，指出存在隐私泄露隐患。
刚刚，DeepSeek扔出大杀器，梁文锋署名！暴力优化AI架构
2026新年第一天，DeepSeek发表梁文锋署名新论文，提出「mHC（流形约束超连接）」架构。它仅增约6.7%训练时间开销，就能让27B参数模型性能显著提升，还可能淘汰ResNet结构。
多人会话视频生成新突破：香港科技大学，浙江大学用单人数据实现多人交互视频生成
香港科技大学、浙江大学等开源 AnyTalker，提出音频驱动多人交互生成新范式。它用创新机制和两阶段训练策略，以少量数据实现多人视频生成，还构建评估指标，性能超现有方法。
独家丨MiniMax 高级研究总监钟怡然已于半年前离职
AI 科技评论独家获悉，MiniMax 高级研究总监钟怡然已离职，去向未公开。他曾主导设计 MiniMax - 01，该模型在超长上下文处理能力上表现突出，走出独特架构创新与效率优化路径。