搜索：高效注意力机制

「高效注意力机制」共找到 1489 篇相关文章

浅析 Amazon S3 Files：工作机制、性能边界与选型思路

4月7日，AWS发布新服务Amazon S3 Files，可将S3存储桶作为高性能共享文件系统挂载到计算节点。本文分析其底层实现、工作机制、性能边界，与其他对象存储文件化方案对比，指出适用场景。

本文是一篇83页的基础智能体记忆机制综述，由27家机构联合发表。提出AI研究范式转变，记忆是填补理想与现实差距的关键。构建三维统一分类框架，介绍记忆操作、学习策略、评估体系、应用场景及未来方向。

现有视觉语言模型处理长视频面临诸多难题，厦门大学等联合提出轻量高效、无需微调的 Video-RAG 框架，采用多模态辅助文本检索增强生成，解决长视频理解问题，适用于多场景。

大模型后训练阶段，SFT 和 RL 各有优劣。微软等联合提出新工作，量化 SFT 和 RL 在数据层面的差距，提出 IDFT 和 Hinted Decoding 等高效后训练技术，实验显示新方法泛化超 SFT、效率超 RL。

22岁小伙Kye Gomez将Claude Mythos架构整合开源成OpenMythos，实现带MoE路由的循环深度Transformer（RDT）。该架构仅用一半参数，就能获与传统模型同等效果，吸引学界关注。

在第67届国际数学奥林匹克（IMO 2026）上，小红书的「dots-note-3.0」成为首个获官方满分金牌的AI模型。它解题时自我检查修正，有自主探索能力。之后模型要应对生活中长周期、多变任务的挑战。

中科院自动化所谭宇乔等研究跨规模大模型参数知识迁移（PKT）可行性。指出传统符号语言传递知识低效，LLM 模仿此范式也有局限。提出新 Pre - Align PKT 范式，实验分析 PKT 效果，揭示神经不兼容性致其失败。

中国人民大学高瓴人工智能学院与华为诺亚方舟实验室聚焦大语言模型智能体记忆能力，形成含综述论文、数据集和工具包的研究体系。探讨记忆概念、重要性、实现与评测方法，还构建评测榜单、实现工具包。

文章深度拆解 vLLM 推理系统，介绍其核心组件和高级特性，包括推理引擎流程、调度机制、高级功能等，还提及系统扩展、分布式部署、性能测量等内容，助力读者理解推理引擎工作原理。

GitHub代码确认GLM - 5架构细节，它采用DeepSeek - V3/V3.2架构，含稀疏注意力和多Token预测，参数量745B。OpenRouter上神秘「Pony Alpha」被指是其测试版，受消息影响智谱AI港股两日涨60%。