「闪电注意力」共找到 232 篇相关文章
ICML 2026 巡礼：注意力效率革命的九个切面
7月7日，ICML 2026进入正会第一天。雷峰网精选首日上午9篇论文，涵盖持续学习、多模态融合等方向，如MePo让预训练模型学会持续学习，HAF解决模态不平衡下的融合问题，展现AI研究前沿趋势。
PyTorch之父闪电离职，AI半壁江山集体致敬！
PyTorch创始人之一Soumith Chintala官宣11月17日离职Meta，原因是不想一辈子搞PyTorch，且项目在他休假回来后无需他也运转良好。AI圈众多大牛纷纷送上祝福，他坚信PyTorch未来会更好。
谷歌Gemini Diffusion：1500 token/秒，快如闪电！
谷歌DeepMind在I/O 2025上推出实验性模型Gemini Diffusion，将扩散技术用于文本生成。它每秒能生成约1500个token，比Gemini 2.0 Flash - Lite快5倍，具备高响应速度、文本连贯性等优势。
Linear-MoE：线性注意力遇上混合专家的开源实践
近年来，线性序列建模和混合专家（MoE）研究进步大，但两者结合研究少，相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架，实验验证其有诸多优势。
蚂蚁C2LLM：基于注意力池化的代码检索新范式
在Code RAG场景中，传统文本Embedding模型处理代码表现欠佳。蚂蚁集团与上海交通大学联合发布C2LLM系列模型，引入注意池化模块，在MTEB - Code榜单表现出色，还得益于优质训练流程，成果已回馈社区。
「注意力经济」下，AI 生活助手能否解锁生服「新」刚需？
今年不少国内大厂加码AI生活助手赛道。腾讯、阿里、美团、京东、滴滴等各有动作，如腾讯在微信上线「元宝」，阿里在电商业务开发助手。当前AI应用使用时长和留存率不佳，而助手或能过滤信息、缩短决策链路。
Windsurf惊魂96小时！AI闪电并购战：谷歌天价挖人，Cognition逆袭接盘
7月，谷歌以翻倍薪资和24亿美金许可协议挖走Windsurf 40多位顶尖人才。周一，Cognition宣布收购其剩余资产和200来号员工。此前OpenAI收购谈崩，Windsurf还遇模型使用问题。
两周反转：Anthropic「闪电」夺回被Cursor挖走的核心编程大将
本月初 Anthropic Claude Code 两位负责人被 Cursor 开发商挖走，两周后又被聘回。Anthropic 虽烧钱但赚钱能力变强，投资人愿超千亿美元估值投资。Claude Code 增长快，而 Cursor 更新引不满，用户外流。
将DSA注意力引入多模态，快手Keye2.0开启强化推理新范式
快手发布新版多模态大模型Keye-VL-2.0-30B-A3B，率先将DSA机制引入多模态理解场景，解锁256K超长上下文深度感知，还首次解锁Agent协作机制。该模型在多方面表现出色，且将融入业务带来收益。
Mythos架构被22岁小伙“逆推”开源了！MoE和注意力借鉴DeepSeek
22岁小伙Kye Gomez将Claude Mythos架构整合开源成OpenMythos，实现带MoE路由的循环深度Transformer（RDT）。该架构仅用一半参数，就能获与传统模型同等效果，吸引学界关注。